犹豫再三、应粉丝的要求，经过几个小时的整理，爬虫案例：全国7天天气、3小时预报、7天生活指数信息的方法，这才与粉丝见面。这次预报信息的提取方法，与Python编程实践网络爬虫案例：爬取全国天气网，天气信息不用愁所用方法有所不同，这次在这一个案例里，对1-7天的日期、天气、温度、风速等天气预报和分时段3小时日期、天气、温度、风速等天气预报、1-7天生活指数预报信息，以及发布时间等信息进行了提取，希望粉丝对预报信息的提取有更深的理解。

一、数据网站介绍

中央气象台网站提供了1-7天的各要素天气预报和分时段3小时天气预报、1-7天生活指数预报信息。该网站通过气象观测数据和数值模型分析，提供了全国范围内各地区未来7天的天气预报和生活指数。用户可以通过该网站获取准确的天气预报，以便做出相应的气象决策和安排。无论是个人还是专业人士，都可以在中央气象台网站上获取可靠的天气预报信息，以帮助其日常生活或工作中的气象需求。

二、天气预报信息爬虫的基本流程

首先对网站发起请求，获取相应内容，对返回的内容进行解析，最后就保存数据。

三、实现过程

第一步：导入库

import requests
from bs4 import BeautifulSoup
import json

第二步：获取网页源代码

# 1 获取网页内容
# 发送请求，获取响应
url = 'http://www.weather.com.cn/weather/101200101.shtml'
response = requests.get(url)
# 从响应中获取数据
page = response.content.decode()

第三步：解析网页

1.查找天气预报信息的节点

通过分析网站返回的内容，天气预报有效信息都在 id="7d"，天气预报信息的节点内。如图所示：

2.html5lib方式解析天气信息

我们使用BeautifulSoup模块对网页内容，进行html5lib方式的解析。（BeautifulSoup模块具体使用，后面有时间整理出来分享给粉丝）

查找标签：id='7d'，获取标签内容，id_7d_conent就包含了7天天气预报、分时段天气预报和生活指数预报）。

# 2 提取天气预报信息
# 构建bs对象
soup = BeautifulSoup(page, 'html5lib') 

# 查找标签
id_7d_conent = soup.find(id='7d')

3.获取7天天气预报更新时间和开始时间

分析id_7d_conent的内容，发现7天的天气预报开始时间和更新时间在两个input里面，如下图箭头所示。

一个是id="fc_24h_internal_update_time"中'value'预报的开始日期时间，另外一个是id="update_time"中'value'是更新时间。代码实例如下：

#7天天气预报的开始日期时间
fc_24h_internal_update_time = id_7d_conent.find(id='fc_24h_internal_update_time')['value']

#提取天气预报更新时间
update_time = id_7d_conent.find(id='update_time')['value']

通过提取，获得7天天气预报的开始日期时间和天气预报结论更新时间。

4、获取7天天气预报具体内容

分析id_7d_conent的内容，发现7天的天气预报<ul class="t clearfix">....</ul>里面，每天的预报在<li>.....</li>里面，日期、天气、温度、风级，如下图箭头所示。

代码实例如下：

#获取7天气预报的内容
ul = id_7d_conent.find('ul')
li = ul.find_all('li')
dates = []
wws = []
temps = []
ddffs = []
# 获取日期dates、天气wws、温度temps、风级ddffs
for i in range(len(li)):
    date = li[i].find('h1').text
    p = li[i].find_all('p')
    ww = p[0].text
    temp = p[1].text.strip()
    ddff = p[2].text.strip()
    dates.append(date)
    wws.append(ww)
    temps.append(temp)
    ddffs.append(ddff)

使用了find_all，获得每天预报的html信息，然后对每天的预报html进行进一步解析，得到每天的日期、天气、温度、风级，7天的天气预报分别储存在dates、wws、temps、ddffs。分解结果如下图所示：

5.获取3小时天气预报信息的更新时间

分析id_7d_conent的内容，发现3小时天气预报信息的更新时间以个input里面，如下图箭头所示。

id="fc_3h_internal_update_time" 中 'value' 3小时天气预报信息的更新时间。代码实例如下：

fc_3h_update_time = id_7d_conent.find(id='fc_3h_internal_update_time')['value']
print(fc_3h_update_time)

6、获取3小时天气预报信息的内容

如上图的下面的连个箭头显示，我们发现，分时段天气预报的信息在以，var hour3data= 开头的一行字符串中，7d为7天的分时段天气预报内容。具体内容如下所示：

var hour3data={"1d":["27日20时,n02,阴,25℃,无持续风向,<3级,0","27日23时,n01,多云,22℃,北风,<3级,0","28日02时,n01,多云,21℃,北风,<3级,0","28日05时,n01,多云,22℃,北风,<3级,0","28日08时,d01,多云,23℃,北风,<3级,2","28日11时,d01,多云,28℃,东北风,<3级,2","28日14时,d01,多云,30℃,北风,<3级,2","28日17时,d01,多云,29℃,东北风,<3级,2","28日20时,n01,多云,26℃,北风,<3级,0"],"23d":[["30日08时,d07,小雨,22℃,北风,<3级,3","30日11时,d02,阴,26℃,北风,<3级,3","30日14时,d02,阴,25℃,东北风,<3级,3","30日17时,d02,阴,24℃,东北风,<3级,3","30日20时,n02,阴,24℃,北风,<3级,0","01日02时,n01,多云,23℃,东北风,<3级,0"],["01日08时,d07,小雨,21℃,东北风,<3级,3","01日14时,d00,晴,24℃,东北风,<3级,1","01日20时,n00,晴,22℃,东北风,<3级,0","02日02时,n01,多云,21℃,东北风,<3级,0"]],"7d":[["27日20时,n02,阴,25℃,无持续风向,<3级,0","27日23时,n01,多云,22℃,北风,<3级,0","28日02时,n01,多云,21℃,北风,<3级,0","28日05时,n01,多云,22℃,北风,<3级,0"],["28日08时,d01,多云,23℃,北风,<3级,2","28日11时,d01,多云,28℃,东北风,<3级,2","28日14时,d01,多云,30℃,北风,<3级,2","28日17时,d01,多云,29℃,东北风,<3级,2","28日20时,n01,多云,26℃,北风,<3级,0","28日23时,n01,多云,25℃,东北风,<3级,0","29日02时,n01,多云,23℃,东北风,<3级,0","29日05时,n01,多云,24℃,东北风,<3级,0"],["29日08时,d01,多云,26℃,东北风,<3级,2","29日11时,d02,阴,27℃,东北风,<3级,3","29日14时,d02,阴,29℃,北风,<3级,3","29日17时,d02,阴,27℃,西北风,<3级,3","29日20时,n02,阴,26℃,东北风,<3级,0","29日23时,n01,多云,24℃,北风,<3级,0","30日02时,n01,多云,22℃,北风,<3级,0","30日05时,n07,小雨,21℃,北风,<3级,0"],["30日08时,d07,小雨,22℃,北风,<3级,3","30日11时,d02,阴,26℃,北风,<3级,3","30日14时,d02,阴,25℃,东北风,<3级,3","30日17时,d02,阴,24℃,东北风,<3级,3","30日20时,n02,阴,24℃,北风,<3级,0","01日02时,n01,多云,23℃,东北风,<3级,0"],["01日08时,d07,小雨,21℃,东北风,<3级,3","01日14时,d00,晴,24℃,东北风,<3级,1","01日20时,n00,晴,22℃,东北风,<3级,0","02日02时,n01,多云,21℃,东北风,<3级,0"],["02日08时,d01,多云,21℃,东北风,<3级,3","02日14时,d02,阴,24℃,东风,<3级,3","02日20时,n02,阴,23℃,北风,<3级,0","03日02时,n01,多云,22℃,北风,<3级,0"],["03日08时,d07,小雨,21℃,北风,<3级,3","03日14时,d01,多云,23℃,北风,<3级,3","03日20时,n01,多云,20℃,北风,<3级,0","04日02时,n02,阴,22℃,西北风,<3级,0"],["04日08时,d02,阴,23℃,北风,<3级,3","04日14时,d07,小雨,24℃,北风,<3级,3","04日20时,n07,小雨,21℃,北风,<3级,0"]]}

为了得到分时段天气预报的具体信息，我编写了get_section_forecast函数，lines：就是forecast_text每行的内容，prefix：即使字符串的前缀，取值：var hour3data=，

# 获取标签id='7d'的文字内容
forecast_text = id_7d_conent.text

# 以'\n'切分，获得每行的内容lines[]
lines = forecast_text.split('\n')

def get_section_forecast(lines,prefix):    
    str_len = len(prefix)
    for i in range(len(lines)):
        if lines[i][0:str_len]==prefix:
            return lines[i][str_len:] 
    return ''

去掉前缀后，后面的信息就是分时段天气预报的具体信息，而且还是json字符串。

7、json解析分时段天气预报

# 提取3小时预报，json字符串
json_str = get_section_forecast(lines,"var hour3data=")

forecast = json.loads(json_str)
ww_3h_7d = forecast['7d']
ww_3h_forecast=[]
for i in range(len(ww_3h_7d)):
    ww_3h = ww_3h_7d[i]
    for ii in range(len(ww_3h)):
        ww_3h_forecast.append(ww_3h[ii])
print(ww_3h_forecast)

运行结果如下：

8、解析生活指数信息的发布时间

分析id_7d_conent的内容，发现生活指数预报信息的更新时间以以个input里面，其id="zs_7d_update_time"，如下图箭头所示。

id="zs_7d_update_time" 中 'value' 生活指数预报信息的更新时间。代码实例如下：

zs_7d_update_time = id_7d_conent.find(id='zs_7d_update_time')['value']
print(zs_7d_update_time)

9、解析生活指数信息函数

分析forecast_text的内容，我们发现，共有6种指数，分别为：感冒指数、运动指数、过敏指数、穿衣指数、洗车指数、紫外线指数，而且每种指数有三行内容。

为了解析指数内容，我编写了如下函数，lines：就是forecast_text每行的内容，index：取值，感冒指数、运动指数、过敏指数、穿衣指数、洗车指数、紫外线指数6种中的其中一种。返回值为index的7天的指数预报。

def get_index(lines,index):
    index_str = '';
    for i in range(len(lines)):
        if lines[i]==index:
            index_str = index_str + lines[i-1]+' '+ lines[i]+' '+lines[i+1]+'\n'
    return index_str

10.调用函数解析获得生活指数

调用函数get_index，并打印出来。

# 提取生活指数
print(get_index(lines,"感冒指数"))
print(get_index(lines,"运动指数"))
print(get_index(lines,"过敏指数"))
print(get_index(lines,"穿衣指数"))
print(get_index(lines,"洗车指数"))
print(get_index(lines,"紫外线指数"))

运行结果如下：

看到结果，是不是很兴奋。网络爬虫，也没有想象中的那么高大上，那么高深的理论。希望本教程，给粉丝一个完整的爬虫的思路，对学习有所裨益。

最后，由于平台规则，只有当您跟我有更多互动的时候，才会被认定为铁粉。如果您喜欢我的文章，可以点个“关注”，成为铁粉后能第一时间收到文章推送。