学会了爬虫，让我们自制一个天气预报的爬虫吧！

需求分析

1、用 requests 爬取 全国天气网 的网页源代码；
2、用 pyquery 解析网页源代码，取得天气情况信息的节点；
3、用 xlwt 将信息保存到本地 Excel 文件。

实现过程

第一步：导入库

import requests
from pyquery import PyQuery as pq
import xlwt

• 1
• 2
• 3

第二步：获取网页源代码；

html = requests.get('https://tianqi.so.com/weather/').text

• 1

第三步：解析网页，查找到包含天气信息的节点；

html = pq(html)
datas = html.find('ul.weather-columns li div').items()

• 1
• 2

但我们发现，每个 li 节点中的第 1 个 div 节点是没有内容的，第 3 个 div 节点显示天气图标，而我们并不需要这个；

因此，我们只需要获取第 2、4、5、6、7 个 div 节点的信息。

这些节点中分别储存着 日期、天气、温度、空气质量、风向及风速。

datas = [r.text() for r in datas if r.text() != '']

• 1

Python 3.8 及以上的小朋友可以这样写：

datas = [t for r in datas if (t := r.text()) != '']

• 1

Python 3.8 新增的语法 := 可在表达式内部为变量赋值。详情见 Python3.8的新特性。

第四步：储存在本地 Excel 文件

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气', cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i // 5, i % 5, r)

# 保存工作表
wb.save('广州 15日天气.xls')

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

成果展示

完整代码

import requests
from pyquery import PyQuery as pq
import xlwt

# 获取网页源代码
html = requests.get('https://tianqi.so.com/weather/').text

# 解析网页
html = pq(html)
datas = html.find('ul.weather-columns li div').items()

# 去除空白信息
datas = [r.text() for r in datas if r.text() != '']

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气',cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i//5,i%5,r)

# 保存工作表
wb.save('广州 15日天气.xls')

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29

— End —

感谢阅读！
点个赞，支持一下作者吧！

本文收录于专栏 Python 爬虫。
关注作者，互助交流，学习更多 Python 知识！
https://blog.csdn.net/weixin_48448842

---

推荐阅读

• 学不好 Python？那是因为你没有一本好的教程！程序员必备网站，速拿走！
• Python 爬取奥运奖牌榜 – 中国原来这么厉害！
• 学习笔记 | 类的魔法方法（最全总结）
• 学习笔记 | Python 位运算图解 &、|、^、~、<<、>>
• 再不会 Python 自动化，你就落伍了！xlrd、xlwt、xlutils 操作表格详解