python爬虫-爬取全国所有城市的温度

人工智能 其他 案例ID:210459
##
4 年经验· 中软国际
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

需求: 爬取全国所有城市的温度(最低气温) 并保存到csv文件中
保存格式:[{"city":"北京","temp":"5℃"},{"xxx":"xxx","xxx":"xxx"},.....]
涉及技术: request csv bs4

思路与页面分析:
1 获取网页源码并创建象soup对
2 将拿到的数据进行解析拿到目标数据
2.1 先找到整页的div class = 'conMidtab'标签
2.2 接下来找到它下面的每一个省或者是直辖市的table标签
2.3 对拿到的tables数据进行过滤 找到table标签下面所有的tr标签 需要注意,要把前2个tr标签过滤掉
2.4 再找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
3 将获取的数据进行存储

python爬虫-爬取全国所有城市的温度

人工智能 · 其他 案例ID:210459
联系该工程师
微信扫码,建群沟通
作者: ## - 4年经验- 中软国际

案例介绍

需求: 爬取全国所有城市的温度(最低气温) 并保存到csv文件中
保存格式:[{"city":"北京","temp":"5℃"},{"xxx":"xxx","xxx":"xxx"},.....]
涉及技术: request csv bs4

思路与页面分析:
1 获取网页源码并创建象soup对
2 将拿到的数据进行解析拿到目标数据
2.1 先找到整页的div class = 'conMidtab'标签
2.2 接下来找到它下面的每一个省或者是直辖市的table标签
2.3 对拿到的tables数据进行过滤 找到table标签下面所有的tr标签 需要注意,要把前2个tr标签过滤掉
2.4 再找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
3 将获取的数据进行存储

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×