气象灾情监测采集能力提升项目-全国采集
系统搭建:使用 python 和 Selenium 编写抓取程序并将其部署到 linux 上实现稳定抓取各网站的链接和文章内容。
自动化流程:实现模拟浏览器从搜索内容、筛选内容、翻页到文章发布时间、媒体和内容的抓取。
通用网站配置:实现零代码抓取任意网站的搜索结果,用户只需在配置文件中配置相应 CSS 选择器即可。
测试与优化:使用多线程优化抓取速度,实现不同网站同时抓取,每分钟入库 100 条链接内容。
部署:将程序部署在 DMZ 区抓取数据入库,使用主从复制的技术将 DMZ 区的数据入库到内网。