1、开发Python爬虫程序,自动爬取企查查、天眼查、国家卫健委、国家统计局等网站数据,以更新完善各经销商及零售终端的相关信息。了解各网站结构及反爬机制后,确定爬取数据的策略及规避反爬机制,对爬取的数据进行标准化处理并保存。设计GUI用户交互界面,便于用户操作及监控爬虫状态。最终将程序打包为可执行的exe文件,便于使用。
2、根据客户提供的项目需求文档,分析项目各要点难点及客户要求,确定交付数据集成处理逻辑及交付规则。规划项目的开发进度、确定代码各模块功能。编写各模块代码,并对各模块代码功能进行测试及验收。部署数据集成功能代码至生产环境,确保上线正常运行。跟进项目后续的需求变更,完成代码的更新及维护。