本项目是我独立开发的Python公开政策资讯采集与分析平台,主要用于定时采集公开网站中的政策标题、发布单位、发布日期、所属分类和原文地址,并对数据进行清洗、去重、存储和统计分析。 项目后端采用Python开发,使用Requests、BeautifulSoup完成网页信息采集,通过限速、失败重试、日志记录和数据去重提高任务稳定性;使用SQLite保存政策数据,并提供关键词搜索、分类筛选、日期筛选和CSV导出功能。管理界面可以查看采集任务状态、近期新增政策、分类分布、采集趋势及运行日志。 本人负责需求分析、爬虫规则设计、数据库设计、前后端开发、异常处理、测试和运行部署。该项目为个人开发
该项目是一套面向电商运营和采购人员的商品价格监控系统。我独立完成 Python 爬虫、商品信息解析、价格与库存记录、重复数据清洗、SQLite 数据存储、历史价格趋势、降价商品筛选、CSV 导出及采集日志等功能。用户可以按商品名称、平台、价格区间和库存状态进行检索,并查看商品历史价格变化。系统只低频采集允许访问的公开页面,遇到登录、验证码、403 或访问限制时自动停止,不绕过网站安全机制。
本项目是我独立开发的Python公开政策资讯采集与分析平台,主要用于定时采集公开网站中的政策标题、发布单位、发布日期、所属分类和原文地址,并对数据进行清洗、去重、存储和统计分析。 项目后端采用Python开发,使用Requests、BeautifulSoup完成网页信息采集,通过限速、失败重试、日志记录和数据去重提高任务稳定性;使用SQLite保存政策数据,并提供关键词搜索、分类筛选、日期筛选和CSV导出功能。管理界面可以查看采集任务状态、近期新增政策、分类分布、采集趋势及运行日志。 本人负责需求分析、爬虫规则设计、数据库设计、前后端开发、异常处理、测试和运行部署。该项目为个人开发...
该项目是一套面向电商运营和采购人员的商品价格监控系统。我独立完成 Python 爬虫、商品信息解析、价格与库存记录、重复数据清洗、SQLite 数据存储、历史价格趋势、降价商品筛选、CSV 导出及采集日志等功能。用户可以按商品名称、平台、价格区间和库存状态进行检索,并查看商品历史价格变化。系统只低频采集允许访问的公开页面,遇到登录、验证码、403 或访问限制时自动停止,不绕过网站安全机制。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人