【项目背景】
针对电商运营需要实时监控竞品价格、销量、评价等数据的需求，开发的一款自动化数据采集与分析平台。

【核心功能】
• 多平台采集：支持淘宝、京东等主流电商平台数据采集
• 关键词监控：按关键词自动搜索采集商品列表
• 价格追踪：定时抓取商品价格变化，生成价格趋势图
• 销量统计：采集销量数据，计算增长率
• 数据导出：支持Excel、CSV、JSON格式导出
• 异常告警：价格异常波动自动通知

【技术架构】
采用分布式爬虫架构，Scrapy作为核心爬虫框架，Selenium处理JavaScript渲染页面，Redis做去重队列和任务调度，MySQL存储业务数据，FastAPI提供数据查询接口。

【个人职责】
独立完成爬虫模块开发，实现3个电商平台爬虫，日均采集10万+商品数据。设计代理IP池轮换机制，请求成功率95%以上。数据清洗准确率98%，接口响应时间小于100ms。