一、需求描述
需要开发一套自动化数据采集系统,需从美团、饿了么、京东、淘宝、天猫等主流电商平台抓取指定商品信息及对应商户数据,包括但不限于:商品名称、价格、店铺信息、注册公司名称、联系方式等。采集的数据需定时更新,并自动导入到指定的 H5 页面进行展示,实现可视化浏览与筛选功能。本项目需要实现稳定抓取、反爬机制处理以及数据结构化存储。
二、人才要求
需具备扎实的 Python 或 Node.js 开发能力,熟悉 Scrapy、Playwright、Puppeteer 等抓取框架;能够处理各平台的反爬策略;有电商平台抓取经验者优先。需具备前端基础能力,熟悉 H5 数据展示接口对接;具备独立完成后端接口设计、数据库设计与部署能力。
三、参考产品
可参考常见电商监控后台、商品比价监控平台、商家数据展示系统等形式。具体展示风格与结构由我方提供简单原型页面。
四、合作方式
项目按阶段交付,包括抓取模块开发、数据接口对接、H5 页面展示及最终部署。需支持后期维护与功能迭代,价格可根据开发周期协商确定。