本作品为某电商运营团队量身打造的竞品数据采集系统,核心难点在于目标平台对请求接口实施了多层签名校验,包括 AES 加密与时间戳哈希的组合签名机制,导致常规抓包重放直接触发风控拦截。本人负责整个项目的技术方案设计与代码实现:首先基于客户提供的 JS 文件和抓包数据进行静态逆向分析,定位签名参数在混淆代码中的生成入口,通过算法还原,将整个加密链路用 Python 完整复现。随后基于 Scrapy 框架搭建了一套兼容签名机制的高并发爬虫,集成代理 IP 自动轮换与请求频率控制模块,实现日采数十万条商品数据并稳定运行。最终交付物为 Docker 容器镜像及配套使用文档,客户即拉即用,无需配置 Pyth...
本作品为采集数据后端交付的 RESTful API 查询服务,面向客户提供标准化的数据查询接口。服务基于 Flask 框架构建,实现了完整的后台功能:分页查询与多条件筛选(按平台、分类、价格区间、关键词)、商品详情查询、按平台/分类的统计汇总接口。安全方面实现了 API Key 签名鉴权机制,使用 HMAC-SHA256 对请求进行合法性校验,未授权请求返回 401。数据持久化采用 SQLite,支持动态 SQL 构建避免注入风险,所有响应采用标准化 JSON 格式含分页元数据。本人负责了从数据库设计、接口开发、鉴权中间件到测试客户端的全流程开发,交付物附带一键启动脚本和自动化接口测试工具,客...
本作品为采集数据后端交付的 RESTful API 查询服务,面向客户提供标准化的数据查询接口。服务基于 Flask 框架构建,实现了完整的后台功能:分页查询与多条件筛选(按平台、分类、价格区间、关键词)、商品详情查询、按平台/分类的统计汇总接口。安全方面实现了 API Key 签名鉴权机制,使用 HMAC-SHA256 对请求进行合法性校验,未授权请求返回 401。数据持久化采用 SQLite,支持动态 SQL 构建避免注入风险,所有响应采用标准化 JSON 格式含分页元数据。本人负责了从数据库设计、接口开发、鉴权中间件到测试客户端的全流程开发,交付物附带一键启动脚本和自动化接口测试工具,客...