用 Python 做的商品数据采集脚本,给客户做竞品比价用。 功能: 1. 按关键词或分类批量抓取商品标题、价格、销量、店铺、链接; 2. 翻页自动处理,支持指定页数或抓完全部; 3. 遇到限流自动加延时、换 User-Agent,跑挂了能接着上次的位置继续; 4. 结果导出 Excel,字段可自定义; 5. 加了定时任务,每天早八点自动跑一遍,价格变动单独标出来。 我独立完成需求沟通、脚本开发和后期维护,交付后客户自己改关键词就能用
客户要批量查某网站的数据,但接口有签名参数,直接请求拿不到数据,让我把参数规则还原出来。 做的事: 1. 浏览器抓包定位加密参数,顺着 JS 找到生成逻辑; 2. 把混淆过的 JS 格式化,理清关键函数,还原出签名算法; 3. 用 Python 复现同样的参数生成过程,请求能正常返回; 4. 封装成函数,接上客户的采集脚本,支持批量查询、自动限速; 5. 写了说明文档,后面接口小改动能自己跟。 我负责全部逆向分析和代码实现,两天交付。
用 Python 做的商品数据采集脚本,给客户做竞品比价用。 功能: 1. 按关键词或分类批量抓取商品标题、价格、销量、店铺、链接; 2. 翻页自动处理,支持指定页数或抓完全部; 3. 遇到限流自动加延时、换 User-Agent,跑挂了能接着上次的位置继续; 4. 结果导出 Excel,字段可自定义; 5. 加了定时任务,每天早八点自动跑一遍,价格变动单独标出来。 我独立完成需求沟通、脚本开发和后期维护,交付后客户自己改关键词就能用...
客户要批量查某网站的数据,但接口有签名参数,直接请求拿不到数据,让我把参数规则还原出来。 做的事: 1. 浏览器抓包定位加密参数,顺着 JS 找到生成逻辑; 2. 把混淆过的 JS 格式化,理清关键函数,还原出签名算法; 3. 用 Python 复现同样的参数生成过程,请求能正常返回; 4. 封装成函数,接上客户的采集脚本,支持批量查询、自动限速; 5. 写了说明文档,后面接口小改动能自己跟。 我负责全部逆向分析和代码实现,两天交付。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人