省市级政府采购招标公告 API 逆向与批量采集系统
本系统实现两套省级政府采购平台的招标公告全自动采集:
福建省平台(ggzyfw.fj.gov.cn):MD5 请求签名破解 + AES-CBC 响应解密
广东省平台(ygp.gdzwfw.gov.cn):双源 API 架构(门户列表+源平台详情)
总计采集 2000+ 条公告,每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
B2B 医药平台商品信息批量搜索与规格筛选爬虫
针对药师帮(ysbang.cn)B2B 医药电商平台的商品信息批量采集系统。
从 Excel 读取任务清单(商品通用名+规格),自动搜索 → 筛生产厂家 →
判断多规格/无结果 → 翻页抓取前 120 条商品数据 → 输出 Excel 三表。
集成了滑块验证码自动破解模块,当触发易盾滑块时自动识别缺口并拖拽通过,
实现全流程无人值守。
项目实现:
- 读取 Excel「去重数据」工作表,提取商品通用名+规格作为搜索关键词
- 搜索格式:商品通用名 + 空格 + 规格,模拟页面搜索框输入+回车
- 结果页自动点击「生产厂家」筛选项,根据筛选结果分三种情况处理:
· 规格唯一且有商品 → 正常抓取
· 多规格(筛选栏还有多个规格选项)→ 标记「多规格待排除」,跳过
· 无商品 → 标记「无搜索结果」,跳过
- 每页约 60 条商品卡片,翻一页共抓前 120 条
- 集成易盾滑块求解器:检测 .yidun_slider → CV 定位缺口 → 轨迹生成 → 拖拽
- 输出 Excel 三工作表:正常结果 / 多规格待排除 / 无搜索结果