青铃白泽、的案例列表
赢商大数据项目库采集与结构化落地
- 语言与运行：Python、asyncio（异步采集） - 动态渲染采集：Playwright（自动化浏览器渲染、页面元素等待、翻页与详情抓取） - 爬虫工程化：Scrapy + scrapy-playwright（任务调度、请求队列、可扩展管道） - 反爬与登录态处理：浏览器登录态复用（storage_state 会话保持）、请求头/UA配置、限速与低并发控制 - 数据落地：CSV 结构化输出（字段清洗、断点续写/追加写入） 载体标签（你可直接勾选/填写） - Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗
云南省建设监管公共服务平台企业数据采集
使用技术（技术栈） - Python：requests.Session（会话维持/接口请求）、pandas（Excel导出） - JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑） - 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头） - 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重 业务与功能介绍 - 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批
案例判断参考
青铃白泽、的案例列表
赢商大数据项目库采集与结构化落地
- 语言与运行：Python、asyncio（异步采集） - 动态渲染采集：Playwright（自动化浏览器渲染、页面元素等待、翻页与详情抓取） - 爬虫工程化：Scrapy + scrapy-playwright（任务调度、请求队列、可扩展管道） - 反爬与登录态处理：浏览器登录态复用（storage_state 会话保持）、请求头/UA配置、限速与低并发控制 - 数据落地：CSV 结构化输出（字段清洗、断点续写/追加写入） 载体标签（你可直接勾选/填写） - Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗...
云南省建设监管公共服务平台企业数据采集
使用技术（技术栈） - Python：requests.Session（会话维持/接口请求）、pandas（Excel导出） - JS逆向与复用：execjs 调用本地 JS（复用站点加密逻辑） - 加密算法：RSA（JSEncrypt 分段加密生成 params）、AES（CryptoJS AES-ECB + Pkcs7，用于滑块点位与验证码头） - 风控处理：滑块验证码 blockPuzzle 识别（打码平台返回滑动距离 x）、二次校验后换取业务数据、翻页抓取与去重 业务与功能介绍 - 业务背景：住建监管类平台对企业信息查询接口做了参数加密与滑块校验，常规爬虫无法直接批...
