燚的案例列表
作者：燚 · 共 2 个案例
荣耀商城手机商品数据采集
独立完成荣耀商城全店手机商品的数据采集。通过分析列表接口实现自动翻页获取全部商品，再逐个解析商品详情页，提取每个规格的商品代码、名称、价格、原价、图片链接等字段。对页面中 HTML 实体编码的中文做了还原处理，最终采集 452 条 SKU 数据，清洗去重后存入 MongoDB，并做了重复运行不产生重复数据的处理。本人负责从接口分析、脚本编写到数据入库的全部流程。
房产网站二手房数据采集
独立完成某房产网站二手房信息的数据采集。该站点采用滑块验证码进行反爬限制，通过浏览器自动化方式加载页面，并接入打码平台识别滑块缺口、模拟人工拖动完成验证，成功绕过访问限制。验证通过后自动翻页，逐条提取房源标题、户型、面积、朝向、楼层、总价、单价、小区、区域等字段，将数据清洗整理后存储。本人负责从反爬分析、验证码处理到数据采集的全部流程。
案例判断参考
燚的案例列表
荣耀商城手机商品数据采集
独立完成荣耀商城全店手机商品的数据采集。通过分析列表接口实现自动翻页获取全部商品，再逐个解析商品详情页，提取每个规格的商品代码、名称、价格、原价、图片链接等字段。对页面中 HTML 实体编码的中文做了还原处理，最终采集 452 条 SKU 数据，清洗去重后存入 MongoDB，并做了重复运行不产生重复数据的处理。本人负责从接口分析、脚本编写到数据入库的全部流程。...
房产网站二手房数据采集
独立完成某房产网站二手房信息的数据采集。该站点采用滑块验证码进行反爬限制，通过浏览器自动化方式加载页面，并接入打码平台识别滑块缺口、模拟人工拖动完成验证，成功绕过访问限制。验证通过后自动翻页，逐条提取房源标题、户型、面积、朝向、楼层、总价、单价、小区、区域等字段，将数据清洗整理后存储。本人负责从反爬分析、验证码处理到数据采集的全部流程。...
