项目简介：公司电商系统需要，系统店铺商品数据需要每日新增商品数据，运营提供Shopify、Shopline、Shoplazza等各类海外独立站电商平台，通过爬虫程序批量提取商品信息，经数据清洗、结构化处理后入库，保障电商系统商品数据实时可用。
相关技术：requests、curl_cffi、json、xpath、re、selenium、ip代理等
职责：
1、分析各相关数据接口参数情况，构造接口请求相关逻辑
2、使用requests、curl_cffi 发起网络请求，结合IP代理池应对目标站点反爬机制
3、通过XPath、re 正则、json解析页面与接口数据，提取商品标题、价格、图片、规格、库存等核心字段
4、使用Selenium处理JS 动态渲染、异步加载等复杂页面，保证数据正常采集
5、负责数据清洗、去重、格式标准化，将结构化数据入库供业务系统使用