6年相关工作经验,有项目经验,良好的编码习惯,熟悉多线程爬虫,scrapy-redis分布式爬虫,熟悉scrapy框架,能够解决常见反爬虫问题
对各种反爬技术如js、css加密、封ip、验证码等有破解经验
熟悉正则表达式、xpath、css、Selenium、pyppeteer、PlayWright等爬取工具
熟悉PHP语言以及ThinkPHP框架,有后台开发经验
有海外电商独立站爬取经验、海外短剧APP爬取实战经验,熟练使用ADB、Frida、Jadx等工具
拥有FastGPT AI平台搭建经验。
抖音&小红书好评检测
项目简介:公司小程序任务需要,对用户上传抖音&小红书分享口令进行周期性爬取,以达成监控作品时效性是否有效,从而发放相关积分,爬取作品内容包括点赞数、收藏数、分享数、作者账号基本信息等,定时30 天内每天爬取更新状态,并将爬取数据同步至MySQL 数据库,对接企业微信机器人,每次爬取情况输出。
相关技术:requests、json、re、MySQL、playwright、JS 逆向、验证码处理、ip代理等
职责:
1、分析各相关数据接口参数情况,根据上传口令解析真实url
2、构造相关接口参数并请求获取数据
3、从接口返回数据中提取同时清洗相关字段数据保存
4、定期维护爬虫,及时响应处理问题
项目简介:公司小程序任务需要,对用户上传抖音&小红书分享口令进行周期性爬取,以达成监控作品时效性是否有效,从而发放相关积分,爬取作品内容包括点赞数、收藏数、分享数、作者账号基本信息等,定时30 天内每天爬取更新状态,并将爬取数据同步至MySQL 数据库,对接企业微信机器人
项目简介:公司电商系统需要,系统店铺商品数据需要每日新增商品数据,运营提供Shopify、Shopline、Shoplazza等各类海外独立站电商平台,通过爬虫程序批量提取商品信息,经数据清洗、结构化处理后入库,保障电商系统商品数据实时可用。 相关技术:requests、cur