项目简介：公司小程序任务需要，对用户上传抖音&小红书分享口令进行周期性爬取，以达成监控作品时效性是否有效，从而发放相关积分，爬取作品内容包括点赞数、收藏数、分享数、作者账号基本信息等，定时30 天内每天爬取更新状态，并将爬取数据同步至MySQL 数据库，对接企业微信机器人，每次爬取情况输出。
相关技术：requests、json、re、MySQL、playwright、JS 逆向、验证码处理、ip代理等
职责：
1、分析各相关数据接口参数情况，根据上传口令解析真实url
2、构造相关接口参数并请求获取数据
3、从接口返回数据中提取同时清洗相关字段数据保存
4、定期维护爬虫，及时响应处理问题