ID：400563
昔年の
爬虫工程师
- 公司信息：
- 彩合实业
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 上海
- 浦东
技术能力
爬虫技术栈：精通 Requests 高并发请求与反爬对抗，熟练 Scrapy 框架开发分布式爬虫系统；掌握 Playwright 自动化控制浏览器技术，破解动态渲染、验证码及浏览器反调试；熟练应用 XPath / jsonpath 实现复杂结构数据解析，准确率 >99%
逆向工程能力：深度破解 JS 参数加密，逆向还原核心算法逻辑；突破浏览器反调试：通过 Mitmproxy 注入代码、环境变量伪装 绕过调试检测；解决主流反爬机制：动态字体加密映射、JS 动态加载、验证码识别（OCR/行为模拟）
数据存储与工程化：构建高效数据管道：掌握 MongoDB 数据库存储，Excel 表格存储输出；设计IP代理池 / 请求熔断机制，保障千万级数据稳定采集。
数据处理与分析：具备扎实的统计学基础和Python数据分析能力，擅长从海量用户/业务数据（如清洗分析10万+条数据）中提炼洞察，定位问题（如精准定位6项关键业务问题），并通过可视化报表驱动业务决策与优化；
项目经验
小红书评论采集：基于 Requests 实现自动化批量请求，破解逆向参数加密算法，有效抓取评论数据
猫眼实时票房监控：采用 Playwright 动态渲染破解JS加载，设计字体加密解析模块 精准提取票房/排片数据，分钟级更新准确率 >99%
学术论坛评论获取：通过 Mitmproxy 拦截并替换反调试代码，突破学术平台（知网/万方等）调试检测，实现长期稳定采集
大麦网演出数据：搭建 Scrapy-Redis 分布式集群，部署 自适应IP代理池 保障50+城市演出数据持续捕获
相似人才推荐
-
500元/天高级测试软件工程师航天二院概要：自动化技术： 利用 Python + Requests + Pytest + Allure 搭建
-
500元/天软件测试工程师舟海智能概要：掌握软件测试流程，根据需求分析，熟练使用场景法、等价类、边界值、错误推测法等方法来编写测试用例，完
-
500元/天自动化测试工程师璞华科技概要：python+requests+yaml+pytest+allure+jenkins搭建api接口自
-
500元/天高级测试工程师连连银通电子支付有限公司概要：【 服务端测试】 ： 接口自动化（ Python+Robot Framework+excel、 Jm
-
800元/天测试主管&高级软件测试讲师（曾经）深圳复临科技有限公司概要：1、完善标准严谨的测试思维，熟悉软件全套开发和测试流程，有保障软件质量的经验和和测试技术 2、能够
-
500元/天无无概要：1. 测试全流程管理：掌握需求分析→用例设计→执行→报告闭环，使用XMind设计高覆盖率测试用例。
-
500元/天测试工程师Cisco概要：» 编程语言：熟练掌握 Java、Python，Shell 脚本 » 安全扫描工具：熟练使用 Qu
-
500元/天测试工程师中电金信概要：熟练使用drissionpage自动化库，scrpy爬虫框架，以及tcp/ip协议爬虫 熟练dja
