职位需求
爬虫数据工程师
岗位职责
1 多平台爬虫系统设计与开发
负责设计、实现与优化面向网页及 APP 的高性能、高可用数据采集系统,能够有效应对各类反爬机制(如验证码、IP 封禁、行为检测等);
主导或参与分布式爬虫架构的搭建与调优,保障海量数据采集的效率、稳定性与可扩展性。
2 数据采集与处理流程建设
完成从数据抓取、清洗、去重到结构化存储的全流程开发,建立数据质量监控体系,确保数据的准确性与时效性。
3 数据治理与技术研究
研究与实施数据采集规范与标准,推动数据采集流程的标准化与自动化;
跟踪前沿爬虫技术与反爬策略,持续优化数据采集方案与技术栈。
任职要求
计算机、软件工程、电子信息、数学等相关专业本科及以上学历,4 年以上爬虫或数据采集相关开发经验;
工作事件 周 1 - 5,最好有一定时间可以在公司驻点,公司位于广州市电商中心。