资深爬虫工程师,精通 Python、Scrapy、Requests。擅长分布式采集与反爬策略(IP 代理、JS 渲染)。熟悉 XPath/CSS/Regex 数据提取,熟练运用 MySQL/MongoDB/Redis 存储。致力于提供高效、稳定的数据解决方案。
曾主导电商全站采集,实现亿级商品数据监控。开发金融资讯聚合平台,攻克JS动态加载与验证码。构建舆情分析系统,实现多源数据(新闻、社交媒体)的实时抓取与清洗。
| 角色 | 职位 |
| 负责人 | 爬虫工程师 |
| 队员 | 产品经理 |
| 队员 | UI设计师 |
| 队员 | iOS工程师 |
| 队员 | 安卓工程师 |
| 队员 | 前端工程师 |
| 队员 | 后端工程师 |
负责淘宝价格监控,突破字体加密、参数混淆等反爬技术。对同花顺,解决动态股票K线和财报数据的JS渲染难点。确保了高并发实时数据采集的稳定性和低延迟。
负责构建青创网(B2B平台)全站爬虫系统。核心任务是采集平台内所有供应商的工商信息、联系方式,以及产品目录、规格、价格等异构数据。通过模块化设计,实现数据字段的清洗、统一和结构化入库(MySQL),为公司提供精准的产业链供应链数据分析基础。