W

高级爬虫工程师
软通动力 · 7年经验
W
日薪: ¥700/8h
地点: 深圳 龙岗
时间: 下班后周六周日
ID:353803 复制

0
接单数
0
评价数
3
收藏数

AI 技能提取 | 分布式 Go Kafka Redis Python Docker Selenium Linux Elasticsearch Spark
熟练使用python,go语言,flask框架,go-gin框架,asyncio框架,分布式爬虫。
熟练使用redis,mongo,lemondb,kafka,docker,selenium,playwrigth,linux等工具。熟悉js逆向,cookie加密,js混淆,混淆还原,hook,代理,模拟滑块,rpc,瑞数等反爬。
熟悉搭建代理池,cookie池,熟悉redis,mongo海量数据存储优化。
了解spark,elasticsearch,hdfs,app抓取。

负责小环爬虫平台,大环渲染爬虫,压力控制开发,性能优化,部署维护。
负责需定制化爬虫开发,所有js逆向和反爬问题攻坚突破,为其他人提供技术支撑。
负责视频,小说,词典,app,box,大模型,站点覆盖等垂域抓取。
负责日常的case挖掘,case分析,case修复等。
负责爬虫服务器,mongo,redis,docker优化扩容等维护,爬虫程序巡检。
负责小环爬虫团队日常管理,所有对外需求的对接,沟通,任务协调分配和进度跟踪。
W ID:353803 复制

W

高级爬虫工程师 · 7年经验 · 软通动力
城市深圳 龙岗 日薪700元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
3
被收藏

信用行为

0
接单数
0
评价数
3
收藏数

技术能力

AI 技能提取 | 分布式 Go Kafka Redis Python Docker Selenium Linux Elasticsearch Spark
熟练使用python,go语言,flask框架,go-gin框架,asyncio框架,分布式爬虫。
熟练使用redis,mongo,lemondb,kafka,docker,selenium,playwrigth,linux等工具。熟悉js逆向,cookie加密,js混淆,混淆还原,hook,代理,模拟滑块,rpc,瑞数等反爬。
熟悉搭建代理池,cookie池,熟悉redis,mongo海量数据存储优化。
了解spark,elasticsearch,hdfs,app抓取。

项目经验

负责小环爬虫平台,大环渲染爬虫,压力控制开发,性能优化,部署维护。
负责需定制化爬虫开发,所有js逆向和反爬问题攻坚突破,为其他人提供技术支撑。
负责视频,小说,词典,app,box,大模型,站点覆盖等垂域抓取。
负责日常的case挖掘,case分析,case修复等。
负责爬虫服务器,mongo,redis,docker优化扩容等维护,爬虫程序巡检。
负责小环爬虫团队日常管理,所有对外需求的对接,沟通,任务协调分配和进度跟踪。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏