.

高级java开发工程师,python爬虫工程师
北京网聘信息技术有限公司(智联招聘) · 4年经验
.
日薪: ¥500/8h
地点: 北京 朝阳
时间: 周六周日可工作日远程
ID:244617 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Redis Spring MyBatis RocketMQ Java Python MySQL Spring Boot Dubbo Netty ZooKeeper Nginx Selenium 分布式 MongoDB
python技术
- 精通Python编程,熟悉Scrapy、Requests、BeautifulSoup、Selenium等爬虫框架和工具
- 熟悉反爬机制及应对策略(IP代理池、验证码识别、User-Agent轮换等)
- 掌握XPath、CSS Selector、正则表达式等数据提取技术
- 熟悉分布式爬虫架构(Scrapy-Redis、Celery等)
- 熟悉数据存储方案(MySQL、MongoDB、Redis等)
- 了解前端基础(HTML/JavaScript/CSS),能分析动态网页数据加载
- 熟悉数据分析工具(Pandas、NumPy等)和可视化技术

java技术
1.精通spring mybatis dubbo源码
2.精通并发编程框架(ThreadPoolExecutor 线程池实现类 ,ScheduledThreadPoolExecutor 调度核心实现类)
3.精通 spring springboot mybatis 等框架应用
4.精通 线上死锁排查,内存,cpu,gc 情况监控,jvm线上调优
5.精通常用中间件:Redis,RocketMq,Nginx,zookeeper
6.精通Java、设计模式、网络编程(Netty)、并发编程、JVM内存管理及调优
6.精通Mysql,具有sql优化、Mycat分库分表、索引优化、性能调优、数据库灾备等丰富的实战经验
7.精通Redis,具有集群搭建(Twemproxy、Codis、Redis Cluster),冷热备份,性能调优、数据迁移等实战经验
8.消息中间件:掌握rocketMQ原理及集群布署
9.自动化布署:Git、Jenkins、Gradle

- 负责智联招聘大数据平台平台数据采集系统架构设计与开发,日采集数据量达500万+
- 设计分布式爬虫系统(Scrapy-Redis),提升采集效率300%
- 突破XX网站的反爬机制,实现稳定高效的数据采集
- 开发自动化数据清洗和存储系统,数据准确率达99.5%
- 优化爬虫性能,降低服务器资源消耗40%
- 负责智联招聘客户管理平台应用对接,接口最多支持10w qps
- 负责智联招聘业务操作日志,全配置日志存取开发
. ID:244617 复制

.

高级java开发工程师,python爬虫工程师 · 4年经验 · 北京网聘信息技术有限公司(智联招聘)
城市北京 朝阳 日薪500元/8h 时间 周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Redis Spring MyBatis RocketMQ Java Python MySQL Spring Boot Dubbo Netty ZooKeeper Nginx Selenium 分布式 MongoDB
python技术
- 精通Python编程,熟悉Scrapy、Requests、BeautifulSoup、Selenium等爬虫框架和工具
- 熟悉反爬机制及应对策略(IP代理池、验证码识别、User-Agent轮换等)
- 掌握XPath、CSS Selector、正则表达式等数据提取技术
- 熟悉分布式爬虫架构(Scrapy-Redis、Celery等)
- 熟悉数据存储方案(MySQL、MongoDB、Redis等)
- 了解前端基础(HTML/JavaScript/CSS),能分析动态网页数据加载
- 熟悉数据分析工具(Pandas、NumPy等)和可视化技术

java技术
1.精通spring mybatis dubbo源码
2.精通并发编程框架(ThreadPoolExecutor 线程池实现类 ,ScheduledThreadPoolExecutor 调度核心实现类)
3.精通 spring springboot mybatis 等框架应用
4.精通 线上死锁排查,内存,cpu,gc 情况监控,jvm线上调优
5.精通常用中间件:Redis,RocketMq,Nginx,zookeeper
6.精通Java、设计模式、网络编程(Netty)、并发编程、JVM内存管理及调优
6.精通Mysql,具有sql优化、Mycat分库分表、索引优化、性能调优、数据库灾备等丰富的实战经验
7.精通Redis,具有集群搭建(Twemproxy、Codis、Redis Cluster),冷热备份,性能调优、数据迁移等实战经验
8.消息中间件:掌握rocketMQ原理及集群布署
9.自动化布署:Git、Jenkins、Gradle

项目经验

- 负责智联招聘大数据平台平台数据采集系统架构设计与开发,日采集数据量达500万+
- 设计分布式爬虫系统(Scrapy-Redis),提升采集效率300%
- 突破XX网站的反爬机制,实现稳定高效的数据采集
- 开发自动化数据清洗和存储系统,数据准确率达99.5%
- 优化爬虫性能,降低服务器资源消耗40%
- 负责智联招聘客户管理平台应用对接,接口最多支持10w qps
- 负责智联招聘业务操作日志,全配置日志存取开发
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏