猿急送>

北京Java兼职程序员

ID：244617

.

高级java开发工程师，python爬虫工程师

公司信息：
北京网聘信息技术有限公司（智联招聘）

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
周六
周日
可工作日远程

所在区域：
北京
朝阳

技术能力

python技术
- 精通Python编程，熟悉Scrapy、Requests、BeautifulSoup、Selenium等爬虫框架和工具
- 熟悉反爬机制及应对策略（IP代理池、验证码识别、User-Agent轮换等）
- 掌握XPath、CSS Selector、正则表达式等数据提取技术
- 熟悉分布式爬虫架构（Scrapy-Redis、Celery等）
- 熟悉数据存储方案（MySQL、MongoDB、Redis等）
- 了解前端基础（HTML/JavaScript/CSS），能分析动态网页数据加载
- 熟悉数据分析工具（Pandas、NumPy等）和可视化技术

java技术
1.精通spring mybatis dubbo源码
2.精通并发编程框架（ThreadPoolExecutor 线程池实现类，ScheduledThreadPoolExecutor 调度核心实现类）
3.精通 spring springboot mybatis 等框架应用
4.精通线上死锁排查，内存，cpu，gc 情况监控，jvm线上调优
5.精通常用中间件：Redis,RocketMq,Nginx,zookeeper
6.精通Java、设计模式、网络编程（Netty）、并发编程、JVM内存管理及调优
6.精通Mysql，具有sql优化、Mycat分库分表、索引优化、性能调优、数据库灾备等丰富的实战经验
7.精通Redis，具有集群搭建（Twemproxy、Codis、Redis Cluster），冷热备份，性能调优、数据迁移等实战经验
8.消息中间件：掌握rocketMQ原理及集群布署
9.自动化布署：Git、Jenkins、Gradle

项目经验

- 负责智联招聘大数据平台平台数据采集系统架构设计与开发，日采集数据量达500万+
- 设计分布式爬虫系统（Scrapy-Redis），提升采集效率300%
- 突破XX网站的反爬机制，实现稳定高效的数据采集
- 开发自动化数据清洗和存储系统，数据准确率达99.5%
- 优化爬虫性能，降低服务器资源消耗40%
- 负责智联招聘客户管理平台应用对接，接口最多支持10w qps
- 负责智联招聘业务操作日志，全配置日志存取开发