岳八岁
高级python研发工程师
美团 · 4年经验
日薪：
￥500/8h
地点：
其他 全区
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
前端技术：Vue.js、JQuery.js、Bootstrap、Element UI
后端技术：Django、Tornato、Flask
爬 虫：Requests、Scrapy、Scrapy-Redis 、pyppeteer
数 据 库：MySQL、MongoDB、Redis、Memcache
工 具：Git、Docker、SuperVisor、zabbix、celeyr、Siege
网 络：TCP/IP、HTTP、Websocket
项目部署：Nginx、Uwsgi 、Saltstack
机器学习：Numpy、Pandas、Matplotlib、SkLearn
后端技术：Django、Tornato、Flask
爬 虫：Requests、Scrapy、Scrapy-Redis 、pyppeteer
数 据 库：MySQL、MongoDB、Redis、Memcache
工 具：Git、Docker、SuperVisor、zabbix、celeyr、Siege
网 络：TCP/IP、HTTP、Websocket
项目部署：Nginx、Uwsgi 、Saltstack
机器学习：Numpy、Pandas、Matplotlib、SkLearn
项目经验
分布式爬虫爬取视频
框架搭建：MVP+ Retrofit+RxJava
详情：由于前期视频资源非常少，所以从各大商城爬取视频图片，以及数据，用来在灰度环境测试以及
责任描述：负责设计和开发基于 Scrapy 的分布式视频抓取系统 优化爬虫策略和防屏蔽规则。
利用 Redis 维护 ip 代理池，提升视频抓取的效率和质量。
主要技术：
⚫ 使用 Jenkins 自动化部署服务，提高系统可用性
⚫ 使用 Go lang 对抓取框架进行重构，提高了 200%的爬虫效率
⚫ 利用 Docker 对项目进行重新拆分和架构，减少项目模块之间的资源耦合度，实现 了持续集成
⚫ 使用 MarkDown 编写公司技术文档以及维护，定期维护团队的代码，与团队成员 共同进步
⚫ 使用 Selenium 针对反爬虫进行反复测试和改进抓取方案
框架搭建：MVP+ Retrofit+RxJava
详情：由于前期视频资源非常少，所以从各大商城爬取视频图片，以及数据，用来在灰度环境测试以及
责任描述：负责设计和开发基于 Scrapy 的分布式视频抓取系统 优化爬虫策略和防屏蔽规则。
利用 Redis 维护 ip 代理池，提升视频抓取的效率和质量。
主要技术：
⚫ 使用 Jenkins 自动化部署服务，提高系统可用性
⚫ 使用 Go lang 对抓取框架进行重构，提高了 200%的爬虫效率
⚫ 利用 Docker 对项目进行重新拆分和架构，减少项目模块之间的资源耦合度，实现 了持续集成
⚫ 使用 MarkDown 编写公司技术文档以及维护，定期维护团队的代码，与团队成员 共同进步
⚫ 使用 Selenium 针对反爬虫进行反复测试和改进抓取方案
岳八岁
高级python研发工程师 · 4年经验 · 美团
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
前端技术：Vue.js、JQuery.js、Bootstrap、Element UI
后端技术：Django、Tornato、Flask
爬 虫：Requests、Scrapy、Scrapy-Redis 、pyppeteer
数 据 库：MySQL、MongoDB、Redis、Memcache
工 具：Git、Docker、SuperVisor、zabbix、celeyr、Siege
网 络：TCP/IP、HTTP、Websocket
项目部署：Nginx、Uwsgi 、Saltstack
机器学习：Numpy、Pandas、Matplotlib、SkLearn
后端技术：Django、Tornato、Flask
爬 虫：Requests、Scrapy、Scrapy-Redis 、pyppeteer
数 据 库：MySQL、MongoDB、Redis、Memcache
工 具：Git、Docker、SuperVisor、zabbix、celeyr、Siege
网 络：TCP/IP、HTTP、Websocket
项目部署：Nginx、Uwsgi 、Saltstack
机器学习：Numpy、Pandas、Matplotlib、SkLearn
项目经验
分布式爬虫爬取视频
框架搭建：MVP+ Retrofit+RxJava
详情：由于前期视频资源非常少，所以从各大商城爬取视频图片，以及数据，用来在灰度环境测试以及
责任描述：负责设计和开发基于 Scrapy 的分布式视频抓取系统 优化爬虫策略和防屏蔽规则。
利用 Redis 维护 ip 代理池，提升视频抓取的效率和质量。
主要技术：
⚫ 使用 Jenkins 自动化部署服务，提高系统可用性
⚫ 使用 Go lang 对抓取框架进行重构，提高了 200%的爬虫效率
⚫ 利用 Docker 对项目进行重新拆分和架构，减少项目模块之间的资源耦合度，实现 了持续集成
⚫ 使用 MarkDown 编写公司技术文档以及维护，定期维护团队的代码，与团队成员 共同进步
⚫ 使用 Selenium 针对反爬虫进行反复测试和改进抓取方案
框架搭建：MVP+ Retrofit+RxJava
详情：由于前期视频资源非常少，所以从各大商城爬取视频图片，以及数据，用来在灰度环境测试以及
责任描述：负责设计和开发基于 Scrapy 的分布式视频抓取系统 优化爬虫策略和防屏蔽规则。
利用 Redis 维护 ip 代理池，提升视频抓取的效率和质量。
主要技术：
⚫ 使用 Jenkins 自动化部署服务，提高系统可用性
⚫ 使用 Go lang 对抓取框架进行重构，提高了 200%的爬虫效率
⚫ 利用 Docker 对项目进行重新拆分和架构，减少项目模块之间的资源耦合度，实现 了持续集成
⚫ 使用 MarkDown 编写公司技术文档以及维护，定期维护团队的代码，与团队成员 共同进步
⚫ 使用 Selenium 针对反爬虫进行反复测试和改进抓取方案
立即沟通
相似人才推荐：
