叮🔔～Boom！
Python 爬虫工程师
消费者报道有限公司 · 1年经验
日薪：
￥500/8h
地点：
广州 海珠
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟练掌握 Python，对大批量数据处理有比较丰富的经验，主要负责各类项目来源数据的采集，对增量式爬虫和分布式爬虫比较熟悉，曾独立开发并部署过多个增量式和分布式爬虫项目;
2. 熟悉 LInux，几乎所有的测试部署工作都在 Linux 端进行;
3. 掌握 MySQL、MongoDB、Redis 等常见数据库的增删改查操作，对 Redis 分布式和 Redis 防缓存穿透有一定的了解;
4. 了解 Javascript 和 Echarts;
5. 了解 R 语言，曾对大批量的基因测序数据使用 R 进行数据分析
2. 熟悉 LInux，几乎所有的测试部署工作都在 Linux 端进行;
3. 掌握 MySQL、MongoDB、Redis 等常见数据库的增删改查操作，对 Redis 分布式和 Redis 防缓存穿透有一定的了解;
4. 了解 Javascript 和 Echarts;
5. 了解 R 语言，曾对大批量的基因测序数据使用 R 进行数据分析
项目经验
1. 开发广东省行政处罚信息采集爬虫，该爬虫为增量式爬虫，使用 Python 开发，可自动爬取所有历史信息，并随网站更新可同步更新数据;项目部署后期将原来通过查库实现数据去重的方式改为布隆过滤器去重，使得项目运行效率提升近 70%，项目运行时间从原来的将近 6 个小时缩短至 2 个小时;
2. 重构广东省各地级市每日新闻采集项目，使用 scrapy-redis 框架将该项目改成分布式运行，并重写 scrapy-redis 的 RFPDupfilter.
2. 重构广东省各地级市每日新闻采集项目，使用 scrapy-redis 框架将该项目改成分布式运行，并重写 scrapy-redis 的 RFPDupfilter.
叮🔔～Boom！
Python 爬虫工程师 · 1年经验 · 消费者报道有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟练掌握 Python，对大批量数据处理有比较丰富的经验，主要负责各类项目来源数据的采集，对增量式爬虫和分布式爬虫比较熟悉，曾独立开发并部署过多个增量式和分布式爬虫项目;
2. 熟悉 LInux，几乎所有的测试部署工作都在 Linux 端进行;
3. 掌握 MySQL、MongoDB、Redis 等常见数据库的增删改查操作，对 Redis 分布式和 Redis 防缓存穿透有一定的了解;
4. 了解 Javascript 和 Echarts;
5. 了解 R 语言，曾对大批量的基因测序数据使用 R 进行数据分析
2. 熟悉 LInux，几乎所有的测试部署工作都在 Linux 端进行;
3. 掌握 MySQL、MongoDB、Redis 等常见数据库的增删改查操作，对 Redis 分布式和 Redis 防缓存穿透有一定的了解;
4. 了解 Javascript 和 Echarts;
5. 了解 R 语言，曾对大批量的基因测序数据使用 R 进行数据分析
项目经验
1. 开发广东省行政处罚信息采集爬虫，该爬虫为增量式爬虫，使用 Python 开发，可自动爬取所有历史信息，并随网站更新可同步更新数据;项目部署后期将原来通过查库实现数据去重的方式改为布隆过滤器去重，使得项目运行效率提升近 70%，项目运行时间从原来的将近 6 个小时缩短至 2 个小时;
2. 重构广东省各地级市每日新闻采集项目，使用 scrapy-redis 框架将该项目改成分布式运行，并重写 scrapy-redis 的 RFPDupfilter.
2. 重构广东省各地级市每日新闻采集项目，使用 scrapy-redis 框架将该项目改成分布式运行，并重写 scrapy-redis 的 RFPDupfilter.
立即沟通
相似人才推荐：
