欧普拉(Opera)软件技术有限
个人
ID:338772
数据挖掘工程师
3年
500元/8小时
技术:熟悉 Python
熟悉 MySQL、Redis,了解 Mongo
熟悉常用数据结构和算法
掌握 RabbitMQ 和 Kafka
掌握 Django,了解 Flask
掌握 Scrapy、ScrapyRedis 框架和 Selenium/Puppeteer 和 Fid
项目:欧普拉软件技术(北京)有限公司(Opera)
数据挖掘工程师
l 独立开发分布式爬虫系统,包括 Django, RabbitMQ, Nginx, Supervisor, Celery 等组件,具有页面管理,
配置加载,定时任务,控制速度,请求去重,查看日志,原始抓取结果备份