技术:1.熟悉使用Python语言进行编程,有良好的编程习惯,遵循PEP8编码规范; 2.熟悉使用Linux中vim、ls等基本命令,可在Linux系统设置定时任务,部署SVN版本控制器; 3.熟悉requests模块的的使用,熟悉使用Scrapy爬虫框架; 4.熟悉使用re、x
项目:项目描述:大数据洞察项目是一个对网站、app、电子报纸、论坛、自媒体进行数据采集并清洗数据然后按需求展示的大数据平台项目,包含新闻推荐、新闻快报、本地资讯、热点追踪、数据建工、数据分析等模块。 责任描述: 1.负责实现批量采集app数据爬虫的框架的设计以及网站爬虫框架
案例: 大数据洞察项目