没有
个人
ID:164332
python工程师
1年
500元/8小时
技术:1利用python.根据需要爬取数据进行需求分析,遇到防爬从的网站,则运用防爬虫的手段。
2.利用python通过request,scrapy,xpath,re等技术手段编写爬虫程序进行内容抓取。
3.利用flume对数据进行数据收集和储存,最后上传到hdfs服务器上。
4
项目:爬取招聘网信息,旅游网信息网,游戏皮肤信息等等,对于你想要的信息都可以爬取出来
微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。
把爬出来的数据可以传进mysql数据库最后可以进行数据化分析