技术:1、熟练掌握Python语言,熟练掌握OOP、多线程、多进程、协程的使用,有规范的编码习惯 2、熟悉掌握Web中的反爬虫手段,可以封IP,输入验证码,响应重复数据,重定向到登录界面,封帐号,限制总量,Js加密等 3、熟练掌握爬虫框架Scrapy开发爬虫程序,熟悉Scrapy的
项目:1、电商网站数据抓取(京东、淘宝、国美) 2、手机App数据抓取(主要抓取了各大手机应用市场的游戏类相关App数据) 3、商标类数据抓取(主要完成马德里商标网数据抓取) 4、各大分类网站数据抓取(百姓网、列表网等) 5、新浪微博接口分析并代码实现相关操作
案例: TradeMark(商标数据淘宝