ID：150005
晨
爬虫工程师
- 公司信息：
- 华宇讯科技有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 可工作日驻场（离职原因）
- 可工作日驻场（自由职业原因）
- 所在区域：
- 东莞
- 全区
- 东莞大朗
技术能力
l熟悉Scrapy框架、XPath、BeautifulSoup4，jsonPATH正则等数据提取工具，
l熟悉Selenium自动化测试工具，对网站反爬与防反爬与有一定研究
l熟练使用Django，flask等Python后台框架；
l掌握Javascript / HTML / XML / JSON / HTML5 /AJAX/ JQuery；
l熟悉Linux操作系统及shell编程；
l熟悉MySql、redis、MongoDB数据库；
l对git版本控制有一定了解
l熟悉数据可视化处理工具：matplotlib、seaborn；科学计算工具-numpy；数据分析工具-pandas等
项目经验
l亚马逊分布式爬虫
使用scrapy框架结合redis数据库同时使用多台机器对亚马逊商品数据进行分布式爬取，同时应对爬虫做了反爬处理，可根据需求达到每天更新120w以上商品数据
l国外网站数据爬取
对liligal、77onlineshop等网站的爬虫，基于scrapy框架，实现对所有商品数据的爬取与整理，并根据销量、评论数等筛选进行图片的收集
l网上食品购物商城
一个B2C的购物网站，实现用户商品浏览与搜索、加入购物车、支付结算、浏览记录等功能，基于django框架开发，共有用户，商品，订单，购物车四大模块，采用了fastDFS分布式系统存储、首页静态化处理等技术减轻服务器压力
l仿简书网站
一个写作平台，基于Django框架，和团队完全独立开发，实现文章发表，评论，打赏，私信，文集，推荐、简信、验证码发送等功能
相似人才推荐
-
500元/天数据挖掘京东概要：数据采集： 1、Python（Selenium，js2py） 2、mysql /mongdb（实 -
500元/天图像处理/机器视觉开发工程师陕西维视数字图像技术有限公司概要：c/c++,MFC opencv matlab 本人硕士学历，研究方向：数字图像处理、机器视觉 -
500元/天初级学员暂无概要：初学安卓，熟悉数据库类小程序，比如学生管理系统，图表控件，新闻订阅推送，界面UI修改。另外略懂些单片 -
800元/天研发工程师虎扑体育概要：1.熟练掌握Chrome插件开发; 2.熟练掌握后端Java开发; 3.熟练使用IDE进行代码开
-
500元/天IT、广告设计概要：一 1、熟练使用多种计算机软件office、photoshop和办公设备操作，打字80字分钟以上;
-
800元/天高级研发工程师浪潮概要：熟练掌握.net/.net core/java/html5/css3/vue/JavaScript等
-
1000元/天数据分析师苏宁云商概要：精通java,python语言，熟悉linux脚本。熟练使用hadoop,hive,impala等大
-
500元/天技术总监福建赛特股份有限公司概要：本人2003年担任视觉设计和前端工程师岗位，2005年担任产品经理,同年学习编程,2008年从事C#
