ID：163779
M-S-
Python开发
- 公司信息：
- 西安酷聊
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 西安
- 全区
技术能力
1.熟练掌握爬虫Requests、Scrapy、Scrapy-Redis框架，掌握正则表达式、xpath提取网页内容的方法，熟练构建分布式爬虫，以及Linux下的定时启动爬取；
2.熟练使用Selenium、Pyppeteer；
3.掌握基本的逆向js，
4.了解异步爬虫，包括asyncio, aiohttp
5.掌握处理滑动验证码以及使用打码平台处理更复杂的验证码；
6.掌握Django框架，了解RESTful;
7.熟练使用MySQL、redis、mongoDB的增删改查。
项目经验
美团爬虫：
1、爬取美团网站美食分类里的商家数据；
2、scrapy-redis爬取，该框架实现URL和数据去重，使爬取效率更高；
3、携带cookie和UA进行抓取，采用IP代理，构建UA池；
4、使用云打码平台解决验证码问题；
5、使用xpath等提取网页内容，并将数据保存到MongDB；
6、使用logging模块编写爬虫监控程序进行爬虫监控，并根据日期定向输出到log文件。
项目名称：知乎百万用户公开信息采集与分析
项目描述：
1、爬取知乎网站用户主页信息，以及用户关注的人。
2、Scrapy-Redis爬取，该框架实现URL和数据去重，构建增量式爬虫程序，使爬取效率更高；
3、需要通过登录后，携带Cookie进行抓取，采用IP代理，构建UA池；
4、使用Xpath等提取网页内容，并将数据保存到数据库；
5、使用Logging模块编写爬虫监控程序进行爬虫监控，并根据日期定向输出到log文件。
6、利用Matplotlib对数据进行简单的分析与可视化
相似人才推荐
-
500元/天python/java开发工程师中兴通讯概要：两年工作经验，目前在中兴工作，因工作制为975，所以只有周末有时间，目前主要使用java和pytho
-
500元/天python开发工程师软通动力概要：开发语言：python(2 年 /熟练) / 前端（ html/css/js ） 框架或类：Dj -
500元/天Java开发工程师 Python爬虫工程师北京知因智慧数据科技有限公司概要：有两年的Java开发经验（Spring相关框架）， 自学Python， 使用过MySQL，Mon
-
500元/天Python开发工程师联通公司概要：拥有扎实的 Python 编程基础和面向对象编程思想。熟悉Python 多线程，多进程，协程开发。
-
500元/天python全栈智园概要：熟练掌握python语言，熟悉Django/Flask WEB开发框架。 熟悉MySQL/Mong
-
800元/天python开发工程师马哥教育概要：1. 主语言python，掌握常用主流web框架django，flask 2. 熟练前后端分离AP
-
500元/天python爬虫开发smg概要：linux各种服务搭建，shell脚本，python flask网站开发 scrapy爬虫开发
-
800元/天Python研发工程师Air概要：熟练使用LInux 操作系统，并能基于Python、Shell、Go、Vue进行运维自动化平台的开发
