ID：241556
胡羊尾巴
python 爬虫
- 公司信息：
- 上海金车信息科技有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 周六
- 周日
- 所在区域：
- 上海
- 徐汇
技术能力
熟悉 Mysql/Redis，HTML/CSS/JS，Requests/Xpath/BeautifulSoup/selenium
Python Flask Django jmeter Appium Fiddler
了解爬虫与反爬虫的一些方法和手段
项目经验
主要是对合作商提供的系统(DMS)的信息进行抓取，采用 scrapy-redis 分布式实现。windows7 作为 Master 端，管理多个 Linux slave 端爬虫集群。
分布式使用 Redis 做为缓存数据库，利用 Redis 的高并发和 I/O 读写来实现高速下载。
开发环境:Ubuntu 16.04 、scrapy 框架、scrapy-redis 分布式组件、redis 3.2 虚拟环境
1. 编写爬虫程序。
2. 解决抓取过程中反扒机制严重需要分析协议，加密，封账号，封 IP，还有验证码等问题。 3. 解决抓取过程中发现有些信息均为 JS 动态加载的，导致信息抓取不完整等问题。
4. 处理登录,数据提取,数据存储,维护代理 IP 等。
相似人才推荐
-
500元/天python开发工程师软通动力信息技术有限公司概要：负责对传统页、微博等各种站信息效采集与正确解析。对户数据进整理分析，参与模型的构建。总结分析 不同
-
500元/天python上海利韬电子有限公司概要：1、熟悉python基础编程和面向对象编程，有良好的编程习惯 2、熟悉 python 常用模块，熟
-
500元/天python工程师无概要：python，大多数python的单子，爬虫，机器学习，深度学习。基本上都行。基本上都是干的私活。在
-
500元/天python爬虫工程师吉屋科技概要：1.Python中8种数据类型的精通使用 2.Python匿名函数、列表推导式、装饰器的熟练使用
-
700元/天python高级开发工程师北京智慧星光科技有限公司概要：1 精通python主流web框架 django flask webpy等 熟练设计编写后台接口
-
700元/天Python后端开发工程师字节跳动概要：1、本人是计算机专业全日制本科科班出身，从事python开发两年，精通Django后端开发，期间做过
-
600元/天python爬虫工程师轻轻教育有限公司概要：1、熟悉常用数据库，包括MySQL 、Redis、MongoDB等等； 2、熟悉Web开发技术、尤
-
500元/天python开发工程师西藏国路安科技有限公司概要：5年python和django开发经验，由nginx+uwsgi服务部署和优化经验，可以使用缓存数据
