ID：191615
Desire
数据专员
- 公司信息：
- 宝尊电商
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 上海
- 静安
技术能力
熟悉 linux 系统使⽤,熟悉 HTML,CSS,JavaScripy,了解Ajax,JQuery 等前端技术
熟悉关系型数据库(Mysql),⾮关系型(Redis,Mongodb等) 的基本操作
熟悉基于 Cookie 的⽹站登录原理
擅⻓使⽤ lxml 模块，Xpath，Json，Re 进⾏数据提取
熟悉 requests 模块和Scrapy 框架及Scrapy-redis 分布式框架，熟悉应对常⻅的反爬措施
熟悉最新的自动化爬虫工具pyppeteer，可以绕过淘宝的滑块验证
项目经验
通过pyppeteer自动化登陆到淘宝上拿到登陆后的cookie，然后用request请求目标网页，获取商品的基本信息对销量不好的产品进⾏促销活动，对客户的新产品的型号进⾏实时监测，判断商品价格的趋势和⾛向使⽤mysql 数据库进⾏存储数据,使⽤ requests 来发送请求、time 设置延迟等
使⽤ re、random、urllib 等模块，使⽤ scrapy 框架抓取商品的信息,使⽤ ip 池、User-Agent 池来防⽌反爬技术。
案例展示
-
有好货，聚划算等数据采集
获取商品的基本信息对销量不好的产品进⾏促销活动，对客户的新产品的型号进⾏实时监测，判断商品价格的趋势和⾛向 使⽤ mysql 数据库进⾏存储数据,使⽤ requests 来发送请求、time 设置延迟等 使⽤ re、random、urllib 等模块，使⽤ scrapy 框架抓
-
京东手机信息采集
销售要求将所有⼿机的型号,价格,评论,配置等记录到 csv ⽂件 创建好 scrapy 框架项⽬ 将配置,价格等信息写⼊到 mongodb,并导出⼀个 csv 格式⽂件 使⽤代理 ip、cookie、user-agent 来解决反爬⾍机制
相似人才推荐
-
1000元/天设计起家、前端精通一直做江苏、上海分包概要：1. PS UI设计，PC、移动端，从风格定位到整套出图，至少提供二选一方案； 2. HTML+C
-
500元/天C 嵌入高级软件工程师箭牌家居集团概要：1. C 、C++语言嵌入式开发，多年实战，目前在卫浴领域做智能马桶软件开发，瑞萨RL78、恩智浦
-
1000元/天主程多益网络科技有限公司概要：能良好掌握c++，lua，python，c#，ts等语言，使用unity，cocos，laya等引擎
-
2000元/天工程师科技概要：11111111111111111111111111111111111111111111111111 -
1000元/天CTO，技术总监广州正顺信息科技有限公司概要：从事计算机相关工作12年以上，除了管理工作，长期处于一线开发，因为掌握技能比较全面，主要技能如下：
-
600元/天软件开发工程师北京东华原医疗设备有限责任公司概要：C#和.NET六年开发经验。 Java六年开发经验 Java web 三年开发经验。 Delp
-
500元/天高级开发工程师上海天天鲜果电子商务有限公司概要：拥有8年的php后台开发工作经验，熟悉PHP的OOP和MVC模式，熟练掌握mysql的常用操作及优化
-
1500元/天测试测试测试测试测试概要：测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试
