我胡闹i 你善!xoxo

负责设计和开发高效的网络爬虫程序
选择MySql或MongoDb作为数据存储方案，保障数据结构化管理
参与编写技术文档，记录爬虫开发流程、遇到的问题及解决方案
1.对亚马逊，168等电商数据进行采集
2.抓取并清洗公开数据，存储到mogoDb中
3.负责日志系统的开发和维护
4.将披爬取的数据展示在页面上
5.进行api开发，和前端进行对接


熟练运用Python编程语言，结合Scrapy、Requests、BeautiulSou
p等常用爬虫框架和工具，实现对动态网页、反爬机制较强网站的
数据抓取
深入研究目标网站的结构和反爬策略，通过分析网络源代码、网络
请求、响应头等信息，制定合理的爬取策略，有效规避IP封禁、验
证码识别等常见问题
1.做电商类、工商信息类爬虫程序
2.为公司整合社会工程资源
3.和解决各种反爬方式：诸如（JS逆向，Cookie反爬，Token生成
和各种验证码的破解）
4.数据去重，简单的数据分析，数据入库
5.编写Python脚本实现日常任务


获取维普期刑网站的期刑数据信息（期刑名称，期刑简介作者扩发
布日期等)
1.分析网站为瑞数6代Cookie加密
2.通过补环境的方式获取到第二次产生的Cookie值
3.获取到该网站全部期刑数据，包括经济类，哲学类，生物类，化
学类等所有数据
4.获取到的数据存储到mongoD中

京东手机数据获取。
1.通过纯算协议采集，单台服务器每日新数据量为2W+
2.经协议算法的时候遇到接口加密，经测试是H5st参数
3.多线程采集数据，高效完成爬虫任务
4.获取到产品标题，产品价格，产品url，以及对应的购买人数等
5.数据存储到mongoDb中
6.对数据进行去重，清洗等操作为产品经理提供数据支持