ID：128661
A黑圪蛋
爬虫工程师
- 公司信息：
- 山西益海科技
- 工作经验：
- 3年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日远程
- 所在区域：
- 北京
- 全区
技术能力
精通python语言，2年以上的网络爬虫经验！
了解各类web前段技术！
熟悉正则表达式及xpath，能从个种结构化及非结构的数据中获取信息！
可熟练应用scrapy框架，requests及各类库！
项目经验
在我一开始工作的时候，感觉公司的爬虫还是很高大上的，看起来挺复杂的。不过现在看来，也就一般了。设计思想还可以，但易用性不佳。很多可以自动化解决的问题，居然一直都是以人工的方式处理的。举个例子，有一次，我们公司的运维要检查爬虫抓取的数据是否完整。于是他按照惯例到客户的网站上，从不同的栏目里复制几条数据的 url。然后再将这几条 url 一条一条的复制到爬虫控制台的搜索框中，看看能不能查找这条 url 的采集记录。这个过程相对来说还是比较繁琐的，特别检查多个网站数据的数据采集情况时，尤为的繁琐，效率十分低下。所以后来我实在看不下去了，就写了一个 chrome 插件，并在爬虫后台开放一组接口。这样利用插件批量将页面中的 url 发送给后台，后台检测完后，再将结果返回给 chrome 插件。插件根据检测结果，把未爬虫采集的数据标题标红，并加上删除线。这样哪些数据未被采集，一目了然，再也不用手动检查了，效率也大大的提高了。
相似人才推荐
-
800元/天研发工程师中科院概要：Python数据爬虫，曾爬取了链家(北京)所有二手房数据（房价、首付、单价、地区、建造年限、户型、面 -
1000元/天NLP专家某知名通信公司概要：1. 本人大大小小项目经历的非常多，需求分析、方案设计、编码、上线、运维全包。本人承诺，承接的项目 -
500元/天GIS高级工程师海康威视概要：1、BS整站开发，全栈工程师。 2、精通GIS地图类应用开发，做过管网，土地类平台系统，亦涉及三维
-
800元/天C语言软件工程师理工雷科，华力创通概要：使用C/C++语言开发基于DSP与ARM嵌入式平台驱动程序及算法软件 使用Matlab语言对卫
-
500元/天软件研发工程师重庆智能电控概要：精通stm32各类IP，精通usart. i2c. timer.dma等，调试能力极强。 对于各自
-
1600元/天全栈工程师全栈开发概要：全栈工程师，前后端技术熟练应用，从域名申请，服务器部署到前后端开发，上线都能熟练完成，ruby程序员
-
1200元/天模型师中国平安、纳斯达克某上市互联网金融公司概要：系统掌握计算机科学、统计分析和大数据挖掘，熟悉互联网金融和电商行业； 具有10+年数据分析/数据挖
-
800元/天项目经理上海新致软件有限公司概要：精通c#语言开发，熟练.net技术架构体系; 熟练的进行C/S、B/S系统的开发； 熟练MVC架
