三赢科技有限公司
个人
ID:303532
Python高级工程师
4年
600元/8小时
技术:1.熟练使用正则表达式和Xpath及Scrapy框架数据爬虫。
2.熟悉JavaScript,Web,C,C++等语言。
3.熟悉禅道等工具对BUG跟踪以及版本管理工具SVN的使用。
4.熟悉Python语言,并能够独立使用Python+requests+ddt+unitt
项目:2019/12-2021/09 华为科技 Python开发工程师
工作描述:
遇到问题及解决方案如下:1.爬取量较大,用scrapy-redis爬取,因为该框架实现url和数据去重,持久化和分布式比较方便.
2.采用隧道动态ip进行采集数据. 3.需要抓包并