猿急送>

北京Python兼职程序员

ID：307471

(°ー°〃)

Python爬虫工程师

公司信息：
乐天工作室

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

1、熟练掌握异步分布式爬虫系统开发
2、熟悉异步的开发方式【主用协程，多线程辅助】
3、熟练掌握主流自动化工具【playwright，Selenium，Pyppeteer，主用async_playwright】
4、熟练掌握主流数据库【mysql，Redis，MongoDB，主用aiomysql】
5、熟练掌握基础反爬手段，例如自动化工具伪装，登录反爬等等，例如cookie机制或者登录态等等
6、熟练掌握验证码的破解，例如数英验证码，滑块验证码，短信验证码，也了解熟悉滑块算法，可矫正第三方验证码接口，缩短时间投入和成本投入
7、熟练掌握scrapy-Redis分布式爬虫开发
8、熟练掌握基础的爬虫知识【aiohttp，xpath选择器，css选择器，各种基础前端知识（html，js等)自动化框架自带的选择器等，熟练数据怎么请求响应等知识】
9、拥有广泛的计算机领域知识，能为团队提供有效的技术支持，处理各类电脑故障。
10、熟练掌握fastapi，前端网页开发等其他知识

项目经验

简介:
开发过完整的异步分布式爬虫系统，不是使用scrapy-Redis，这个爬虫系统具备更贴合公司业务情况，使用简捷通用，扩展性强，具备全自动化的功能，且新增同类爬取方式的项目可直接复用大部分代码

具体功能:
1、爬虫使用的异步的开发方式开发的，提高爬虫效率
2、爬虫使用了分布式的开发方式，且新增很多有用的新特性，不单只可以多台电脑运行提高效率，还可以单台电脑多终端运行提高效率，且系统设计深度灵活，可以很灵活方便的只提取爬虫系统某个项目，某个店铺的数据，急需某些数据时可以很快速提供给公司
3、爬虫系统具备全自动化的功能，例如全自动化解决登录出现的滑块验证码，短信验证码等，还可以全自动化识别爬取时段，就是某些数据可能早上10点前就不需要了，或者某些数据是在下午3点才更新的，下午3点的数据才是最新，才是有效数据，那么爬取的时候会自动识别当天时间，不是在这个时间就不去执行爬取这个项目，当然如果突然需要爬取了，也可以很简单快捷就可以立刻爬取，换个运行命令就可以解决问题了，就是第二点提到的功能
4、新增同类爬取方式的项目，就是新增可以套用大部分底层代码的项目，爬取后数据上传至对应的线上文档，预计40多个
5、自动化去重加灵活爬取，根据设定的时间参数，可以灵活得爬取项目，例如默认是两小时内同个项目或者同个店铺就不再爬取，然后也可以设定为当天爬取一次就不再爬取，再或者可以设定为一天三次，早上八点爬取一次，下午两点一次，下午5点一次，主要看项目数据的需求情况，
6、不同的爬取方式集成于一个框架，例如设计的爬虫系统具备两种爬取方式，通过某个方式设定，同类爬取方式的项目就可以复用大部分代码，不用重新编写，直接使用即可，只需负责编写数据提取的上传的操作即可
7、具备爬虫异常监控系统，爬虫出现异常会自动化转发异常到群里，且自动记录报错的原因和详细请求过程

使用异步的playwright框架自动化爬取前端数据，然后上传至线上文档
其中解决大部分反爬问题，例如浏览器伪装，频繁邮箱登录绕过或者解决，滑块验证码解决等等，爬虫出现异常也会自动化监控并转发到群

使用异步playwright自动化框架去抢发货台名额
大致原理是获取线上表格的需要抢的单号，然后自动化登录到后台管理页面，然后去抢发货台的名额
一开始是使用脚本模拟真人点击的方式去写的脚本，解决了大部分出现的问题，例如弹窗屏蔽，全自动化切换店铺，常见反爬机制等等
后续因页面变动频繁，其他问题出现的频繁，采取了另一种方式去编写，极大程度得让自动化脚本变得稳定起来

案例展示

异步分布式爬虫开发

简介: 开发过完整的异步分布式爬虫系统，不是使用scrapy-Redis，这个爬虫系统具备更贴合公司业务情况，使用简捷通用，扩展性强，具备全自动化的功能，且新增同类爬取方式的项目可直接复用大部分代码具体功能: 1、爬虫使用的异步的开发方式开发的，提高爬虫效率 2、爬
自动化网页脚本和自动化网页爬取

使用异步的playwright框架自动化爬取前端数据，然后上传至线上文档其中解决大部分反爬问题，例如浏览器伪装，频繁邮箱登录绕过或者解决，滑块验证码解决等等，爬虫出现异常也会自动化监控并转发到群使用异步playwright自动化框架去抢发货台名额大致原理是获取