全国教育厅网站采集
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。
案例介绍
项目描述：起初公司招聘信息渠道并不完善，而公司业务与国家工信部之间合作针对职业教育发展做平台，数据的来源需要比较完善因此基于全国各大招聘信息，企业信息，进行数据分析操作。
项目技术：scrapy、scrapy-redis、aiosync、selenium、pyexcejs、nodejs、crawlab；
项目负责：
负责招聘网站的拓展与评估；
负责全国各大招聘网站爬虫脚本开发与维护；
负责企业信息采集，实现途径各大招聘网站注册信息进行采集
负责解决各个网站对应的反爬措施含验证码，cookies，post参数等风控问题
负责项目整体维护升级管理，纳入crawlab爬虫管理系统，优化定时采集策略；
项目总结：
网站数量过多难以维护，通过托于爬虫管理系统crawlab进行定时采集，邮箱发送是否采集失败；
部分网站出现有反人类验证码，需要通过自动化工具解决；
部分网站有加密参数，一般有先考虑小程序或者app入口是否存在加密参数，如果有就会采用对网站加密参数进行逆向。
项目技术：scrapy、scrapy-redis、aiosync、selenium、pyexcejs、nodejs、crawlab；
项目负责：
负责招聘网站的拓展与评估；
负责全国各大招聘网站爬虫脚本开发与维护；
负责企业信息采集，实现途径各大招聘网站注册信息进行采集
负责解决各个网站对应的反爬措施含验证码，cookies，post参数等风控问题
负责项目整体维护升级管理，纳入crawlab爬虫管理系统，优化定时采集策略；
项目总结：
网站数量过多难以维护，通过托于爬虫管理系统crawlab进行定时采集，邮箱发送是否采集失败；
部分网站出现有反人类验证码，需要通过自动化工具解决；
部分网站有加密参数，一般有先考虑小程序或者app入口是否存在加密参数，如果有就会采用对网站加密参数进行逆向。
全国教育厅网站采集
联系该工程师
微信扫码，建群沟通
案例介绍
项目描述：起初公司招聘信息渠道并不完善，而公司业务与国家工信部之间合作针对职业教育发展做平台，数据的来源需要比较完善因此基于全国各大招聘信息，企业信息，进行数据分析操作。
项目技术：scrapy、scrapy-redis、aiosync、selenium、pyexcejs、nodejs、crawlab；
项目负责：
负责招聘网站的拓展与评估；
负责全国各大招聘网站爬虫脚本开发与维护；
负责企业信息采集，实现途径各大招聘网站注册信息进行采集
负责解决各个网站对应的反爬措施含验证码，cookies，post参数等风控问题
负责项目整体维护升级管理，纳入crawlab爬虫管理系统，优化定时采集策略；
项目总结：
网站数量过多难以维护，通过托于爬虫管理系统crawlab进行定时采集，邮箱发送是否采集失败；
部分网站出现有反人类验证码，需要通过自动化工具解决；
部分网站有加密参数，一般有先考虑小程序或者app入口是否存在加密参数，如果有就会采用对网站加密参数进行逆向。
案例图片
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
