房波

爬虫工程师

合肥讯飞数码科技有限公司 · 1年经验

日薪：￥700/8h

地点：合肥全区

时间：下班后周六周日

ID:227460 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | MySQL Redis MongoDB Selenium

掌握MongoDB、Mysql相关操作
掌握Scrapy爬虫框架
使用selenium爬取数据动态页面数据
掌握高效爬虫获取数据
熟练使用xpath、re提取页面信息
可以解决大部分post请求以及带cookie请求
具有独自编写代码爬取网站数据信息的能力
熟悉scrapy-redis的部署
熟练使用Pycharm

展开全部技术能力

项目经验

根据任务安排对目标网站进行爬取，补充数据量，分析目标网站的网站结构和一些反爬手段
通过requests、scrapy、xpath等技术手段编写爬虫程序进行内容抓取
通过分析解决目标的post请求限制
通过携带cookie对建设通进行访问，获取相关内容
通过django框架编写对数据库进行操作的工具
维护服务器爬虫脚本的每天定时更新
负责对爬取的业绩进行相关信息的提取
负责对数据库企业信息的补充，主要从爱企查更新目标信息
使用logging模块根据日期定向输出日志文件

展开全部项目经验