梦璃

python工程师
进讯网络科技有限公司 · 1年经验
梦璃
日薪: ¥500/8h
地点: 其他 全区
时间: 下班后
ID:199278 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Python MySQL 机器学习
熟练掌握Excel(各种骚操作要掌握,比如VBA;会做透视表;各种公式)
python,一些机器学习原理
Mysql
统计学知识
比较:比较数据间各类别的关系,或者是它们随着时间的变化趋势,比如折线图;
联系:查看两个或两个以上变量之间的关系,比如散点图;
构成:每个部分占整体的百分比,或者是随着时间的百分比变化,比如饼图;
分布:关注单个变量,或者多个变量的分布情况,比如直方图。

项目时间:2019-06到2020-2

项目名称:分布式爬虫爬取北京市企业信用信息网

项目描述:

这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏,爬取列表页每一项下的子页获取数据

我的职责

首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。

同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,

最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。

其他爬取的网站:搜狐新闻、豆瓣、腾讯新闻网。
梦璃 ID:199278 复制

梦璃

python工程师 · 1年经验 · 进讯网络科技有限公司
城市其他 全区 日薪500元/8h 时间 下班后
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python MySQL 机器学习
熟练掌握Excel(各种骚操作要掌握,比如VBA;会做透视表;各种公式)
python,一些机器学习原理
Mysql
统计学知识
比较:比较数据间各类别的关系,或者是它们随着时间的变化趋势,比如折线图;
联系:查看两个或两个以上变量之间的关系,比如散点图;
构成:每个部分占整体的百分比,或者是随着时间的百分比变化,比如饼图;
分布:关注单个变量,或者多个变量的分布情况,比如直方图。

项目经验

项目时间:2019-06到2020-2

项目名称:分布式爬虫爬取北京市企业信用信息网

项目描述:

这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏,爬取列表页每一项下的子页获取数据

我的职责

首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。

同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,

最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。

其他爬取的网站:搜狐新闻、豆瓣、腾讯新闻网。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

微信沟通 立即沟通 立即预约
平台担保交易 · 1小时内不满意可退款
微信扫码,建群沟通

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏 立即预约 微信沟通 立即沟通