Z.
云计算交付工程师
上海恒驰信息系统有限公司 · 1年经验
日薪：
￥500/8h
地点：
上海 静安
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
掌握Python、Autojs语言开发技术
华为云计算专家，精通公有云技术
熟悉Linux、docker、openstack日常操作使用，了解python语言
熟悉华为云公有云架构体系以及主流公有云产品计算类、存储类、网络类、数据库类等的使用、掌握上云迁移方法论
掌握apache、nginx、minio、jumpserver、openvpn、discuz、wordpress、可道云等主流的产品使用
掌握mysql、redis、mongodb数据库的操作使用
了解ELK、openvpn、discuz、wordpress、可道云等主流产品使用
了解TCP/IP协议，具备基本的爬虫能力、可以分析网络流量走向
华为云计算专家，精通公有云技术
熟悉Linux、docker、openstack日常操作使用，了解python语言
熟悉华为云公有云架构体系以及主流公有云产品计算类、存储类、网络类、数据库类等的使用、掌握上云迁移方法论
掌握apache、nginx、minio、jumpserver、openvpn、discuz、wordpress、可道云等主流的产品使用
掌握mysql、redis、mongodb数据库的操作使用
了解ELK、openvpn、discuz、wordpress、可道云等主流产品使用
了解TCP/IP协议，具备基本的爬虫能力、可以分析网络流量走向
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
案例展示 全部案例 >
Z.
云计算交付工程师 · 1年经验 · 上海恒驰信息系统有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
掌握Python、Autojs语言开发技术
华为云计算专家，精通公有云技术
熟悉Linux、docker、openstack日常操作使用，了解python语言
熟悉华为云公有云架构体系以及主流公有云产品计算类、存储类、网络类、数据库类等的使用、掌握上云迁移方法论
掌握apache、nginx、minio、jumpserver、openvpn、discuz、wordpress、可道云等主流的产品使用
掌握mysql、redis、mongodb数据库的操作使用
了解ELK、openvpn、discuz、wordpress、可道云等主流产品使用
了解TCP/IP协议，具备基本的爬虫能力、可以分析网络流量走向
华为云计算专家，精通公有云技术
熟悉Linux、docker、openstack日常操作使用，了解python语言
熟悉华为云公有云架构体系以及主流公有云产品计算类、存储类、网络类、数据库类等的使用、掌握上云迁移方法论
掌握apache、nginx、minio、jumpserver、openvpn、discuz、wordpress、可道云等主流的产品使用
掌握mysql、redis、mongodb数据库的操作使用
了解ELK、openvpn、discuz、wordpress、可道云等主流产品使用
了解TCP/IP协议，具备基本的爬虫能力、可以分析网络流量走向
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
立即沟通
