ID：263657
落安
后端工程师
- 公司信息：
- 沃加云
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 山东
- 全区
技术能力
Python的Web后端开发，网络爬虫，脚本开发，数据分析处理，文件自动化处理
熟悉Flask，Django等后端框架
前端HTML，CSS，JavaScript开发
Mysql，redis等常用数据库的配置，优化
项目经验
分布式爬虫爬取企业信用信息网
项目介绍：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
相似人才推荐
-
500元/天主管工程师深圳索信达实业有限公司概要：年以上项目开发及管理经验。主要从事java 项目研发管理工作。 熟练掌握 缓存技术、集群、负载
-
1000元/天Software Developer中金公司概要：1、java编程基础扎实，熟悉常用框架及使用场景 2、有丰富的金融行业工作经验，了解证券、基金等基
-
800元/天高级软件开发工程师北京易图通科技有限公司概要：1、C/C++编程经验15年，主要是地图与定位方向，主要包括： 1）NDS/OpenD
-
1200元/天开发工程师前华为技术概要：超过10年从业经验，且保持一线开发。主要方向为系统整体架构的设计，具备多种系统的总体评估和架构设计能
-
700元/天研发工程师国美概要：掌握java\c\c++\python 等语言 掌握一些框架spring\springcloud\s
-
500元/天后台研发组长苏州数字地图信息科技股份有限公司概要：1、熟悉springBoot+springCloud微服务框架，了解其全家桶组件； 2、熟悉nac
-
1000元/天高级软件研发工程师上海科技有限公司概要：1. 开发平台： windows linux 2. 熟练 c/c++, Go, python
-
700元/天后端开发，产品经理北京鼎盛网络科技有限公司概要：团队成员具备以下技术 1. 熟悉Java Go 语言开发 2. 熟悉前端最新H5，VUE技术
