落安

后端工程师
沃加云 · 2年经验
落安
日薪： ￥500/8h
地点： 山东 全区
时间： 可工作日驻场（自由职业原因）
ID:263657 复制

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python MySQL Redis JavaScript HTML CSS
Python的Web后端开发，网络爬虫，脚本开发，数据分析处理，文件自动化处理
熟悉Flask，Django等后端框架
前端HTML，CSS，JavaScript开发
Mysql，redis等常用数据库的配置，优化
展开全部技术能力

项目经验

分布式爬虫爬取企业信用信息网
项目介绍：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
展开全部项目经验

相似人才推荐

主管工程师
主管工程师
500元/天
 Software Developer
Software Developer
1000元/天
 高级软件开发工程师
高级软件开发工程师
800元/天
 开发工程师
开发工程师
1200元/天
 研发工程师
研发工程师
700元/天
 后台研发组长
后台研发组长
500元/天
 高级软件研发工程师
高级软件研发工程师
1000元/天
 后端开发，产品经理
后端开发，产品经理
700元/天
落安 ID:263657 复制

落安

后端工程师 · 2年经验 · 沃加云
城市山东 全区 日薪500元/8h 时间 可工作日驻场（自由职业原因）
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python MySQL Redis JavaScript HTML CSS
Python的Web后端开发，网络爬虫，脚本开发，数据分析处理，文件自动化处理
熟悉Flask，Django等后端框架
前端HTML，CSS，JavaScript开发
Mysql，redis等常用数据库的配置，优化

项目经验

分布式爬虫爬取企业信用信息网
项目介绍：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
客服二维码

没找到合适的人才？

扫码添加客服极速匹配，或直接发布需求让更多人才主动报名

免费发布需求
平台担保交易 · 1小时内不满意可退款
收藏

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
相似人才推荐：
杭州主管工程师 (深圳索信达实业有限公司) ，10年经验 ，500元/天 北京Software Developer (中金公司) ，6年经验 ，1000元/天 武汉高级软件开发工程师 (北京易图通科技有限公司) ，14年经验 ，800元/天 重庆开发工程师 (前华为技术) ，14年经验 ，1200元/天 杭州研发工程师 (国美) ，2年经验 ，700元/天 苏州后台研发组长 (苏州数字地图信息科技股份有限公司) ，6年经验 ，500元/天 上海高级软件研发工程师 (上海科技有限公司) ，5年经验 ，1000元/天 北京后端开发，产品经理 (北京鼎盛网络科技有限公司) ，5年经验 ，700元/天
收藏