ID：210965
Haxp
大数据开发
- 公司信息：
- 上海
- 工作经验：
- 2年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日驻场（自由职业原因）
- 所在区域：
- 上海
- 浦东
技术能力
java， scala，mysql， sql server 大数据生态系统技术栈（hadoop2.x， spark， flink， hbase，flume， kafka等）
对数据采集也有相关经验， 熟悉python， 熟悉scrapy2.x框架
有深度学习经验， 熟悉tensorflow2.x， pytorch
项目经验
某影视网站的日志 ， 离线/实时分析用户行为
数据来源log文件， flume实时监控服务器的log文件， 发送到kafka消息队列， 使用spark streaming进行实时数据处理， 将处理后的结果保存在redis数据库当中
案例展示
-
实时计算某电影网站相关数据点击量
此项目是一个实时统计计算某电影网站相关数据点击量的spark项目， 采用flume实时监听log文件， 发送到kafka消息队列进行消费， kafka集群使用zookeeper进行管理， spark进行拉去kafka消息， 进行数据处理， 将处理后的结果保存在redis非关系型数
-
某事百科爬虫
该项目是基于Scrapy框架的爬取糗事百科段子的爬虫, 爬取后的数据存在关系型数据库MySQL中 例如https://www.qiushibaike.com/text/page/1/ 需要解析当前页面全部段子的url, 再发送请求解析获取需要爬取的数据 该项目只
相似人才推荐
-
800元/天高级区块链软件工程师湖南智慧政务概要：1.熟悉区块链开发，对pow, pbft, dpos共识算法熟悉，熟练使用摘要，对称加密，非对称加密
-
1000元/天架构师AC（五大咨询公司）概要：1.擅长敏捷团队管理，产品设计，以及微服务、大数据架构设计 2.技术栈：熟悉java /netty
-
1000元/天CTO溧阳市旭日网络科技有限公司概要：1、精通开发技术：C++、Qt、Object-C、python、数据库等 2、精通开发平台：And
-
500元/天软件工程师黑龙江运通科技有限公司概要：本人有三年多的Java后端的经验，掌握springboot，springcloud，mybatis，
-
500元/天运营开发工程师上海腾讯科技有限公司概要：计算机专业211学校硕士学位。 JAVA开发经验2年，PHP开发经验一年，同时会H5+CSS前端开
-
800元/天系统开发厦门龙纹商贸概要：八年以上ASP.NET、C#开发经验； 精通.NET Framework基础类库，精通ASP.NE
-
500元/天软件工程师舜宇光电概要：熟悉企业级MES/ERP/OA等功能开发，拥有从公司订单到产品仓库发货全流程功能开发经验。 拥有大
-
600元/天高性能计算工程师杭州海康威视数字技术股份有限公司概要：5年c/c++经验，2年golang经验，做过话单解码，算法高性能集成，编写服务器对外web服务，制
