L

大数据开发工程师
深圳市丰巢科技有限公司 · 6年经验
L
日薪: ¥800/8h
地点: 深圳 宝安
时间: 下班后周六周日
ID:140997 复制

0
接单数
0
评价数
1
收藏数

AI 技能提取 | Java Python Hadoop Spark Flink HBase Hive
6年java/大数据/爬虫开发经验
擅长于大数据开发,熟练使用Cloudera Hadoop、Flink、HDFS、MapReduce、Hive、Spark 、Flume、Sqoop、HBase等技术进行大数据处理
精通Java编程语言开发
擅长java/python爬虫程序开发

1、多个爬虫项目经验
房产网站(Q房网、链家),手机网站(中关村、太平洋)、企业信息(启信宝)、快递(格格、速递易、EMS、菜鸟等)多个网站和手机APP信息抓取,熟练使用模拟浏览器抓取动态网站数据、验证码破解及使用动态代理等技术饶过防爬虫程序。

2.大数据智制管理平台
公司2018年重点项目,立足于大数据管理和挖掘分析等实际需求,集元数据管理、任务定制管理、任务调度、报表定制,到日志分析、网管功能、权限管理等多个子系统于一体的大数据管理平台。用户可通过简单的拖拽方法灵活定制任务流程,实现大数据统计和数据挖掘。

3.广东省电信异网号码解析
基于大数据平台,按照统一的数据模型对全省固网Wi-Fi下用户上网数据(每天数据量约1200亿,17T)进行清洗、挖掘、整合、统计分析(主要采用MapReduce + hive),并向外系统提供运营数据共享,为前端市场部门提供标准的运营数据支撑。

4.广告决策平台
基于电信用户宽带上网数据清单,分析用户上网行为,为每个用户标记相应标签,并同步到redis,提供接口,供广告DSP方投放广告时调用,筛选用户,提高广告投放精准度。
L ID:140997 复制

L

大数据开发工程师 · 6年经验 · 深圳市丰巢科技有限公司
城市深圳 宝安 日薪800元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
1
被收藏

信用行为

0
接单数
0
评价数
1
收藏数

技术能力

AI 技能提取 | Java Python Hadoop Spark Flink HBase Hive
6年java/大数据/爬虫开发经验
擅长于大数据开发,熟练使用Cloudera Hadoop、Flink、HDFS、MapReduce、Hive、Spark 、Flume、Sqoop、HBase等技术进行大数据处理
精通Java编程语言开发
擅长java/python爬虫程序开发

项目经验

1、多个爬虫项目经验
房产网站(Q房网、链家),手机网站(中关村、太平洋)、企业信息(启信宝)、快递(格格、速递易、EMS、菜鸟等)多个网站和手机APP信息抓取,熟练使用模拟浏览器抓取动态网站数据、验证码破解及使用动态代理等技术饶过防爬虫程序。

2.大数据智制管理平台
公司2018年重点项目,立足于大数据管理和挖掘分析等实际需求,集元数据管理、任务定制管理、任务调度、报表定制,到日志分析、网管功能、权限管理等多个子系统于一体的大数据管理平台。用户可通过简单的拖拽方法灵活定制任务流程,实现大数据统计和数据挖掘。

3.广东省电信异网号码解析
基于大数据平台,按照统一的数据模型对全省固网Wi-Fi下用户上网数据(每天数据量约1200亿,17T)进行清洗、挖掘、整合、统计分析(主要采用MapReduce + hive),并向外系统提供运营数据共享,为前端市场部门提供标准的运营数据支撑。

4.广告决策平台
基于电信用户宽带上网数据清单,分析用户上网行为,为每个用户标记相应标签,并同步到redis,提供接口,供广告DSP方投放广告时调用,筛选用户,提高广告投放精准度。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏