harry
大数据
北京智联科技有限公司 · 3年经验
日薪：
￥1000/8h
地点：
北京 昌平
时间：
下班后周六周日可工作日远程可工作日驻场（离职原因）可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
1、熟练掌握Java，Scala等语言，能够完成相关Java、大数据开发工作，具有良好的编码规范
2、熟练掌握Linux操作系及常用命令，熟悉Shell命令，编写简单的Shell脚本
3、熟练掌握HDFS、MapReduce运行原理、Shuffle(源代)、Zookeeper分布式协调服务
4、熟练掌握Flum日志采集框架，对多场景的自定义数据采集、分流，并存储到不同组件
5、掌握Hive配置、基本的HQL编写以及Spark SQL基本使用
6、掌握Kafka工作流程、幂等性、Kafka Streamin的工作机制，并用Kafka+Spark进行数据的流式计算
7、熟练掌握Spark技术栈:RDD、Dataset/Dtaframe、DStream、Strucred Stream。对Spark RDD的DAGScheduler调度、Lineage、ShuffleDependcy、NarrowDependency、cache、Checkpoint等有较深的理解
8、掌握Spark2.0中Structured Streaming计算，其中对Spark的Event-Time window和late data、join以及watermarker有较深的理解
9、熟练掌握FlinkataStrea算模型，其中对Keyedstate、Operator state、Broadcast state、TTL stateConf、StateBackend、Checkpoint/SavePoint有较深的理解、熟悉使用Flink的window function、join、watermarker、late data sideout、Trigger、Evictor等
10、掌握MySQL，Oracle，熟悉MySQL主从复制，读写分离的配置以及Redis及常用指令
11、掌握JavaEE开发Spring、SpringMVC、MyBatis、SpringBoot等Web后台开发技术
2、熟练掌握Linux操作系及常用命令，熟悉Shell命令，编写简单的Shell脚本
3、熟练掌握HDFS、MapReduce运行原理、Shuffle(源代)、Zookeeper分布式协调服务
4、熟练掌握Flum日志采集框架，对多场景的自定义数据采集、分流，并存储到不同组件
5、掌握Hive配置、基本的HQL编写以及Spark SQL基本使用
6、掌握Kafka工作流程、幂等性、Kafka Streamin的工作机制，并用Kafka+Spark进行数据的流式计算
7、熟练掌握Spark技术栈:RDD、Dataset/Dtaframe、DStream、Strucred Stream。对Spark RDD的DAGScheduler调度、Lineage、ShuffleDependcy、NarrowDependency、cache、Checkpoint等有较深的理解
8、掌握Spark2.0中Structured Streaming计算，其中对Spark的Event-Time window和late data、join以及watermarker有较深的理解
9、熟练掌握FlinkataStrea算模型，其中对Keyedstate、Operator state、Broadcast state、TTL stateConf、StateBackend、Checkpoint/SavePoint有较深的理解、熟悉使用Flink的window function、join、watermarker、late data sideout、Trigger、Evictor等
10、掌握MySQL，Oracle，熟悉MySQL主从复制，读写分离的配置以及Redis及常用指令
11、掌握JavaEE开发Spring、SpringMVC、MyBatis、SpringBoot等Web后台开发技术
项目经验
二、思域综合风控云平台
技术实现： Flume+Kafka+Hadoop+Hdfs+Spark SQL+Flink+Zookeeper+Scala
项目描述： 项目是基于Flink和规则引擎的可视化实时风控平台，通过采集用户日志进行数据建模，实现对用户行为因子进行评估，比如常见的注册风控、登录风控、交易风控、活动风控等场景，使用大数据技术手段，将数据进行整合和分析，推送到业务系统，为事前、事中和事后提供分析依据。
职责描述： 1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.使用数学公式、定理以及词袋模型对登录评估因子建模，并将评估因子存储到hdfs。
3.参与设计埋点字段获取用户输入特征，并对用户进行画像跟踪
4.参与用户基础数据分析，风控因子评估，并推送至业务系统进行动态显示
5.使用Flink流计算对日志数据进行统计计算，计算结果实时写回Kafka消息队列，并持久化到RDBMS数据库及推送至业务系统
三、优淘在线用户购物路径追踪平台
技术实现： Flume+Kafka+Hadoop+Flink+Zookeeper+Redis+Scala
项目描述： 项目是针对用户使用APP中操作行为事件的平台，通过跟踪用户操作来实现实时记录用户触发指定的操作事件。比如说当用户在APP上浏览了哪个分类下的商品、将浏览过的商品加入了购物车、加入购物车将商品取消的、加入购物车将商品移除等，最后用户成功发生购买的行为。对于用户从开始到最终达成购买所进行操作的行为的次数，我们定义为用户购物路径长度，通过大数据的计算来度量用户在购物活动的行为习惯，为外部业务系统提供运营或对用户进行各种运营活动。
职责描述：1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.编写SparkStreaming流处理程序对接收到的日志数据进行实时处理。
3.将实时计算结果存储到redis中，同时基于redis的发布订阅机制将数据推送给后台服务。
4.参与集成websocket+highcharts报表实现流数据的实时动态更新。
四、智能城市广告投放云平台
技术实现： Flume+Kafka+Spark+Hdfs+Redis+ZooKeeper+Scala
项目描述： 项目是基于Spark和用户行为建模的可视化风控平台。通过采集各个渠道广告投放的海量数据，与第三方各大数据机构整合，形成独有的大数据信息库，构建了地理坐标位置与IP关联关系，分析统计用户行为轨迹、工作地、居住地和活跃地等,实现对广告投放更高效、更精准的个性化广告投放营销方案。
职责描述： 1.实现各个渠道广告投放数据的采集，清洗并存储到hdfs中
2.使用Spark对采集的数据批处理并将数据推送到kafka中
3.使用数学三角函数、弧度计算对地理坐标位置进行统计分析
4.使用Spark将计算数据进行Redis缓存，保证数据状态存储
五、e巴士智慧公交调度云平台
技术实现： Flume+Kafka+Spark+Hadoop+Hive+ZooKeeper+Scala
项目描述： 该平台主要为公交实现营运生产全息化调度管理，通过采集各大渠道的日志数据，分析某一时刻客流量，统计运营班次，利用大数据手段将各个指标进行整合，建模分析，为公交调度提供合理的指导方案
职责描述： 1.实现对日志数据的采集，清洗并存储到hdfs中
2.定制日志字段，并对日志数据进行预处理
3.使用Hive HQL的Load将预处理的数据写入到调度库表，对接业务系统
4.使用Spark计算某一时刻客流量并统计运营班次
技术实现： Flume+Kafka+Hadoop+Hdfs+Spark SQL+Flink+Zookeeper+Scala
项目描述： 项目是基于Flink和规则引擎的可视化实时风控平台，通过采集用户日志进行数据建模，实现对用户行为因子进行评估，比如常见的注册风控、登录风控、交易风控、活动风控等场景，使用大数据技术手段，将数据进行整合和分析，推送到业务系统，为事前、事中和事后提供分析依据。
职责描述： 1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.使用数学公式、定理以及词袋模型对登录评估因子建模，并将评估因子存储到hdfs。
3.参与设计埋点字段获取用户输入特征，并对用户进行画像跟踪
4.参与用户基础数据分析，风控因子评估，并推送至业务系统进行动态显示
5.使用Flink流计算对日志数据进行统计计算，计算结果实时写回Kafka消息队列，并持久化到RDBMS数据库及推送至业务系统
三、优淘在线用户购物路径追踪平台
技术实现： Flume+Kafka+Hadoop+Flink+Zookeeper+Redis+Scala
项目描述： 项目是针对用户使用APP中操作行为事件的平台，通过跟踪用户操作来实现实时记录用户触发指定的操作事件。比如说当用户在APP上浏览了哪个分类下的商品、将浏览过的商品加入了购物车、加入购物车将商品取消的、加入购物车将商品移除等，最后用户成功发生购买的行为。对于用户从开始到最终达成购买所进行操作的行为的次数，我们定义为用户购物路径长度，通过大数据的计算来度量用户在购物活动的行为习惯，为外部业务系统提供运营或对用户进行各种运营活动。
职责描述：1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.编写SparkStreaming流处理程序对接收到的日志数据进行实时处理。
3.将实时计算结果存储到redis中，同时基于redis的发布订阅机制将数据推送给后台服务。
4.参与集成websocket+highcharts报表实现流数据的实时动态更新。
四、智能城市广告投放云平台
技术实现： Flume+Kafka+Spark+Hdfs+Redis+ZooKeeper+Scala
项目描述： 项目是基于Spark和用户行为建模的可视化风控平台。通过采集各个渠道广告投放的海量数据，与第三方各大数据机构整合，形成独有的大数据信息库，构建了地理坐标位置与IP关联关系，分析统计用户行为轨迹、工作地、居住地和活跃地等,实现对广告投放更高效、更精准的个性化广告投放营销方案。
职责描述： 1.实现各个渠道广告投放数据的采集，清洗并存储到hdfs中
2.使用Spark对采集的数据批处理并将数据推送到kafka中
3.使用数学三角函数、弧度计算对地理坐标位置进行统计分析
4.使用Spark将计算数据进行Redis缓存，保证数据状态存储
五、e巴士智慧公交调度云平台
技术实现： Flume+Kafka+Spark+Hadoop+Hive+ZooKeeper+Scala
项目描述： 该平台主要为公交实现营运生产全息化调度管理，通过采集各大渠道的日志数据，分析某一时刻客流量，统计运营班次，利用大数据手段将各个指标进行整合，建模分析，为公交调度提供合理的指导方案
职责描述： 1.实现对日志数据的采集，清洗并存储到hdfs中
2.定制日志字段，并对日志数据进行预处理
3.使用Hive HQL的Load将预处理的数据写入到调度库表，对接业务系统
4.使用Spark计算某一时刻客流量并统计运营班次
团队情况
整包服务：
微信公众号开发微信小程序开发文档原型图智能硬件开发运维类开发DBA开发其他开发
负责人：
大数据
团队成员：
产品经理 前端工程师 后端工程师
案例展示 全部案例 >
harry
有团队 · 可整包
大数据 · 3年经验 · 北京智联科技有限公司
0
累计接单
0
用户评价
1
被收藏
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
1、熟练掌握Java，Scala等语言，能够完成相关Java、大数据开发工作，具有良好的编码规范
2、熟练掌握Linux操作系及常用命令，熟悉Shell命令，编写简单的Shell脚本
3、熟练掌握HDFS、MapReduce运行原理、Shuffle(源代)、Zookeeper分布式协调服务
4、熟练掌握Flum日志采集框架，对多场景的自定义数据采集、分流，并存储到不同组件
5、掌握Hive配置、基本的HQL编写以及Spark SQL基本使用
6、掌握Kafka工作流程、幂等性、Kafka Streamin的工作机制，并用Kafka+Spark进行数据的流式计算
7、熟练掌握Spark技术栈:RDD、Dataset/Dtaframe、DStream、Strucred Stream。对Spark RDD的DAGScheduler调度、Lineage、ShuffleDependcy、NarrowDependency、cache、Checkpoint等有较深的理解
8、掌握Spark2.0中Structured Streaming计算，其中对Spark的Event-Time window和late data、join以及watermarker有较深的理解
9、熟练掌握FlinkataStrea算模型，其中对Keyedstate、Operator state、Broadcast state、TTL stateConf、StateBackend、Checkpoint/SavePoint有较深的理解、熟悉使用Flink的window function、join、watermarker、late data sideout、Trigger、Evictor等
10、掌握MySQL，Oracle，熟悉MySQL主从复制，读写分离的配置以及Redis及常用指令
11、掌握JavaEE开发Spring、SpringMVC、MyBatis、SpringBoot等Web后台开发技术
2、熟练掌握Linux操作系及常用命令，熟悉Shell命令，编写简单的Shell脚本
3、熟练掌握HDFS、MapReduce运行原理、Shuffle(源代)、Zookeeper分布式协调服务
4、熟练掌握Flum日志采集框架，对多场景的自定义数据采集、分流，并存储到不同组件
5、掌握Hive配置、基本的HQL编写以及Spark SQL基本使用
6、掌握Kafka工作流程、幂等性、Kafka Streamin的工作机制，并用Kafka+Spark进行数据的流式计算
7、熟练掌握Spark技术栈:RDD、Dataset/Dtaframe、DStream、Strucred Stream。对Spark RDD的DAGScheduler调度、Lineage、ShuffleDependcy、NarrowDependency、cache、Checkpoint等有较深的理解
8、掌握Spark2.0中Structured Streaming计算，其中对Spark的Event-Time window和late data、join以及watermarker有较深的理解
9、熟练掌握FlinkataStrea算模型，其中对Keyedstate、Operator state、Broadcast state、TTL stateConf、StateBackend、Checkpoint/SavePoint有较深的理解、熟悉使用Flink的window function、join、watermarker、late data sideout、Trigger、Evictor等
10、掌握MySQL，Oracle，熟悉MySQL主从复制，读写分离的配置以及Redis及常用指令
11、掌握JavaEE开发Spring、SpringMVC、MyBatis、SpringBoot等Web后台开发技术
项目经验
二、思域综合风控云平台
技术实现： Flume+Kafka+Hadoop+Hdfs+Spark SQL+Flink+Zookeeper+Scala
项目描述： 项目是基于Flink和规则引擎的可视化实时风控平台，通过采集用户日志进行数据建模，实现对用户行为因子进行评估，比如常见的注册风控、登录风控、交易风控、活动风控等场景，使用大数据技术手段，将数据进行整合和分析，推送到业务系统，为事前、事中和事后提供分析依据。
职责描述： 1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.使用数学公式、定理以及词袋模型对登录评估因子建模，并将评估因子存储到hdfs。
3.参与设计埋点字段获取用户输入特征，并对用户进行画像跟踪
4.参与用户基础数据分析，风控因子评估，并推送至业务系统进行动态显示
5.使用Flink流计算对日志数据进行统计计算，计算结果实时写回Kafka消息队列，并持久化到RDBMS数据库及推送至业务系统
三、优淘在线用户购物路径追踪平台
技术实现： Flume+Kafka+Hadoop+Flink+Zookeeper+Redis+Scala
项目描述： 项目是针对用户使用APP中操作行为事件的平台，通过跟踪用户操作来实现实时记录用户触发指定的操作事件。比如说当用户在APP上浏览了哪个分类下的商品、将浏览过的商品加入了购物车、加入购物车将商品取消的、加入购物车将商品移除等，最后用户成功发生购买的行为。对于用户从开始到最终达成购买所进行操作的行为的次数，我们定义为用户购物路径长度，通过大数据的计算来度量用户在购物活动的行为习惯，为外部业务系统提供运营或对用户进行各种运营活动。
职责描述：1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.编写SparkStreaming流处理程序对接收到的日志数据进行实时处理。
3.将实时计算结果存储到redis中，同时基于redis的发布订阅机制将数据推送给后台服务。
4.参与集成websocket+highcharts报表实现流数据的实时动态更新。
四、智能城市广告投放云平台
技术实现： Flume+Kafka+Spark+Hdfs+Redis+ZooKeeper+Scala
项目描述： 项目是基于Spark和用户行为建模的可视化风控平台。通过采集各个渠道广告投放的海量数据，与第三方各大数据机构整合，形成独有的大数据信息库，构建了地理坐标位置与IP关联关系，分析统计用户行为轨迹、工作地、居住地和活跃地等,实现对广告投放更高效、更精准的个性化广告投放营销方案。
职责描述： 1.实现各个渠道广告投放数据的采集，清洗并存储到hdfs中
2.使用Spark对采集的数据批处理并将数据推送到kafka中
3.使用数学三角函数、弧度计算对地理坐标位置进行统计分析
4.使用Spark将计算数据进行Redis缓存，保证数据状态存储
五、e巴士智慧公交调度云平台
技术实现： Flume+Kafka+Spark+Hadoop+Hive+ZooKeeper+Scala
项目描述： 该平台主要为公交实现营运生产全息化调度管理，通过采集各大渠道的日志数据，分析某一时刻客流量，统计运营班次，利用大数据手段将各个指标进行整合，建模分析，为公交调度提供合理的指导方案
职责描述： 1.实现对日志数据的采集，清洗并存储到hdfs中
2.定制日志字段，并对日志数据进行预处理
3.使用Hive HQL的Load将预处理的数据写入到调度库表，对接业务系统
4.使用Spark计算某一时刻客流量并统计运营班次
技术实现： Flume+Kafka+Hadoop+Hdfs+Spark SQL+Flink+Zookeeper+Scala
项目描述： 项目是基于Flink和规则引擎的可视化实时风控平台，通过采集用户日志进行数据建模，实现对用户行为因子进行评估，比如常见的注册风控、登录风控、交易风控、活动风控等场景，使用大数据技术手段，将数据进行整合和分析，推送到业务系统，为事前、事中和事后提供分析依据。
职责描述： 1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.使用数学公式、定理以及词袋模型对登录评估因子建模，并将评估因子存储到hdfs。
3.参与设计埋点字段获取用户输入特征，并对用户进行画像跟踪
4.参与用户基础数据分析，风控因子评估，并推送至业务系统进行动态显示
5.使用Flink流计算对日志数据进行统计计算，计算结果实时写回Kafka消息队列，并持久化到RDBMS数据库及推送至业务系统
三、优淘在线用户购物路径追踪平台
技术实现： Flume+Kafka+Hadoop+Flink+Zookeeper+Redis+Scala
项目描述： 项目是针对用户使用APP中操作行为事件的平台，通过跟踪用户操作来实现实时记录用户触发指定的操作事件。比如说当用户在APP上浏览了哪个分类下的商品、将浏览过的商品加入了购物车、加入购物车将商品取消的、加入购物车将商品移除等，最后用户成功发生购买的行为。对于用户从开始到最终达成购买所进行操作的行为的次数，我们定义为用户购物路径长度，通过大数据的计算来度量用户在购物活动的行为习惯，为外部业务系统提供运营或对用户进行各种运营活动。
职责描述：1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.编写SparkStreaming流处理程序对接收到的日志数据进行实时处理。
3.将实时计算结果存储到redis中，同时基于redis的发布订阅机制将数据推送给后台服务。
4.参与集成websocket+highcharts报表实现流数据的实时动态更新。
四、智能城市广告投放云平台
技术实现： Flume+Kafka+Spark+Hdfs+Redis+ZooKeeper+Scala
项目描述： 项目是基于Spark和用户行为建模的可视化风控平台。通过采集各个渠道广告投放的海量数据，与第三方各大数据机构整合，形成独有的大数据信息库，构建了地理坐标位置与IP关联关系，分析统计用户行为轨迹、工作地、居住地和活跃地等,实现对广告投放更高效、更精准的个性化广告投放营销方案。
职责描述： 1.实现各个渠道广告投放数据的采集，清洗并存储到hdfs中
2.使用Spark对采集的数据批处理并将数据推送到kafka中
3.使用数学三角函数、弧度计算对地理坐标位置进行统计分析
4.使用Spark将计算数据进行Redis缓存，保证数据状态存储
五、e巴士智慧公交调度云平台
技术实现： Flume+Kafka+Spark+Hadoop+Hive+ZooKeeper+Scala
项目描述： 该平台主要为公交实现营运生产全息化调度管理，通过采集各大渠道的日志数据，分析某一时刻客流量，统计运营班次，利用大数据手段将各个指标进行整合，建模分析，为公交调度提供合理的指导方案
职责描述： 1.实现对日志数据的采集，清洗并存储到hdfs中
2.定制日志字段，并对日志数据进行预处理
3.使用Hive HQL的Load将预处理的数据写入到调度库表，对接业务系统
4.使用Spark计算某一时刻客流量并统计运营班次
团队情况
服务范围：
团队构成：
负责人(大数据)
|
核心队员：产品经理 ·
前端工程师 ·
后端工程师
立即沟通
