技术能力

1、熟练掌握Java，Scala等语言，能够完成相关Java、大数据开发工作，具有良好的编码规范
2、熟练掌握Linux操作系及常用命令，熟悉Shell命令，编写简单的Shell脚本
3、熟练掌握HDFS、MapReduce运行原理、Shuffle(源代)、Zookeeper分布式协调服务
4、熟练掌握Flum日志采集框架，对多场景的自定义数据采集、分流，并存储到不同组件
5、掌握Hive配置、基本的HQL编写以及Spark SQL基本使用
6、掌握Kafka工作流程、幂等性、Kafka Streamin的工作机制，并用Kafka+Spark进行数据的流式计算
7、熟练掌握Spark技术栈:RDD、Dataset/Dtaframe、DStream、Strucred Stream。对Spark RDD的DAGScheduler调度、Lineage、ShuffleDependcy、NarrowDependency、cache、Checkpoint等有较深的理解
8、掌握Spark2.0中Structured Streaming计算，其中对Spark的Event-Time window和late data、join以及watermarker有较深的理解
9、熟练掌握FlinkataStrea算模型，其中对Keyedstate、Operator state、Broadcast state、TTL stateConf、StateBackend、Checkpoint/SavePoint有较深的理解、熟悉使用Flink的window function、join、watermarker、late data sideout、Trigger、Evictor等
10、掌握MySQL，Oracle，熟悉MySQL主从复制，读写分离的配置以及Redis及常用指令
11、掌握JavaEE开发Spring、SpringMVC、MyBatis、SpringBoot等Web后台开发技术

项目经验

二、思域综合风控云平台
技术实现： Flume+Kafka+Hadoop+Hdfs+Spark SQL+Flink+Zookeeper+Scala
项目描述： 项目是基于Flink和规则引擎的可视化实时风控平台，通过采集用户日志进行数据建模，实现对用户行为因子进行评估，比如常见的注册风控、登录风控、交易风控、活动风控等场景，使用大数据技术手段，将数据进行整合和分析，推送到业务系统，为事前、事中和事后提供分析依据。
职责描述： 1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.使用数学公式、定理以及词袋模型对登录评估因子建模，并将评估因子存储到hdfs。
3.参与设计埋点字段获取用户输入特征，并对用户进行画像跟踪
4.参与用户基础数据分析，风控因子评估，并推送至业务系统进行动态显示
5.使用Flink流计算对日志数据进行统计计算，计算结果实时写回Kafka消息队列，并持久化到RDBMS数据库及推送至业务系统

三、优淘在线用户购物路径追踪平台
技术实现： Flume+Kafka+Hadoop+Flink+Zookeeper+Redis+Scala
项目描述： 项目是针对用户使用APP中操作行为事件的平台，通过跟踪用户操作来实现实时记录用户触发指定的操作事件。比如说当用户在APP上浏览了哪个分类下的商品、将浏览过的商品加入了购物车、加入购物车将商品取消的、加入购物车将商品移除等，最后用户成功发生购买的行为。对于用户从开始到最终达成购买所进行操作的行为的次数，我们定义为用户购物路径长度，通过大数据的计算来度量用户在购物活动的行为习惯，为外部业务系统提供运营或对用户进行各种运营活动。
职责描述：1.编写flume过滤器对数据进行初步过滤，并将其写入kafka消息队列。
2.编写SparkStreaming流处理程序对接收到的日志数据进行实时处理。
3.将实时计算结果存储到redis中，同时基于redis的发布订阅机制将数据推送给后台服务。
4.参与集成websocket+highcharts报表实现流数据的实时动态更新。


四、智能城市广告投放云平台
技术实现： Flume+Kafka+Spark+Hdfs+Redis+ZooKeeper+Scala
项目描述： 项目是基于Spark和用户行为建模的可视化风控平台。通过采集各个渠道广告投放的海量数据，与第三方各大数据机构整合，形成独有的大数据信息库，构建了地理坐标位置与IP关联关系，分析统计用户行为轨迹、工作地、居住地和活跃地等,实现对广告投放更高效、更精准的个性化广告投放营销方案。
职责描述： 1.实现各个渠道广告投放数据的采集，清洗并存储到hdfs中
2.使用Spark对采集的数据批处理并将数据推送到kafka中
3.使用数学三角函数、弧度计算对地理坐标位置进行统计分析
4.使用Spark将计算数据进行Redis缓存，保证数据状态存储
五、e巴士智慧公交调度云平台
技术实现： Flume+Kafka+Spark+Hadoop+Hive+ZooKeeper+Scala
项目描述： 该平台主要为公交实现营运生产全息化调度管理，通过采集各大渠道的日志数据，分析某一时刻客流量，统计运营班次，利用大数据手段将各个指标进行整合，建模分析，为公交调度提供合理的指导方案
职责描述： 1.实现对日志数据的采集，清洗并存储到hdfs中
2.定制日志字段，并对日志数据进行预处理
3.使用Hive HQL的Load将预处理的数据写入到调度库表，对接业务系统
4.使用Spark计算某一时刻客流量并统计运营班次

团队情况