垚
大数据开发工程师 · 5年经验 · 京东
0
累计接单
0
用户评价
0
被收藏
技术能力
1.精通Hive sql，具有海量数据的处理经验，有较丰富的Hive sql性能调优经验
2.精通维度建模(kimball)方法论,可以根据业务情况和数据特点进行维度建模并进行ETL数据输出
3.熟练使用Hadoop(hdfs、yarn、mapreduce)，Redis,MySQL、Sqoop、Flume、clickhouse、HBase、canel、Oozie、 Azkaban、Zookeeper,Kafka,Impala,presto等大数据常用组件并了解内部运行原理
4.熟练进行从0-1企业级大数据高可用集群搭建和维护，并能稳定高效运行
5.熟悉常用框架的底层运行原理，具备项目规划和架构能力
6.熟练使用Java、Scala、Python、shell等语言进行开发
7.能够使用Superset进行报表数据展示
8.熟练使用spark Core、sparkStreaming、flink进行实时流式开发
2.精通维度建模(kimball)方法论,可以根据业务情况和数据特点进行维度建模并进行ETL数据输出
3.熟练使用Hadoop(hdfs、yarn、mapreduce)，Redis,MySQL、Sqoop、Flume、clickhouse、HBase、canel、Oozie、 Azkaban、Zookeeper,Kafka,Impala,presto等大数据常用组件并了解内部运行原理
4.熟练进行从0-1企业级大数据高可用集群搭建和维护，并能稳定高效运行
5.熟悉常用框架的底层运行原理，具备项目规划和架构能力
6.熟练使用Java、Scala、Python、shell等语言进行开发
7.能够使用Superset进行报表数据展示
8.熟练使用spark Core、sparkStreaming、flink进行实时流式开发
项目经验
技术选型：sqoop hive mysql clickhouse ES javaSDK
项目简介：业务过程没有数据中间层,没有统一的数据模型,对后续的成交转化、精准营销、私域留存、定价策略、复购增购等分析带来了很大的困难性并且使用的表没有紧跟版本迭代。导致数据分析的难度和准确性大大降低,对决策的制定产生干扰,数据的准确性大大降低开发成本增高,还会存在一些重复开发的问题,所以要亟需模型的统一化。为了解决这些问题需要对现有的业务过程结合现有的需求进行统一模型的搭建,由来降低开发成本提高决策制定的准确性。
项目职责:
1.从0-1进行数据中间层的搭建,并通过维度建模(kimball)进行每个业务的建模,保证适应系统变化
2.基于现有业务和数据特点进行代码调优,保证脚本准时高效运行
3.负责设计开发订单宽表、库存宽表、流量宽表、上账宽表等数据中间表
4.根据公司现有的技术痛点和数据痛点进行相应的优化和技术更新
5.保证数据质量并验证和后续的迭代更新
6.每个项目完成后会进行相应的技术和数据特点分析并完成技术文档
项目名称：车辆安全驾驶实时监测系统
项目职位：大数据开发工程师
项目描述：
技术选型：Java SDK kafka SparkStreaming (kafka) Redis/Hbase
项目简介：通过车辆传感器传来的汽车数据进行分析,分析汽车的胎压状况(超低压,低压,正常,高压,超高压)当出现非正常胎压之后会对车辆进行报警,向客户端推送消息告诉车主的车辆状况, 车况数据、车辆轨迹数据对车辆的行驶行程进行划分，同时计算出行程内的各个指标的值。针对各个计算指标的值计算车辆每个行程的安全得分和绿色得分。根据每个指标的值对车辆提供驾驶建议。
项目职责:
1.参与项目架构设计,数据流转设计,rowKey设计,Hbase优化设计
2.spark Streaming分析数据的胎压状态,分析得出最近50次的胎压状态存入redis
3.车辆行驶状态的结果然后根据结果计算得出初始数据模型存入kafka然后根据初始数据模型计算驾驶评分,绿色驾驶得分,存储Hbase并更新
4. 接口设计,并实现为前端提供查询,导出接口
项目简介：业务过程没有数据中间层,没有统一的数据模型,对后续的成交转化、精准营销、私域留存、定价策略、复购增购等分析带来了很大的困难性并且使用的表没有紧跟版本迭代。导致数据分析的难度和准确性大大降低,对决策的制定产生干扰,数据的准确性大大降低开发成本增高,还会存在一些重复开发的问题,所以要亟需模型的统一化。为了解决这些问题需要对现有的业务过程结合现有的需求进行统一模型的搭建,由来降低开发成本提高决策制定的准确性。
项目职责:
1.从0-1进行数据中间层的搭建,并通过维度建模(kimball)进行每个业务的建模,保证适应系统变化
2.基于现有业务和数据特点进行代码调优,保证脚本准时高效运行
3.负责设计开发订单宽表、库存宽表、流量宽表、上账宽表等数据中间表
4.根据公司现有的技术痛点和数据痛点进行相应的优化和技术更新
5.保证数据质量并验证和后续的迭代更新
6.每个项目完成后会进行相应的技术和数据特点分析并完成技术文档
项目名称：车辆安全驾驶实时监测系统
项目职位：大数据开发工程师
项目描述：
技术选型：Java SDK kafka SparkStreaming (kafka) Redis/Hbase
项目简介：通过车辆传感器传来的汽车数据进行分析,分析汽车的胎压状况(超低压,低压,正常,高压,超高压)当出现非正常胎压之后会对车辆进行报警,向客户端推送消息告诉车主的车辆状况, 车况数据、车辆轨迹数据对车辆的行驶行程进行划分，同时计算出行程内的各个指标的值。针对各个计算指标的值计算车辆每个行程的安全得分和绿色得分。根据每个指标的值对车辆提供驾驶建议。
项目职责:
1.参与项目架构设计,数据流转设计,rowKey设计,Hbase优化设计
2.spark Streaming分析数据的胎压状态,分析得出最近50次的胎压状态存入redis
3.车辆行驶状态的结果然后根据结果计算得出初始数据模型存入kafka然后根据初始数据模型计算驾驶评分,绿色驾驶得分,存储Hbase并更新
4. 接口设计,并实现为前端提供查询,导出接口
立即沟通
