技术能力

java后端，大数据，数据分析，爬虫，app开发等
熟练掌握 Java 面向对象编程思想、集合、多线程、反射、io 等,良好代码注释习惯;
熟练掌握 Springboot、Spring,SpringMVC,Mybatis 等开源框架技术;
熟悉 Linux 操作系统，掌握 Scala 和 Shell 脚本语言;
熟悉 Hadoop&Spark&Hive&Flume&zookeeper&Hbase 等框架的搭建熟悉
Hive 的 HQL 语句和自定义 UDF 函数的编写;
熟悉编写 Mapreduce 代码;
熟悉 Spark 内存计算框架，SparkSql，SparkStreaming 等技术;
熟悉阿里云消息队列 MQ, DataX, MaxCompute,TableStore 等;
熟悉 MongoDB 数据库的基本原理和操作;
熟悉使用 MySQL 数据库的 SQL 语句;

项目经验

项目一(2019.5-现在) 爱德邦物联网大数据平台 Java+大数据开发工程师
项目描述：
爱德邦大数据平台旨在为 B 端车企提供骑行数据分析、数据监控、行业分析、产销分析、用户分析、营销分
析等各类服务
项目职责：
1.大数据平台 0-1 搭建: 阿里云资源评估申请、集群基于 CM+ CDH5.16.1 版本搭
建、集群集成大数据组件 HDFS,YARN,ZK,Hive,Spark,Oozie,Sqoop,Hue 等
2. 数据源整合: 数据接口开发包括 DataX 同步阿里云 OTS 数据、Sqoop 同步传统型
数据库(CRM 系统、K3 产销系统、鹰眼平台等)、Python 爬虫数据(电动车行业数
据)、Flume 同步日志数据等
3. 数据仓库建设: 主要划分 ODS/DW/DW2/APP 这 4 层, 核心是 DW2 层车辆资源
池和用户资源池，车辆资源池是从 EBMP 平台各品牌(爱玛，绿源，小帕等等)数据
库抽取数据形成车辆 ods 数据，以 VinCode(车架号) 为主键，以 CityName￾BrandType-VinCode-VehicleType 为粒度进行车辆数据加工，形成车辆资源池 ;用
户资源池是从 CRM 平台抽取 app 的 用户数据和行为日志形成用户 ods 数据，以
BrandType+UserID 为主键，以 CityName- BrandType-UserType 为粒度进行用
户数据加工，形成用户资源池
4. Java 开发后台接口提供给前端展示报表,主要技术 Springboot+tkMybatis
项目路径: http://das.adb-tech.com/adb-BigDataPlatform/
账号密码: yanglijin yanglijin
项目二(2017.3-2019.4) 移动用户人群标签库建立 Java+大数据开发工程师
项目描述：
移动用户人群标签库建立，为广告投放做精准匹配，提高点击率和转化率
项目职责：
1.MongoDB 集群搭建和部署
2.数据源是通过已投放广告订单所产生的用户轨迹日志
3.编写 Mapreduce 代码清洗用户轨迹日志，取出需要字段并存到 Hive 表中
4.对清洗后的 Hive 表中的数据进行数据转换处理，通过自定义 udf 函数解析
ip，字段加密，数据转 json 格式等一系列操作后再将数据写到 hdfs 上
5.分别用多线程，Mapreduce，Spark 实现将 hdfs 上的数据更新进 MongoDB
中，比较 3 者的更新效率
6.根据订单需求或广告主指定需要投放的用户群体，从 MongoDB 中全局统计
标签数据，以便广告精准投放
项目四(2015.1-2017.2) 工厂生产管理系统 Java+大数据开发工程师
项目描述：
该系统主要用于公司内部对产品的生产管理, 提供给公司内部人员查询产品每天的投
入量 , 产出量 , 产品的不良率等, 以及产品的在生产线上的时时状态(产品的位置信息,
产品在当前节点的停留时间等) , 同时当生产和测试过程中出现的不良品 , 分析人员可
以通过产品序列号在该系统上查询生产测试过程中所产生的不良信息(测试产品时自
动将不良信息保存并生成 log).
项目职责：
1.使用 Mapreduce 完成日志清洗,过滤等操作,并将结果导入到 Hive 中
2.编写 HiveHQL +UDF 对数据统计分析,通过时间,厂区,线别等维度统计产品的投入
量,产出量, 不良率等
3.基于站位和不良项的维度来统计不良产品的 TopN
4.统计分析产线超过 3 小时/6 小时/9 小时/12 小时在当前节点停留未动的机台, 以
便产线管理人员及时找出原因并处理
5.后期基于 Hive 处理数据的延迟性高,项目升级用 spark core 和 spark sql 处理分
析数据
6.用 Spark 开发过程中对性能优化做归纳和总结
项目五(2015.1-2017.2) 苏博教育培训教育管理系统 Java 开发工程师
项目描述：
本系统是按照学校教育管理体系设计开发的一款教育管理系统，主要包括系统管理、
招生管理、班级管理、教务管理、财务管理管理、营销管理等模块。技术上按照
MVC 的标准，使用 Mybatis +Springmvc +Spring 框架整合应用，使用基于
Annotation 的配置，代码精简。
责任描述：
参与需求讨论，开发设计讨论；
负责系统管理模块(员工管理,角色管理,权限管理,角色变更,权限变更)的代码开发及测
试。

团队情况