网约车平台是一个基于移动互联网技术的出行服务平台,包括乘客端应用、司机端应用和后台管理系统三个部分。乘客通过乘客端应用发布出行需求,平台根据算法匹配最近的司机并派遣订单;司机通过司机端应用接收订单,提供接送服务;后台管理系统则负责整个平台的运营、数据分析、用户管理和安全监控等工作。
1、负责系统架构的设计和优化,确保系统的安全性和可维护性。
2、参与需求分析、技术选型和系统设计,提供技术解决方案和建议。
3、引领团队成员,参与核心代码功能开发,提供技术支持。
4、项目核心功能优化,包括代码优化、数据库优化、缓存的使用、安全性优化、网络请求优化和日志优化。
实时特征综合应用平台是以各行业应用系统数据以及相关社会部门数据作为基础数据源,依照大数据建设规范中的数据采集,
数据处理、数据组织、数据服务的技术体系,确保数据的高效存储与处理,支撑各行业应用系统,促进数据驱动决策的实施,提高
数据检索与应用的效率,支持实时特征分析,建设的符合新一代大数据规范的实施特征综合应用。
1、负责项目的数仓设计,包括数据模型设计、ETL流程设计等。
2、根据数据的探查和定义结果通过数据抽取工具flume,sqoop,datax等将多源异构的数据接入到大数据中心,并基于
MD5数据指纹对账 的方式保障源头与目标数据的完整性、一致性、正确性。目前已完成2000余类资源、百亿级数据总量的汇总工
作。
3、针对接入数据的规模巨大、类型多样、质量参差不齐、价值密度高低不一的数据特性,通过存储过程、函数等数据分析技
术结合数据清洗、关联、比对、标识等处理手段对所有接入的数据进行规范化处理,目前根据数据处理要求共开发了以格式转换、
内容校验类型为代表的30余种数据清洗、转换规则。
项目经历
4、根据数据应用需求,按照数据定义的标准统一,流程规范的组织方案,综合各类数据资源结合mysql,hive,hbase,es
等数据存储框架进行分类建库,为数据的统一分析,统一服务提供数据基础,目前已完成了基于公民身份号码、法院、保司、 手
机号、车牌号、车架号、车型等关键要素的关联库、关系库、要素重点行为库建设,以及围绕人、地、案、事件、物,组织等对象
的主题库建设。
5、负责数据治理中主题模块,工作内容,梳理数据源,梳理了二十多个系统,三千多个表,对资源层进行主题建模,逻辑建
模,物理建模,对模型进行资源层中mapping查找,对主体层进行开发并测试并配置调度,对开发的主题进行质量检验,输出主
题结果报告。