愚人
高级java开发工程师 · 5年经验 · 北京天玑
0
累计接单
0
用户评价
0
被收藏
技术能力
后端服务：Java是构建企业级后端服务（如RESTful API, SOAP服务等）的强大工具。
分布式系统：利用Spring Cloud等框架实现微服务架构和分布式系统。
批处理：使用Apache Hadoop和Apache Spark等框架处理大规模数据集。
流处理：利用Apache Kafka和Apache Flink等技术进行实时数据流处理。
分布式系统：利用Spring Cloud等框架实现微服务架构和分布式系统。
批处理：使用Apache Hadoop和Apache Spark等框架处理大规模数据集。
流处理：利用Apache Kafka和Apache Flink等技术进行实时数据流处理。
项目经验
职责：
1 数据整体框架的搭建使用SpringCloudeAlibaba+Nacos+Gateway+mysql数据集群+Redis缓存+Flinkx数据同步等相关技术实现业务的迭代开发；
2 基于CDH大数据管理组件，结合Hadoop、Hive等大数据技术为底座，使用Flinkx实现离线开发模型的数据同步；大数据管理组件的搭建维护，在使用过程中Hadoop、Hive的调优，统一Flinkx的命令格式形成方便维护及参数扩展；
3 基于Jenkins搭建统一CI/CD流水线管理平台，针对前端23个项目、后端18个项目的技术栈特性，分别定制可复用的标准化维护脚本，打通代码提交触发、自动构建、单元测试、镜像打包、灰度发布/全量上线的全链路自动化流程，解决多项目手动部署效率低、易出错的问题，保障高频迭代场景下的发布效率与稳定性；
项目背景：
平台按项目维度实现数据全生命周期统一管理，覆盖数据源、数据标准、离线开发、数据质量、数据安全、元数据、数据资产、API服务8大核心能力。
以数据资源管理中心为核心，通过“标准定义→模型落地→数据同步→质量监控→安全管控→API赋能”的全链路闭环，实现数据从采集、治理到对外共享的标准化流转，为各子系统提供安全合规的数据服务支撑。
1 数据整体框架的搭建使用SpringCloudeAlibaba+Nacos+Gateway+mysql数据集群+Redis缓存+Flinkx数据同步等相关技术实现业务的迭代开发；
2 基于CDH大数据管理组件，结合Hadoop、Hive等大数据技术为底座，使用Flinkx实现离线开发模型的数据同步；大数据管理组件的搭建维护，在使用过程中Hadoop、Hive的调优，统一Flinkx的命令格式形成方便维护及参数扩展；
3 基于Jenkins搭建统一CI/CD流水线管理平台，针对前端23个项目、后端18个项目的技术栈特性，分别定制可复用的标准化维护脚本，打通代码提交触发、自动构建、单元测试、镜像打包、灰度发布/全量上线的全链路自动化流程，解决多项目手动部署效率低、易出错的问题，保障高频迭代场景下的发布效率与稳定性；
项目背景：
平台按项目维度实现数据全生命周期统一管理，覆盖数据源、数据标准、离线开发、数据质量、数据安全、元数据、数据资产、API服务8大核心能力。
以数据资源管理中心为核心，通过“标准定义→模型落地→数据同步→质量监控→安全管控→API赋能”的全链路闭环，实现数据从采集、治理到对外共享的标准化流转，为各子系统提供安全合规的数据服务支撑。
立即沟通
