rollinspark
Java高级开发 · 9年经验 · 深圳天彦通信股份有限公司
0
累计接单
0
用户评价
0
被收藏
技术能力
▍编程语言与基础能力
• 精通 Java，熟悉面向对象设计原则、JVM 性能调优及并发编程模型
• 具备扎实的算法与数据结构基础，具有高并发场景下的实战经验
• 具备从 0 到 1 的项目搭建与技术选型能力，深度AI开发践行者
▍主流开发框架
• 掌握Spring Boot、Spring Cloud、MyBatis 等 Java 主流框架
• 精通微服务架构设计，掌握服务注册与发现（Nacos）、配置中心、熔断降级、服务网关（Spring Cloud Gateway、Shenyu）、RPC 通信（Feign、gRPC、Forest）
▍大数据生态栈
• 熟悉 Kafka、Flink、Spark、Hadoop、Hive、ClickHouse、Paimon、Doris 等大数据组件与应用
• 精通流批一体的 ETL 流程设计与调度，实现实时数据处理与治理
▍数据库与中间件
• 熟悉主流数据库：MySQL、TiDB、Oracle、MongoDB、PostgreSQL等
• 掌握缓存与索引工具：Redis、Elasticsearch
• 熟悉数据库分库分表、读写分离、高可用部署
▍DevOps 与工程效率
• 熟悉 CI/CD 流程，掌握 Jenkins、GitLab-CI、Docker、Kubernetes、Nginx 等工具
• 能独立完成自动化部署、环境搭建、日志收集与运维监控方案设计
▍自动化运维与全球架构
• 云原生与运维自动化：Rancher/K8S集群管理，主导过基于Rancher的多环境自动化部署与多集群监控告警体系。
• 边缘计算与链路优化： 深度掌握 Cloudflare (CF) 运维体系，包括 CDN 缓存策略、WAF 防火墙防护、Page Rules 路由分配，以及利用 Terraform/API 自动化配置域名解析与线路加速，解决全球化支付回调的链路抖动问题。
▍AI 辅助开发与工程效率
• AI 增强开发： 熟练运用 GitHub Copilot、Cursor (Codex 模型)、Codeium (Qoder) 等 AI 编程工具进行日常开发，通过 Prompt Engineering 辅助代码重构、单元测试自动生成及复杂逻辑拆解，提升研发效率约 30%-50%。
• 精通 Java，熟悉面向对象设计原则、JVM 性能调优及并发编程模型
• 具备扎实的算法与数据结构基础，具有高并发场景下的实战经验
• 具备从 0 到 1 的项目搭建与技术选型能力，深度AI开发践行者
▍主流开发框架
• 掌握Spring Boot、Spring Cloud、MyBatis 等 Java 主流框架
• 精通微服务架构设计，掌握服务注册与发现（Nacos）、配置中心、熔断降级、服务网关（Spring Cloud Gateway、Shenyu）、RPC 通信（Feign、gRPC、Forest）
▍大数据生态栈
• 熟悉 Kafka、Flink、Spark、Hadoop、Hive、ClickHouse、Paimon、Doris 等大数据组件与应用
• 精通流批一体的 ETL 流程设计与调度，实现实时数据处理与治理
▍数据库与中间件
• 熟悉主流数据库：MySQL、TiDB、Oracle、MongoDB、PostgreSQL等
• 掌握缓存与索引工具：Redis、Elasticsearch
• 熟悉数据库分库分表、读写分离、高可用部署
▍DevOps 与工程效率
• 熟悉 CI/CD 流程，掌握 Jenkins、GitLab-CI、Docker、Kubernetes、Nginx 等工具
• 能独立完成自动化部署、环境搭建、日志收集与运维监控方案设计
▍自动化运维与全球架构
• 云原生与运维自动化：Rancher/K8S集群管理，主导过基于Rancher的多环境自动化部署与多集群监控告警体系。
• 边缘计算与链路优化： 深度掌握 Cloudflare (CF) 运维体系，包括 CDN 缓存策略、WAF 防火墙防护、Page Rules 路由分配，以及利用 Terraform/API 自动化配置域名解析与线路加速，解决全球化支付回调的链路抖动问题。
▍AI 辅助开发与工程效率
• AI 增强开发： 熟练运用 GitHub Copilot、Cursor (Codex 模型)、Codeium (Qoder) 等 AI 编程工具进行日常开发，通过 Prompt Engineering 辅助代码重构、单元测试自动生成及复杂逻辑拆解，提升研发效率约 30%-50%。
项目经验
统一数据同步平台 JAVA大数据开发组长
内容:
为解决公司内多个业务线跨系统数据同步、湖仓一体化处理需求，设计并开发统一数据同步平台，支持 Flink SQL 驱动的任务调度、运行监控和动态扩缩容。负责核心同步引擎模块的设计和实现，支持数百个任务的并发执行与调度；
支持 10 亿级别日志数据的实时清洗、转换与入库，平均延迟控制在 5s；
使用 Flink SQL 构建 DSL 驱动执行计划，兼容 Paimon、Doris 多种湖仓；
支持多租户动态加载 Schema，解决多数据源切换与权限隔离问题；
技术方案与核心贡献
1.平台设计：
基于 Spring Boot + Flink 构建平台核心框架，任务编排支持 300+ 并发 Flink SQL 作业，调度引擎可集成 Dinky 和自研调
度平台，支持 Doris、Paimon 等多种存储引擎自动注册和元数据继承；
2.实时处理能力优化：
利用 Kafka + Flink SQL 实现亿级别实时数据流同步处理，设计 watermark 与窗口策略将处理延迟稳定在 5 秒内；针对大
表入湖，支持动态任务拆分与并发提交，批量压缩提升写入性能 2 倍；
业绩:
平台月均调度数据超 50 亿条，支撑 10+ 核心业务部门的数据同步需求；
替代多套分散数据同步工具，提升运维效率 约 70%；
通过资源分组与并发控制策略，Flink 作业资源利用率提升 45%+；
任务接入耗时从原平均 2 天缩短为 30 分钟内可上线。
集成指挥扩展应用平台 开发组长兼模块项目负责人
内容:
阐述: 该项目由重庆市交巡警总队发起，承接商主要为海康、华为、我司等公司，项目数据量级高达百亿级数据，旨在给重
庆市局及交巡警总队进行事故以及违法行为的数据分析支撑以及警用勤务管理、群众举报线索等业务支撑
● 技术栈
SpringCloud+SpringBoot+nacos+Mybatis-plus+Redis+Swagger+Maven+Kafka+ES +Nginx
+Oracle+Hadoop+Impala+Kudu
●相关解决方案
1.使用分布式配置中心 nacos 做配置统一管理。
2.使用 pgsql 进行地图坐标存储及空间系计算。
3.使用 hadoop 数据集群+Kudu 实现大数据量实时存储及分析。
业绩:
1.提供给交巡警总队各大支队以及分局支队使用
2.帮助处理重大事故每年300起+
3.帮助分析路面交通情况、保障大型接待活动或者会议能够准时且有序的如期举行
用户画像实时更新系统 java大数据开发
内容:
该系统用于警用关系分析，主要是用于对人员的各类身份信息（IMSI、MAC、QQ 、微信、手机号码、身份证号码等）关联
分析，通过此分析达到提供警用案件线索研判、高危人员的管控等目的。
利用 Flink、spark 构建 ETL 流程，实现 3000+ 用户标签的实时更新与回流；
实现用户行为数据的实时聚合与分发到 ElasticSearch 及 ClickHouse；
设计异步任务控制框架，支持批量重试、熔断、日志持久化；
● 相关解决方案 ：
1.使用分布式配置中心携程阿波罗做配置统一管理。
2.使用百度 Neo4j构建关系图谱做分层展示等。
3.使用众多大数据组件（Spark\Flume\hive等）解决海量数据存储及计算等问题
4.使用 azkaban+kettle 的调度完成 ETL 数据清洗
业绩:
1.辅助刑警研判分析嫌疑人情况、行驶轨迹、家庭构成等
2.全年依据此系统破获重庆大小案件100起+
3.提供高危嫌疑人的初步筛选，为重庆市节约警力100人+
内容:
为解决公司内多个业务线跨系统数据同步、湖仓一体化处理需求，设计并开发统一数据同步平台，支持 Flink SQL 驱动的任务调度、运行监控和动态扩缩容。负责核心同步引擎模块的设计和实现，支持数百个任务的并发执行与调度；
支持 10 亿级别日志数据的实时清洗、转换与入库，平均延迟控制在 5s；
使用 Flink SQL 构建 DSL 驱动执行计划，兼容 Paimon、Doris 多种湖仓；
支持多租户动态加载 Schema，解决多数据源切换与权限隔离问题；
技术方案与核心贡献
1.平台设计：
基于 Spring Boot + Flink 构建平台核心框架，任务编排支持 300+ 并发 Flink SQL 作业，调度引擎可集成 Dinky 和自研调
度平台，支持 Doris、Paimon 等多种存储引擎自动注册和元数据继承；
2.实时处理能力优化：
利用 Kafka + Flink SQL 实现亿级别实时数据流同步处理，设计 watermark 与窗口策略将处理延迟稳定在 5 秒内；针对大
表入湖，支持动态任务拆分与并发提交，批量压缩提升写入性能 2 倍；
业绩:
平台月均调度数据超 50 亿条，支撑 10+ 核心业务部门的数据同步需求；
替代多套分散数据同步工具，提升运维效率 约 70%；
通过资源分组与并发控制策略，Flink 作业资源利用率提升 45%+；
任务接入耗时从原平均 2 天缩短为 30 分钟内可上线。
集成指挥扩展应用平台 开发组长兼模块项目负责人
内容:
阐述: 该项目由重庆市交巡警总队发起，承接商主要为海康、华为、我司等公司，项目数据量级高达百亿级数据，旨在给重
庆市局及交巡警总队进行事故以及违法行为的数据分析支撑以及警用勤务管理、群众举报线索等业务支撑
● 技术栈
SpringCloud+SpringBoot+nacos+Mybatis-plus+Redis+Swagger+Maven+Kafka+ES +Nginx
+Oracle+Hadoop+Impala+Kudu
●相关解决方案
1.使用分布式配置中心 nacos 做配置统一管理。
2.使用 pgsql 进行地图坐标存储及空间系计算。
3.使用 hadoop 数据集群+Kudu 实现大数据量实时存储及分析。
业绩:
1.提供给交巡警总队各大支队以及分局支队使用
2.帮助处理重大事故每年300起+
3.帮助分析路面交通情况、保障大型接待活动或者会议能够准时且有序的如期举行
用户画像实时更新系统 java大数据开发
内容:
该系统用于警用关系分析，主要是用于对人员的各类身份信息（IMSI、MAC、QQ 、微信、手机号码、身份证号码等）关联
分析，通过此分析达到提供警用案件线索研判、高危人员的管控等目的。
利用 Flink、spark 构建 ETL 流程，实现 3000+ 用户标签的实时更新与回流；
实现用户行为数据的实时聚合与分发到 ElasticSearch 及 ClickHouse；
设计异步任务控制框架，支持批量重试、熔断、日志持久化；
● 相关解决方案 ：
1.使用分布式配置中心携程阿波罗做配置统一管理。
2.使用百度 Neo4j构建关系图谱做分层展示等。
3.使用众多大数据组件（Spark\Flume\hive等）解决海量数据存储及计算等问题
4.使用 azkaban+kettle 的调度完成 ETL 数据清洗
业绩:
1.辅助刑警研判分析嫌疑人情况、行驶轨迹、家庭构成等
2.全年依据此系统破获重庆大小案件100起+
3.提供高危嫌疑人的初步筛选，为重庆市节约警力100人+
立即沟通
