猿急送>

西安Java兼职程序员

ID：419931

越狱兔

Java/大数据开发工程师

公司信息：
西安九索数据技术有限公司

工作经验：
12年

兼职日薪：
800元/8小时

兼职时间：
可工作日远程
可工作日驻场（离职原因）

所在区域：
西安
全区

技术能力

1、精通 Hadoop 生态大数据技术，具备相关组件的使用与二次开发经验，熟悉 CDH、HDP 及华为
FusionInsight HD 平台。
2、12 年 Java 开发经验，长期专注于分布式系统与大数据平台建设，主导过重点目标大数据预警平台、三
公融合项目等大型项目的架构设计与落地实施。
3、熟练掌握 Scala 语言，在 Spark / Spark Streaming 大规模离线与实时计算体系中具备深度实践经验，
能够针对高吞吐、高并发、高时效的数据处理链路进行架构设计与性能调优。
4、在数据存储与检索架构方面经验丰富，熟悉 ClickHouse、HBase、Doris、Elasticsearch 等分布式存
储与搜索系统的设计原理与适用场景，同时具备 Oracle、MySQL、KingBase 等关系型数据库的系统
化使用经验，能够根据业务读写特征、数据规模与一致性要求进行合理选型与架构组合。
5、具备支撑日增百亿级数据条目、TB 级数据规模的数据平台建设与治理经验，对高并发写入、复杂查询、
数据生命周期管理及系统稳定性保障有深入理解。
6、具备较强的技术判断力与推进能力，能够在复杂业务与多方协作环境中推动技术方案落地；对新技术保
持持续关注，善于将合适的技术手段引入实际业务场景，持续提升系统整体质量与团队技术能力。

项目经验

多源时空分析
项目简介：
多源时空分析是西安市局建设的综合性数据分析平台，涵盖数据采集、治理、分析与应用等全流程环节。
多源时空分析以用户使用 wifi 产生的信令数据为核心支撑，实时接入和处理海量数据，实现数据的高效治理
与深度挖掘。在此基础上，平台对重点目标进行精准识别与动态管控，为业务决策和风险预警提供有力的数
据支撑。
责任描述：
主导大数据计算与调度平台升级，完成 Spark 3.1 版本适配与稳定性优化。
负责 Doris 集群容量规划与数据模型设计，支撑超大规模数据高效存储与查询。
构建基于 WiFi 实时数据的流式计算体系，实现重点区域目标监控与行为分析。
设计并落地聚集、伴随、到达、离开、停留等多维实时预警模型。
支撑百亿级/日 WiFi 数据处理链路，按需入湖入仓，保障数据时效与可扩展性。
完成目标布控子系统的整体设计与研发，支持部标数据对接与日报送。
对接多方外部系统，推进跨团队、跨系统联调与落地。

某领域 QB 数据资源体系建设系统
项目简介：
某领域 QB 数据资源体系建设系统是某区域的重要涉密重点工程，旨在构建安全可控、集约高效的数据
资源管理与应用平台。系统覆盖数据全生命周期管理环节，形成“采集—清洗—治理—应用”的一体化数据
处理闭环。
在数据处理方面，系统支持多类型数据的统一接入与融合，包括结构化数据、半结构化数据及非结构化
数据，能够满足复杂多源异构数据的采集与处理需求。数据接入方式同时支持离线批量导入与实时流式接入，
确保系统既能支撑历史数据的集中汇聚，又能应对实时数据的动态更新与分析。
在数据治理层面，系统通过标准化建模、数据质量校验、元数据管理及安全管控，实现数据资源的规范
化、可追溯与可共享；在数据应用层面，构建多维度的数据共享服务、多维检索与智能问答模型，为业务决
策、风险预警与场景应用提供高质量的数据支撑。
责任描述：
参与项目整体方案设计与招投标工作，输出技术方案及投标文档。
主导 Doris 数据库技术选型与性能预研，验证其在高并发点查与高吞吐复杂分析场景下的可行性。
基于 Doris 设计并构建数据仓库体系，实现贴源数据统一存储与治理。
负责查询中心、服务共享、多维检索、数据鉴权、典型实验验证、数据标签等核心子系统的设计与研
发。
输出完整的技术交付文档体系，包括软件架构、数据库设计、接口规范及操作手册。
对接多方外部系统，推进跨系统联调与整体交付。

重点目标预警大数据平台
项目简介：
重点目标预警大数据平台是渭南市局建设的综合性数据中台项目，涵盖数据采集、治理、分析与应用等
全流程环节。项目以运营商数据为核心支撑，通过每日实时接入和处理运营商数据，实现数据的高效治理与
深度挖掘。平台对重点目标进行精准识别与动态管控，为业务决策和风险预警提供有力的数据支撑。
责任描述：
参与项目方案设计与招投标阶段技术支撑，输出关键技术文档。
构建基于 ClickHouse 的重点目标画像与标签数据体系，支撑高性能标签查询能力。
推动自研 Spark 调度平台与华为 FusionInsight HD 的兼容与适配，完善企业级大数据平台能力。
基于 Spark 构建重点目标分析模型，支撑多维度行为分析与研判。
基于 Spark Streaming 实现重点目标实时预警模型，完成预警结果的实时输出与联动。

三公融合系统
项目简介：
三公融合系统是在西安市疫情防控背景下，由公安、公卫、工信等部门联合建设的综合性涉疫防控平台。
系统依托运营商大数据，对涉疫及疑似涉疫人员进行精准排查，支持疫情防控人员开展高效的防范、监测与
溯源工作，从而提升疫情防控的科学性与协同效率。
责任描述：
参与系统早期业务需求梳理与功能架构设计。
主导 ClickHouse 数据库技术预研与落地，支撑日增百亿级数据写入及万亿级数据规模下的高性能查
询。
基于 Spark 构建多类时空关联分析模型，包括最后位置、伴随、同住、同行等复杂关系计算。
基于 Spark Streaming 实现重点区域人员聚集的实时监测与预警能力。
输出完整的系统交付文档体系，包括软件架构、数据库设计、接口规范及操作手册。

案例展示

多源时空分析

项目简介：多源时空分析是西安市局建设的综合性数据分析平台，涵盖数据采集、治理、分析与应用等全流程环节。多源时空分析以用户使用 wifi 产生的信令数据为核心支撑，实时接入和处理海量数据，实现数据的高效治理与深度挖掘。在此基础上，平台对重点目标进行精准识别与动态管控，
某领域 QB 数据资源体系建设系统

项目简介：某领域 QB 数据资源体系建设系统是某区域的重要涉密重点工程，旨在构建安全可控、集约高效的数据资源管理与应用平台。系统覆盖数据全生命周期管理环节，形成“采集—清洗—治理—应用”的一体化数据处理闭环。在数据处理方面，系统支持多类型数据的统一接入与融合，