落一

高级大数据研发工程师

北京金山云网络技术有限公司 · 10年经验

日薪：￥500/8h

地点：北京海淀

时间：可工作日远程

有团队 · 可整包 ID:349941 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | Spring Cloud Java 微服务 Spring Boot MyBatis K8s Docker

1. 计算机科班出生，具备java后端研发、更具备大数据研发的多年一线实战经验
2. 在北京工作9年，有从0到1组建研发团队、有在大小各类型公司担任过重要岗位有能力按时按质完
成公司目标、有小型微服务更有大平台项目/技术积累经验
3. 担任过研发组长、项目经理、架构师、部门经理等岗位，拥有技术/管理/运维/良性沟通多方面的能
力，具备代码管理、进度把控、团队技术评审把控、提升团队战力的职业素养与才能
4. 在工作中有使用过丰富的技术栈，仅java方面就有涉及：ssh、springboot+mybatis、
springcloud+Eureka、springcloud+nacos、docker、k8s等多种框架体系
5. 在业务方面涉及：第三方/单点登陆、数据脱敏/接口加密传输、审计、审批流、跨服务事务调用、
性能限流、监控等复杂的业务场景
6. 大数据方面有7年实战经验，采集、数据中台、数据仓库、数据湖、各种场的离线/实时计算都有较高的架构/作战经验，在北京金山云公司做的主要也是大数据平台的研发工作

展开全部技术能力

项目经验

***项目：金山云大数据云平台
主要工作内容：1. 打通kafka\hive\hbase等大数据组件kerberos认证相关的配置，实现在传统数据库与这些nosql数据库之间的数据传递前的认证、权限控制；2. 调研可嵌套兼容spark/flink两种sql引擎的即席查询的kyuubi开源组件，并修改源码以实现用户在sql窗口内任何输入SQL以适配两种引擎的SQL解析并实现yarn查询日志实时回显到UI界面；3. 在开源的ambari中集成hue组件并实现中文切换、支持连接spark引擎，并实现支持多环境的jenkins上进行构建rpm包
***项目：代维共享平台
主要工作内容：1. 搭建企业、平台、运维人员三方的微服务平台，采用springcloud+nacos配置注册服务、使用mybatis+plus、oauth2认证、数据脱敏、接口秘文传输、定时任务、订单实时处理推送等功能；2. 引入k8s云原生，调研并将公司多服务部署易扩展、容错高的自动容器编排
中，实现自动化部署/扩容；3. 基于开源审批流对接到公司的代维平台中，以支持企业方、平台方多个平台的复杂审批流程；4. 对项目日志进行收集存储、开发报错时快速定位问题的工具；5. 将动环告警数据采用flink2influxdb来存储多维告警数据与逻辑数据用以监控大屏动态灵活、查询提高性能并降低维护成本
***项目：采集平台
主要工作内容：1. 采用建spring-cloud框架,通过jsoup解析html来完成部分网站的配置化采集；2. 实现了多渠道数据
的统一采集、配置和预处理,采集LTS的分布式任何调度,集成了数据库、分布式文件系统等多种方式的统一存储,且采用storm实时引擎对监控采集数据进行预警,提供了根据业务场景灵活定义采集流程的能力

展开全部项目经验