ID:394533

2359

JAVA开发工程师、大数据开发工程师

  • 公司信息:
  • 博彦科技有限公司
  • 工作经验:
  • 4年
  • 兼职日薪:
  • 800元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 所在区域:
  • 南京
  • 全区

技术能力

作为全栈Java后端开发与大数据工程师,我深耕Java技术栈4年,具备扎实的JVM原理、多线程并发编程及性能调优经验。熟练掌握Spring Boot/Cloud微服务架构,熟悉Dubbo、Zookeeper等分布式框架,擅长高并发场景下的系统设计,曾主导开发过日活百万级的电商平台后端系统。

在大数据领域,专注于Flink实时计算生态,具有Flink SQL/DataStream API的实战经验,包括窗口计算、状态管理、Exactly-Once语义实现等。熟悉Kafka、Pulsar等消息中间件与Flink的整合,主导过实时风控、流量分析等场景的流处理项目。对Hadoop、Hive、Spark等离线计算框架也有项目经验,处理过超过日均百亿数据的相关需求开发。

技术栈全景:

语言:Java(主力)、Scala(Spark/Flink开发)、Python(数据分析)

后端:Spring全家桶、MyBatis、Redis、RabbitMQ、Nginx

大数据:Flink(CEP/StateBackend)、Kafka、HBase、ClickHouse

数据库:MySQL(分库分表)、PostgreSQL、MongoDB

运维:Docker、Kubernetes、Prometheus监控体系

持续关注云原生与实时数仓技术演进,能够快速将新技术落地到业务场景中。

项目经验

1. 实时风控系统(Flink + Kafka + Redis)
项目角色:核心开发
技术栈:Flink DataStream、Kafka、Redis、Java
项目描述:基于Flink构建实时风控系统,处理电商平台交易数据,识别欺诈行为(如刷单、盗刷)。
核心贡献:

使用Flink实现毫秒级事件处理,通过CEP规则引擎检测异常交易模式(如高频下单、短时异地登录)。

设计Redis+本地状态的二级缓存方案,降低风控规则计算的延迟,QPS提升40%。

实现Exactly-Once语义,确保Kafka到Flink的数据一致性,故障恢复后无重复处理。
成果:系统上线后,欺诈订单识别率提升至95%,日均拦截风险交易超10万笔。

2. 电商平台微服务重构(Spring Cloud)
项目角色:后端负责人
技术栈:Spring Boot、Spring Cloud Alibaba、MySQL、Elasticsearch
项目描述:将单体架构拆分为微服务,支撑日均百万级订单。
核心贡献:

基于Spring Cloud Gateway统一鉴权,OAuth2+JWT实现多租户隔离。

使用Seata解决分布式事务问题,保证订单-库存-支付的数据一致性。

通过Elasticsearch重构商品搜索模块,响应时间从2s降至200ms。
成果:系统吞吐量提升3倍,故障率下降80%。

3. 实时数据仓库(Flink + HBase + ClickHouse)
项目角色:大数据开发
技术栈:Flink SQL、HBase、ClickHouse、Kafka
项目描述:搭建实时数仓,替代原T+1离线报表,支持运营实时决策。
核心贡献:

使用Flink SQL实现多流Join(用户行为+订单数据),实时计算GMV、UV等指标。

设计HBase存储用户画像,ClickHouse存储聚合结果,查询性能提升10倍。

优化Checkpoint配置,使Flink作业在高峰期稳定运行,Checkpoint成功率99.9%。
成果:数据延迟从小时级降至秒级,日均处理数据量10TB+。

案例展示

  • 数据采集系统

    数据采集系统

    项目角色:大数据开发工程师(核心开发) 技术栈:Flink、Kafka、HBase、Redis、Java/Python 项目描述: 构建高吞吐、低延迟的数据采集系统,日均处理百亿级日志数据(用户行为、设备埋点、业务日志),完成数据清洗、实时ETL、指标计算及存储。

  • 数据调控系统

    数据调控系统

    项目背景 “数据调控系统”是一款面向企业内部的数据管理与分析工具,旨在帮助企业实现高效的数据采集、存储、分析和可视化。该系统广泛应用于金融、物流、电商等行业,为企业的决策提供数据支持。 功能特点 数据采集与清洗 :支持多种数据源接入(如数据库、API、文件上传),并

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服