bsonlimit

大数据工程师
百信银行 · 5年经验
bsonlimit
日薪: ¥1000/8h
地点: 北京 海淀
时间: 下班后周六周日
ID:258723 复制

2
接单数
0
评价数
0
收藏数
100%
五星率

AI 技能提取 | Spring Java Spring Cloud 分布式 Kafka RabbitMQ Elasticsearch Redis MongoDB Vue Hadoop Spark HBase Linux Python
#熟悉基本数据结构与算法;
#掌握java及面向对象思想,熟悉多线程编程,了解基本设计模式;
#擅长java web后台开发,熟悉spring生态(spring mvc、spring data、spring cloud等);
#熟悉redis、mongodb、rabbitmq、kafka、elasticsearch等具体业务场景常见工具;
#数据hadoop、spark、hbase等大数据技术
#熟悉linux环境下服务集群分布式部署及运维;
#了解其他开发语言如go、python,可完成相应环境的工具开发;
#有过vue前端框架使用经验

项目:数据平台
介绍: 利用大数据技术,实现数据采集、处理、存储、查询分析、可视化等,实现从业务中找数据,并让数据服务于业务。
技术难点/重点: 从0开始,在没有业务经验供参考的情况下,设计数据实时/离线处理方式、存储方式,并选择合适的技术实现。

实施过程:在技术选型上需考虑使用技术的成熟度、学习成本和维护成本。在流程上,确定数据与应用边界,明确数据出入口。同时,数据平台的测试上线流程也与业务系统存在一些不同,需进行不断磨合才能使得数据平台与业务系统互相配合。

完成状态: 已上线。完成流批一体的数据统一处理流程,实现了数据可视化、用户画像、推荐系统数据应用的落地,给运营人员提供200+业务分析指标。

项目:反欺诈系统
介绍:负责新决策引擎前期的需求明确、技术方案调研、架构设计等,负责部分模块开发和落地。

技术难点/重点:解决旧有反欺诈引擎在使用中遇到的技术痛点,更好的迎合业务需要。允许按业务需要动态切换运行引擎。新旧引擎同时运行,需考虑数据一致性问题。新旧引擎关联系统接入避免冲突;
实施过程: 新决策引擎在技术引用、服务拆解上按照新技术架构设计,并进行典型业务场景压测。新旧引擎数据以唯一标识(如交易流水号)进行关联,并以upert方式写入存储,避免数据冲突。利用spark等分析工具定时评估新旧引擎执行效果,并形成报告进行反馈

完成状态:目前已承接实际业务流量的50%,每日调用量上亿次,运行稳定

项目:快车项目
介绍:从零搭建并研发sass平台,负责主要业务实现和落地。为提高业务效率,从全国货运数据中提取信息并建模

技术难点/重点:服务器资源有限,全国货运实时数据量大且一直在产生,存储数据+查询挑战大
实施过程:分析数据特点,采用时序数据库存储,利用ssd资源并调优数据库配置。使用elasticsearch集群存储静态数据和模型

完成状态:目前已经具备服务客户能力,月流水近千万。车货匹配目前已成为部门重点项目

项目:在线教育app后端重构优化
介绍:针对老版app性能瓶颈、拓展差、代码风格不统一等问题,个人发起对老项目代码的重构以及新架构的搭建

技术难点/重点:所有业务都是放一个服务完成,导致后台项目太重, 需要进行模块拆分; 老项目各个业务模块高度耦合,拆分难度大,可拓展性差; 代码风格不统一, 需要进行统一的代码重构;

实施过程: 统一代码规范, 设计独立的基础服务如消息推送、订单支付、登录验证等; 将业务实现放到各个业务模块, 并单独部署spring-cloud服务; 添加服务降级、流量控制、服务熔断等机制提高服务的可用性

完成状态:新app后台上线, 全量替换老app后端业务,对部分瓶颈业务做到服务器线性扩容,对出现bug问题可日志追踪,整体服务质量得到很大提高。

已被预约 2 次,预约方未评价,系统默认 ★ 5星 好评。
bsonlimit ID:258723 复制

bsonlimit

大数据工程师 · 5年经验 · 百信银行
城市北京 海淀 日薪1000元/8h 时间 下班后周六周日
2
累计接单
100%
五星好评率
0
用户评价
0
被收藏

信用行为

2
接单数
0
评价数
0
收藏数
100%
五星率

技术能力

AI 技能提取 | Spring Java Spring Cloud 分布式 Kafka RabbitMQ Elasticsearch Redis MongoDB Vue Hadoop Spark HBase Linux Python
#熟悉基本数据结构与算法;
#掌握java及面向对象思想,熟悉多线程编程,了解基本设计模式;
#擅长java web后台开发,熟悉spring生态(spring mvc、spring data、spring cloud等);
#熟悉redis、mongodb、rabbitmq、kafka、elasticsearch等具体业务场景常见工具;
#数据hadoop、spark、hbase等大数据技术
#熟悉linux环境下服务集群分布式部署及运维;
#了解其他开发语言如go、python,可完成相应环境的工具开发;
#有过vue前端框架使用经验

项目经验

项目:数据平台
介绍: 利用大数据技术,实现数据采集、处理、存储、查询分析、可视化等,实现从业务中找数据,并让数据服务于业务。
技术难点/重点: 从0开始,在没有业务经验供参考的情况下,设计数据实时/离线处理方式、存储方式,并选择合适的技术实现。

实施过程:在技术选型上需考虑使用技术的成熟度、学习成本和维护成本。在流程上,确定数据与应用边界,明确数据出入口。同时,数据平台的测试上线流程也与业务系统存在一些不同,需进行不断磨合才能使得数据平台与业务系统互相配合。

完成状态: 已上线。完成流批一体的数据统一处理流程,实现了数据可视化、用户画像、推荐系统数据应用的落地,给运营人员提供200+业务分析指标。

项目:反欺诈系统
介绍:负责新决策引擎前期的需求明确、技术方案调研、架构设计等,负责部分模块开发和落地。

技术难点/重点:解决旧有反欺诈引擎在使用中遇到的技术痛点,更好的迎合业务需要。允许按业务需要动态切换运行引擎。新旧引擎同时运行,需考虑数据一致性问题。新旧引擎关联系统接入避免冲突;
实施过程: 新决策引擎在技术引用、服务拆解上按照新技术架构设计,并进行典型业务场景压测。新旧引擎数据以唯一标识(如交易流水号)进行关联,并以upert方式写入存储,避免数据冲突。利用spark等分析工具定时评估新旧引擎执行效果,并形成报告进行反馈

完成状态:目前已承接实际业务流量的50%,每日调用量上亿次,运行稳定

项目:快车项目
介绍:从零搭建并研发sass平台,负责主要业务实现和落地。为提高业务效率,从全国货运数据中提取信息并建模

技术难点/重点:服务器资源有限,全国货运实时数据量大且一直在产生,存储数据+查询挑战大
实施过程:分析数据特点,采用时序数据库存储,利用ssd资源并调优数据库配置。使用elasticsearch集群存储静态数据和模型

完成状态:目前已经具备服务客户能力,月流水近千万。车货匹配目前已成为部门重点项目

项目:在线教育app后端重构优化
介绍:针对老版app性能瓶颈、拓展差、代码风格不统一等问题,个人发起对老项目代码的重构以及新架构的搭建

技术难点/重点:所有业务都是放一个服务完成,导致后台项目太重, 需要进行模块拆分; 老项目各个业务模块高度耦合,拆分难度大,可拓展性差; 代码风格不统一, 需要进行统一的代码重构;

实施过程: 统一代码规范, 设计独立的基础服务如消息推送、订单支付、登录验证等; 将业务实现放到各个业务模块, 并单独部署spring-cloud服务; 添加服务降级、流量控制、服务熔断等机制提高服务的可用性

完成状态:新app后台上线, 全量替换老app后端业务,对部分瓶颈业务做到服务器线性扩容,对出现bug问题可日志追踪,整体服务质量得到很大提高。

用户评价 (0)

该用户已被预约 2 次,预约方未评价,系统默认 ★ 5星 好评。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏