挖掘平台开发

企业服务数据服务案例ID：219602

子翔

15 年经验· 深圳程翔智能网络科技有限公司

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

一、挖掘平台开发
1. 系统开发框架简介：集成大数据环境，airflow工作流引擎，web应用是一个分布式的框架，Maven多模块构建，提供项目模块化、微服务的思想，实现并发高，数据处理与分析，整个项目使用定制化服务思想，模块化的方案
2. 项目描述：包含潜客挖掘，异常担保，担保图谱，Sql特征构建
3. 项目职责：airflow工作流开发，新技术调研
5．技术描述：
1、后端
大数据环境：hdfs，hive，Spark langch，spark-shell，spark-sql 开发语言：java，scala
工作流引擎：airflow web后台：Springboot+Hibernate+mysql/oracle
二、Arango 查询入数性能优化，二次开发
1. 系统开发框架简介：ArangoDB支持灵活的数据模型，比如文档Document、图Graph以及键值对Key-Value存储。ArangoDB同时也是一个高性能的数据库，它使用类SQL查询或JavaScript扩展来构建高性能应用。
2. 项目描述：由于招行大数据量下，3度图查询性能缓慢，入数性能缓慢等问题，提供解决方案
3. 项目职责：1 提供查询优化方案
4. 技术描述：
1、后端
并行运算:Spark 图数据：ArangoDb ，存储引擎：RocksDB