项目一:数据接入平台
开发环境: IDED+maven+jdk1.8+Linux+git
系统架构: springboot+dubbo+mybatis+mysql+redis+python
项目描述:对各个不同的异构数据源的数据进行搬运以及接入,包括关系型数据库如mysql、oracle、libra、greenplum、hive、SqlServer等,以及文本型数据库elasticsearch、MongoDB,消息队列kafka,文件系统Hadoop、ftp(文件包括csv、Excel、txt、json等),对源头数据进行探查其数据量、表字段名称描述、字段类型,并在目标数据库生成表结构,然后进行搬运(IDU,全部成功获取全部失败),搬运成功后对数据进行对账;
主要有三大模块:
1、库探查、表探查、字段探查;
2、数据搬运;
3、数据量对账。
项目二:da-workbench 大数据管理平台
开发环境: IDEA+ PyCharm+maven+jdk1.8+Linux+git
系统架构: springboot+mybatis+spark+Elasticsearch+logstash+kibana+kafka+mysql+redis+python_pandas 项目描述:数据管理平台主要有四大模块:1.基于 ELK 对业务日志数据进行采集、清洗转换、入库;2.python 离线统计汇总(如缓冲率、加载时长等指标),并存储到 es 以及 mysql,为 dmp 模块提供数据支持;3.spark 在线统计模块,主要实现在线人数统计、当前流量统计等,为用户提供实时统计数据;4.dmp 汇总数据以及指标查询模块。工作职责: 1、直播点播视频二次缓冲率以及首屏加载时长统计以及 echart 图表生成(python 编程);
2、通过 Struct Streaming 统计实时在线人数(java 编程);
3、ELK 平台使用,采集业务日志、清洗入库后,供技术支持快速定位问题;
4、功能需求方案设计以及编写。
项目三:智能语音质检分析系统
开发环境: IDEA+ Gradle+jdk1.8+Linux+git
系统架构: spring+springmvc+ mybatis+redis+ Elasticsearch 文本搜索引擎+ kafka+mysql+spark
项目描述:智能质检分析系统主要分为三部分:1.科大引擎对语音的转译成文本和入库;2.系统结合转译文本实现对录音进行人工质检和智能质检;3.系统基于语音的业务进行数据分析。通过智能质检分析能有效地改善呼叫中心的服务质量,质检模块主要实现了人工抽样质检、系统抽样、系统自动评分、定时任务监控、坐席申诉;分析模块偏向算法分析,实现了综合查询、热点分析、交叉分析、聚类规则、语音特征分析等功能。
工作职责: 1、负责系统部分需求文档的编写以及部分功能的设计;
2、前后台代码的开发和 bug 修复,主要为对数据清洗并入库,文本质检以及分析三大模块;
3、进行单元测试、功能接口的测试;
4、系统的在测试以及正式环境的部署以及维护。