项目 数据分析系统
所属公司： 科大讯飞科技有限公司
项目描述： 数据在BJ用采集引擎传送到数据中心，分析数据，解析数据种类为三维数据，再次分析的wav，message，phonedata数据写入kafka集群，自定义注册表协议序列化器，有kafka consumer分析，其他数据用幂等式写入MySQL 主从集群，前后应用用spring boot微服务和Vue 还有定时任务服务等
责任描述： 我负责整个项目搭建，人员支配及代码评审，Maven nexus搭建私服加快打包速度和版本控制，还搭建Jenkins SVN 等一件部署的平台，SVN控制master develop代码版本发布是方式。bj采集服务及日志采集和数据中心文件处理用到Apache vfs底层框架，我再次分装成可用可分布式读写的文件处理引擎 其中单服务用本地锁，多服务用zookeeper分布式锁等。前端是Vue，后端是分布式微服务，按照业务分为html yj服务 zs服务 phonedata服务，依赖用Maven deploy发布方式 连接各服务的依赖。微服务之间用通讯用http feign方法。因为用户都是固定用户 不超过500人所以没有用负载ribbon和防止服务雪崩的hystrix熔断机制。首页数据用的是分布式Redis cluster这是整个系统架构。服务可以按照业务可以横行扩展。数据中心处理成功回传成功文件到采集中心 采集应答确认方式在删除本地文件，因为中间是全双工的 速度没有阻塞。这个是整体的系统流程，其中用到自己开发的文件采集服务和日志采集框架。