项目名称 数据入湖
开发平台 window;
开发工具 IDE tomcat mysql Maven;
项目描述
这是一个将不同项目的数据信息汇总录入同一个库中的项目,入湖后可以进行数据分析数据挖掘,我在这个项目里担任主力开发主要负责数据稽核,及新表入湖开发,独立开发统一数据源需求配合开发一致性分析,能够独立搭建新环境。使用kafka传递消息回调信息。独立对接各上游接口,使用mysql,redis,kafka等完成开发任务,编写Oracle、guass动态脚本,使用策略模式实现不同场景的切换。曾经有一个关联sql查询耗时十几秒,通过加索引及分析慢sql原因,修改sql解决问题
项目名称 智慧助手
开发框架 SpringBoot;
项目描述
这是一个智能对话的微服务,能够通过用户输入的信息进行回复及联想,通过java加Elasticsearch加py实现与用户交互,可以实现多轮对话,我担任主力开发负责机器人训练及对话测试模块,实现机器人的语料训练,上传到Elasticsearch,及通过kafka异步导入导出语料,对接训练接口,实现对机器人的训练。为了快速同步语料,我使用的多线程技术,通过分页查询语料信息,然后再利用多线程快速同步语料,使语料同步时间缩短了近三分之二