一、数据清洗工作
项目背景：公司 AI 大数据部门需要布局新的领域，其中就涉及医疗文本信息提取，例如通过对医疗文本进行 NLP 训
练可以分析出疾病和基因之间的关系和分类出所属实体，从而更好地理解疾病的发病机理和预防方法。
工作描述：1.负责生物医学信息的文本挖掘工作，对基因和疾病的关系进行提取，使用 NLP 模型 BioBERT 在标注好的
生物医学语料库上进行监督学习；
2.把挖掘到的生物医学信息存到数据库中，并建立可视化系统展示这些信息，可视化系统可以展示生物医学
信息的统计分析结果、关系网络、热图等信息；
3.对采集到的生物医学数据做数据清洗工作，编写 Python 脚本把 6000 余条数据按照要求进行归类，比人工
归类提升效率 80%，最后交给科研人员做研究。
个人收获：对团队协作有了更深刻的理解，学会了每天技术日志的编写，使自己明白了快速学习新知识并将其运用到
新需求的重要性。
二、中国足协国家队大数据可视化系统
应用技术：Golang、Grom、PostgreSQL、Nginx、Redis。
项目描述：使用 Golang 的 Gin 作为服务端的开发框架，完成了一个足球大数据可视化系统，实现了 Excel 文件信息录
入、球员个人比赛数据的可视化展示及导出、球队集训日程管理、视频库等功能。本人主要负责后端的工作，其中包
括架构搭建、中间件编写、具体模块的接口编写，保证事物的 ACID。
主要工作：1.在整个后端项目中加入 jwt 中间件完成鉴权，确保接口的安全性；在登录模块中使用 Redis 设计了一个防
爆破功能，Redis 中存放了来访 IP 每分钟的请求次数，请求异常频繁就会禁止其访问，防止其恶意占用服务器资源；
2.对球员模块的数据请求服务进行了优化，球员模块涉及到的关联表比较多，数据请求比较缓慢，因此我进
行了 SQL 优化，在数据库的表中和该模块相关的字段加了索引，优化后接口服务的响应速度由 5s 减少到 0.5s；
3.在第三方库 excelize 的基础之上设计编写了一个 Excel 文件导入功能，用户导入 Excel 数据，系统首先会
对导入的数据进行数据格式校验，校验通过后导入 DB，不通过会将不规范的数据做红色标记并返还给用户;
4.通过第三方库 cron 来实现定时化的将缓存的数据持久化存储到 DB 中，使用 Gorm 操作数据库完成持久
化存储。
项目成果：实现了一个大数据可视化系统，大部分操作的是缓存，速度极快，持久化设置定时任务避免在高峰期持久
化；本系统录入球员 20000 余名，球探通过系统提供的球员数据分析可以便捷的选择比较优秀的球员。