1、大数据开发部交付线算法开发
负责大数据交付项目的业务需求进行算法开发和维护,熟悉hadoop大数据的技术生态,掌握spark 编程,对spark
的性能优化和内存优化有过大量研究,熟悉如何应对数据倾斜问题,以及调参优化。
负责实现的算法包括:成绩预测(特征选择、分步回归)、网络日志聚类分析(spark、dbscan)、毕业预测(spark、
sklearn 随机森林)、报道预测(关联分析、特征选择、随机森林)、四六级通过率预测(spark、sklearnSVM)、精
准资助等算法
2、智慧教室人脸检测和人脸识别算法
负责录播主机项目人脸识别模块的人脸检测和人脸识别算法的设计和开发,使用pytorch深度学习框架,使用开放的
人脸数据集和项目研发人员采集的客户端的人脸数据集,应用预训练模型重新训练了Retinaface人脸检测模型和
Arcface 人脸识别模型,并将模型转化成onnx以适应嵌入式平台,很好地完成了录播主机项目人脸识别模块的功能需
求。
3、学术知识图谱构建
(1) 课程知识图谱构建
负责研究知识图谱构建的关键技术,针对已标注的课程知识数据集的数据量较小的困境下,进行多次模型训练试验来
确定序列标注任务的训练方法:
1)采用BILSTM+CRF; 2)BILSTM+CNN+CRF;3)bert预训练词向量+BILSTM+CNN+CRF
4)bert 预训练词向量+词性+BILSTM+CNN+CRF
经过以上试验,实现了关键词提取、命名实体识别和关系识别算法的开发,并固化成知识图谱构建工具。
(2) 学术知识图谱构建
基于SciKG和wos数据集,使用neo4, elasticsearch构建学术知识图谱,并在此基础上实现了学术的文献共引,
关键词、作者共现和社区挖掘等算法
4、基于chatglm3的Function Calling 功能开发的业务系统问答机器人
结合公司的业务数据库,使用chatglm3模型 ,利用FunctionCalling功能接入业务查询api,在提供了通用的问答
机器人功能以外,也能为业务人员能快速查阅业务的功能。
5、疫情流调系统及支撑算法的开发
负责西安公安的疫情流调系统的整体数据数据处理框架的系统设计和算法实现,基于手机wifi连接数据、并完成了流
调系统的密接算法的代码研发