基于大语言模型的任务分解系统复现
• 任务分解为多步决策过程,蒙特卡洛树搜索(MCTS)可提升大模型多步决策能力;从头实现MCTS训练框架,求解性能与纯粹使用GPT-4(同期最先进大模型)相当
• 由问题生成思维链数据,经解析与清洗后对DeepSeek-math-7b-base模型进行指令微调
• 使用 MCTS,筛选出6万条完整解法,基于DeepSpeed编写训练框架,提升估值能力
• 有望增强团队内大模型服务的任务分解能力,服务国内及海外数亿用户
基于协同过滤的雷同检测算法
• 使用图嵌入技术与协同过滤思想,对选手提交的代码进行数据挖掘
• 并融合代码浅层次特征,实现在各种代码提交上的自适应特性
• 与基线方法相比,鲁棒性与准确性均有显著提高,可发现疑似规避常规方法的雷同