OmniScale
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。
案例介绍
从零搭建千亿参数MoE大模型的训练基础设施。设计了基于Megatron-LM + DeepSpeed的分布式训练框架，实现Expert Parallelism与Tensor/Pipeline Parallelism的混合并行策略。自研MoE Expert负载均衡算法，优化All-to-All通信，解决千卡训练中的Loss Spike问题。
OmniScale
联系该工程师
微信扫码，建群沟通
案例介绍
从零搭建千亿参数MoE大模型的训练基础设施。设计了基于Megatron-LM + DeepSpeed的分布式训练框架，实现Expert Parallelism与Tensor/Pipeline Parallelism的混合并行策略。自研MoE Expert负载均衡算法，优化All-to-All通信，解决千卡训练中的Loss Spike问题。
案例图片
相似案例推荐
-
AI陪伴数字人
本项目聚焦老年人情感陪伴需求，基于百度数字人打造拟真对话形象
-
AI漫剧一键生成。美工猫电商工具
该作品是一个面向电商美工和内容运营场景的 AIGC 自动化工
-
saas生态-企业级智能体管理中心
在教育行业数字化转型的背景下，SaaS生态下的企业级智能体管
-
商铺简易库存，普通企业简易网站
本作品由商铺简易库存管理系统与中小型企业简易展示网站两套项目
-
AI接口联调案例
这是使用模拟请求与本地测试环境整理的接口诊断样例（非客户项目
-
电商订单自动化
电商多平台订单数据自动化清洗与日报生成系统 【项目
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
