基本信息

案例ID:231075

技术顾问:Bacchus - 1年经验 - 中电科技

联系沟通

微信扫码,建群沟通

项目名称:GPT-2 (124M)​​+FP8

所属行业:人工智能 - 其他

->查看更多案例

案例介绍

独立完成,复现GPT-2 (124M参数)​​+FP8混合精度预训练
● 基于Transformer架构
● 训练数据是HuggingFaceFW/fineweb-edu中的sample-10BT
● GPU租用的是智星云,GeForce RTX 4090 (24G),系统Ubuntu,单机4卡
● 相关版本如下:CUDA Version: 12.4, Driver Version: 550.127.05, torch 2.5.0, triton 3.1.0

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服