字节攻克MoE关键瓶颈，训练成本再砍40%！内部万卡集群已部署

3 月 10日，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。

MoE 是当前大模型的主流架构，但其在分布式训练中存在大量跨设备通信开销，严重制约了大模型训练效率和成本。以海外主流模型Mixtral-8x7B为例， 其训练过程中通信时间占比可高达 40%。针对这一难题，字节在内部研发了COMET计算-通信重叠技术，通过多项创新，大幅压缩了MoE专家通信空转时间。

相较DeepSeek近期开源的DualPipe等MoE优化方案，COMET可以像插件一样直接接入已有的MoE训练框架，支持业界绝大部分主流大模型，无需对训练框架进行侵入式改动。因简洁、通用的设计理念，该工作以5/5/5/4 的高分入选全球机器学习系统顶级会议 MLSys 2025 ，被认为“在大规模生产环境中极具应用潜力”。

具体而言， COMET 从系统层面建立了面向 MoE 的细粒度流水线编程方式，通过引入共享张量依赖解析、自适应负载分配两项关键机制，来解决通信与计算之间的粒度错配问题，并精准平衡通信与计算负载，最终大幅提升MoE流水线整体效率。 引入COMET后，单个 MoE 层上可实现 1.96 倍加速、端到端平均 1.71 倍效率提升，且在不同并行策略、输入规模及硬件环境下均表现稳定。

COMET 的设计结构

值得一提的是，COMET 与Deepseek 研发的DualPipe方案还可以联合使用。在降低MoE通信开销上，COMET 采用了计算-通信融合算子的优化方式， DualPipe则通过排布算子来掩盖通信，两种方案并不冲突，结合使用或将更大幅度压缩模型训练成本。

目前，COMET支持多种MoE并行模式，部署灵活、方便。同时，COMET核心代码已开源，并向开发者提供了一套友好的 Python API，计划兼容 Triton 等编译生态。

COMET论文链接：https://arxiv.org/pdf/2502.19811

开源地址：https://github.com/bytedance/flux