DeepSpeed
简介
微软开源的深度学习优化库，用 ZeRO 等技术降低大模型训练的显存与算力门槛。
详细介绍
DeepSpeed 由微软开源，是深度学习训练与推理优化库，也是微软 AI at Scale 计划的组成部分，代码托管在 GitHub（deepspeedai/DeepSpeed）。它最出名的技术是 ZeRO 优化器，配合 3D 并行、DeepSpeed-MoE、ZeRO-Infinity 等方案，把显存和通信的开销压下来，让千亿参数级别的模型在有限硬件上训得动。
- 战绩可以佐证它的分量：Megatron-Turing NLG（530B）、BLOOM（176B）、GLM（130B）、Jurassic-1（178B）等一批大模型的训练都用到它。HuggingFace Transformers、Accelerate、Lightning 等框架也已集成其接口，开发者改几行配置就能接入。
对想复现类 ChatGPT 模型的团队，DeepSpeed-Chat 项目提供了完整的 RLHF 训练流程，把监督微调、奖励模型与强化学习三个阶段打包成可用脚本，把成本压到较低水平。项目仍在活跃维护——官网新闻栏显示 2026 年 5 月还有更新，新增了 Muon 优化器的用法说明与 AMD GPU 上的 ZeRO-3 通信卸载改进。