1. ZeRO（零冗余优化器）：通过 ZeRO-1（优化器状态分区）、ZeRO-2（梯度分区）、ZeRO-3（参数分区）三个阶段，去除分布式训练中的显存冗余，显著扩大可训练的模型规模。
2. ZeRO-Offload 与 ZeRO-Infinity：将模型状态卸载至 CPU 甚至 NVMe 内存，突破单卡显存上限，单卡也能训练超大模型。
3. 混合精度训练：原生支持 FP16/BF16，兼顾训练速度与显存占用。
4. 多种并行策略：支持数据并行、模型并行、流水线并行及其组合，适配单机多卡与多节点集群。
5. DeepSpeed-Chat：内置 RLHF（基于人类反馈的强化学习）全流程训练管线，一条命令即可训练 ChatGPT 类对话模型。
6. 丰富的工程能力：梯度累积、梯度裁剪、Checkpoint、学习率调度及多种优化器封装，开箱即用。

使用 DeepSpeed 非常简单，大致分为四步：
1. 安装：执行 pip install deepspeed，并确认已安装与 CUDA 版本匹配的 PyTorch。
2. 编写模型：在原有 PyTorch 代码基础上，通过 deepspeed.initialize() 将模型、优化器交给 DeepSpeed 引擎管理。
3. 编写配置：创建一个 JSON 配置文件（如 ds_config.json），声明 ZeRO 阶段、混合精度、批大小等参数。
4. 启动训练：通过命令行 deepspeed train.py --deepspeed --deepspeed_config ds_config.json 启动，训练循环中仅需调用 model_engine.forward / backward / step 三个 API。

1. 极致的显存效率：ZeRO 系列可将千亿参数模型的显存需求从 TB 级降至几十 GB，让 8 卡 A100 即可启动大模型训练。
2. 成本低、速度快：据微软官方数据，DeepSpeed-Chat 训练 130 亿参数模型的成本可低至约 300 美元，训练速度较常规方案提升十余倍。
3. 上手门槛低：与 PyTorch 无缝集成，几行代码即可启用全部优化能力。
4. 硬件兼容性广：不仅支持 NVIDIA GPU，还能利用 CPU 与 NVMe 异构内存，多节点扩展性出色。
5. 开源活跃：背靠微软与庞大开源社区，持续迭代，生态成熟。

在大模型训练框架中，DeepSpeed 的主要竞争对手是 NVIDIA 的 Megatron-LM。二者定位不同：Megatron 擅长模型并行，提供成熟的张量并行与流水线并行方案，并通过自定义 CUDA Kernel 实现极致计算效率，但深度绑定 NVIDIA 硬件、学习曲线较陡；DeepSpeed 则精于资源调配，其 ZeRO 数据并行方案能大幅降低显存占用，且硬件兼容性更广、易用性更高。在实际生产中，二者常被结合使用，例如 Megatron-DeepSpeed 方案同时利用两者的并行与显存优化能力。相比 PyTorch 原生 DDP，DeepSpeed 在相同显存下能训练规模大得多的模型，优势明显。

1. 安装失败：多由 CUDA、gcc 或 PyTorch 版本不匹配引起，建议用 ds_report 检查环境，确保 gcc 9+ 且 PyTorch 版本符合要求。
2. 报错 Unsupported gpu architecture 'compute_89'：常见于 RTX 4090 等新显卡搭配 ZeRO-3 Offload，可通过升级 DeepSpeed 或设置合适的 TORCH_CUDA_ARCH_LIST 解决。
3. ZeRO-3 推理/评估时报错 Cannot copy out of meta tensor：通常需要调用 zero_to_fp32.py 脚本合并权重后再加载。
4. 出现 ds_status 相关报错：多为旧版本兼容问题，建议升级至最新稳定版 DeepSpeed。
5. 多机训练通信超时：可调大 communication-queue-depth 参数，并在大规模训练前先做小规模验证。
6. 显存不足或速度慢：可尝试开启 gradient checkpointing、适当调整 ZeRO 阶段或启用 Offload 缓解。