DeepSpeed 是开源深度学习优化库，用于让大规模分布式训练和推理更高效，提供 ZeRO、Offload、MoE、压缩、推理优化和长上下文训练等能力。

PyTorch 是开源深度学习框架和生态，由 PyTorch Foundation 管理，支持动态图开发、生产部署、分布式训练、丰富工具库和主流云平台。