13.分布式训练 1.基础知识 1.概述 2.数据并行 3.流水线并行 4.张量并行 5.序列并行 6.多维度混合并行 7.自动并行 8.MOE并行 9.总结 2.DeepSpeed DeepSpeed介绍 3.一些面试题 面试题 参考资料： 大模型分布式训练并行技术（九）-总结 - 掘金 (juejin.cn) https://www.zhangzhenhu.com/deepspeed/index.html https://blog.csdn.net/zwqjoy/article/details/130732601 https://techdiylife.github.io/