LLM分布式训练并行技术

发表于2024-12-16

DP、PP、TP总览

1. 数据并行

数据并行总结1

2. 流水线并行

流水线并行总览
 1F1B-PipeDream

3. 张量并行

张量并行总览

1. 1D 张量并行

2. 多维张量并行

4. 序列并行

文章作者: cloni

文章链接: http://cloni418.github.io/paper%20notes/LLM%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E5%B9%B6%E8%A1%8C%E6%8A%80%E6%9C%AF/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Cloni！

数据库加载中