8月5日晚8点，青稞Talk 第67期，Sea AI Lab（新加坡）算法工程师，新加坡国立大学博士生万信逸，将直播分享《大模型训练流水线并行四部曲：吞吐、内存、负载均衡与线性扩展》。

分享嘉宾

万信逸，Sea AI Lab（新加坡）算法工程师，新加坡国立大学博士生，专注机器学习系统领域的创新与突破，主要研究方向包括预训练系统、后训练系统以及算法与系统协同设计。

主题提纲

大模型训练流水线并行四部曲：吞吐、内存、负载均衡与线性扩展

1、大模型训练瓶颈与流水线并行概述
2、Zero Bubble：将气泡几乎降到零的流水线并行算法
3、Vocabulary Parallelism：平衡流水线并行与词汇表并行
4、显存感知的流水线并行：Controllable Memory & PipeOffload
5、关于流水线并行的未来研究探讨

成果链接

论文：Zero Bubble Pipeline Parallelism（ICLR 2024）
链接：https://arxiv.org/pdf/2401.10241
代码：https://github.com/sail-sg/zero-bubble-pipeline-parallelism

论文：Pipeline Parallelism with Controllable Memory（NeurlPS 2024）
链接：https://arxiv.org/pdf/2405.15362

论文：Balancing Pipeline Parallelism with Vocabulary Parallelism（MLSys 2025）
链接：https://arxiv.org/pdf/2411.05288
代码：https://github.com/sail-sg/VocabularyParallelism

论文：PipeOffload: Improving Scalability of Pipeline Parallelismwith Memory Optimization（ICML 2025）
链接：https://arxiv.org/pdf/2503.01328

直播时间

8月5日20:00 - 21:00

参与方式

Talk 将在青稞社区上进行，扫码对暗号：" 0805 "，报名进群！