陈天奇团队最新开源 PithTrain：Agent 时代的 MoE 训练框架设计

专家混合模型（MoE）已经成为当前大语言模型的主流架构，相应的生产级训练框架也经过多年工程积累，具备了优异的训练性能。

然而，随着新的模型架构和系统优化不断涌现，在这些大型框架上进行开发和演进仍然成本高昂。

随着 AI coding agent 的快速发展，它们有望自动化训练框架开发中的部分工作。但如果直接应用于现有框架，其真实成本并不能仅通过训练吞吐等传统指标体现。

我们将这一长期被忽视的维度称为 agent-task efficiency（ATE），即 coding agent 理解、操作和扩展一个训练框架所需的成本。

基于四条 agent-native 设计原则，我们构建了 PithTrain——一个精简、面向 Agent 的 MoE 训练框架，并提出 ATE-Bench，用于评估训练框架上的真实开发任务。

实验结果表明，PithTrain 在保持生产级训练吞吐的同时，能够显著提升 agent-task efficiency：在 ATE-Bench 上，coding agent 完成相同任务时最多减少 62% 的对话轮数（Agent Turns），并节省 64% 的 GPU 使用时间（Active GPU Time）。

7月11日（周六）上午10点，青稞Talk 第136期，PithTrain 作者赖睿航和康浩将做客青稞社区直播间，讲解《PithTrain：Agent 时代的 MoE 训练框架设计》。

分享嘉宾

赖睿航是美国卡内基梅隆大学计算机科学系四年级博士研究生，师从陈天奇教授和 Todd Mowry 教授。研究方向包括机器学习编译器、大语言模型训练与推理系统，以及机器学习系统。现任 Apache TVM 项目 Project Management Committee（PMC）成员。

康浩是卡内基梅隆大学即将入学的计算机博士生，由熊辰炎教授和陈天奇教授共同指导。他的研究聚焦于大语言模型训练，关注包括硬件对齐架构与底层训练系统。

主题提纲

PithTrain：Agent 时代的 MoE 训练框架设计

1、MoE 训练框架与 Agent 的适配鸿沟
2、Agent-Task Efficiency（ATE）：Agent 完成任务所需成本
3、PithTrain 框架设计：四条 Agent-Native 原则
4、ATE-Bench 评估基准与测试
5、MoE 模型的上手实践
6、AMA （Ask Me Anything）环节

直播时间

7月11日（周六）10:00 - 11:00