NeMo RL:让大规模 MoE 模型权重 Refit 加速 10 倍

直播时间:
H5

9月6日(周六)上午10点,青稞Talk 第76期,英伟达NeMo团队高级深度学习算法工程师李之愈,以及高级产品经理高文雯,将直播分享《NeMo RL:让大规模 MoE 模型权重 Refit 加速 10 倍》。

分享嘉宾

李之愈是英伟达NeMo团队高级深度学习算法工程师,专注于大语言模型预训练以及后训练开源学习框架,在超大型预训练框架的性能优化方面拥有丰富的经验,曾在谷歌主导了 MLPerf 基准测试的优化提交,并在语音识别算法领域有深入的研究和实践,拥有上海交通大学物理学学士学位和卡内基梅隆大学计算机信息技术硕士学位。

高文雯是英伟达NeMo团队的高级产品经理,专注于大语言模型预训练和强化学习框架,之前也主导过大语言模型推理(NIM)和推荐系统(Merlin)等领域的工作,拥有多伦多大学计算机科学学士及麻省理工学院MBA学位。

主题提纲

1、NeMo RL 核心框架解析以及性能展示
2、大规模 MoE 模型权重 Refit 的实现方式及优化
3、最新技术动态:FP8,异步 RL以及 Tool-use NeMo Gym
4、探讨未来的发展规划

直播时间

9月6日10:00 - 11:00

参与方式

Talk 将在青稞社区上进行,扫码对暗号:" 0906 ",报名进群!