近年来,强化学习(RL)在推动通用人工智能、Agent智能与具身智能发展方面展现出巨大潜力。然而,具身时代RL工作流的高度异构性与动态性使得当前RL训练的算力扩展受到严重限制,导致面向具身智能的大规模RL训练系统仍处于空白状态。
RLinf开源!首个面向具身智能“渲训推一体化”的大规模强化学习框架
为了填补这一空白,RLinf构建于“灵活性是高效率的关键”这一核心思想,基于创新的"宏-微流转换"(M2Flow)设计范式实现对易编程的宏观工作流到高效微观执行流的自动编译与优化。
https://github.com/RLinf/RLinf
依托RLinf工作节点的自适应通信能力,设计了上下文切换与弹性流水线技术实现M2Flow转换。在推理RL与具身RL任务上实现相比现有最优系统1.1∼2.13倍的训练吞吐。
11月25日(周二)晚8点,青稞社区和减论平台将组织青稞Talk 第92期,并邀请到无问芯穹公司首席研究员林灏,直播分享《RLinf:面向具身智能的“渲训推一体化”开源强化训练框架》。
分享嘉宾
林灏,现任无问芯穹公司首席研究员,具身智能强化学习开源框架RLinf的核心开发者与维护者,博士与本科毕业于清华大学。他的研究主要面向大规模人工智能训练与强化学习的异构计算及网络系统,特别聚焦于AI系统中计算与通信的协同优化及调度,以及AI训练的集合通信与框架设计领域。他曾在OSDI,SOSP,EuroSys和SIGCOMM等系统与网络顶会上发表多篇论文。
主题提纲
RLinf:面向具身智能的“渲训推一体化”开源强化训练框架
1、具身智能时代大规模 RL 训推难点
2、开源 RL 训练框架 RLinf 的系统设计
3、"宏-微流转换"(M2Flow)设计范式
3、RLinf 的应用实践
直播时间
11月25日(周二)20:00 - 21:00
如何观看
Talk 将在青稞社区【视频号:青稞AI、Bilibili:青稞AI】上进行进行直播,扫码对暗号:" 1125 ",报名进群!
![]()