论文：Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
链接：https://arxiv.org/abs/2506.12597

7月26日上午11点，青稞Talk 第66期，香港城市大学博士生陈胜庄，将直播分享《SIMoE：稀疏插值混合专家，大模型升级再造的自动化专家发现框架》。

分享嘉宾

陈胜庄目前是香港城市大学计算机科学在读博士生（2022年至今），师从魏颖教授与马柯德教授。他的核心研究方向为真实动态场景下机器学习泛化问题，通过元学习以及稀疏学习等技术，重点解决基座模型在分布外下游任务上适配的挑战，提升未来下游任务的数据效率、泛化能力和可扩展性。以第一作者在ICML, NeurIPS, ICLR, ACL等顶会发表多篇论文。

主题提纲

SIMoE：稀疏插值混合专家，大模型升级再造的自动化专家发现框架

1、传统稀疏混合专家（SMoE）架构
2、现有的 LLM Upcycling 方案及局限性
3、插值混合专家（SIMoE）框架
4、性能验证及未来研究的探讨

直播时间

7月26日10:00 - 11:00

参与方式

Talk 将在青稞社区上进行，扫码对暗号：" 0726 "，报名进群！