6月13日晚7点，青稞社区组织【青稞Talk】第十期，北京大学人工智能研究院孟繁续博士，将直播分享《PiSSA：收敛快、误差小的大模型参数高效微调方法》。
分享嘉宾
孟繁续，北京大学人工智能研究院在读博士；师从张牧涵教授。曾获哈尔滨工业大学优秀毕业生，师从卢光明教授。曾就职于腾讯优图实验室任研究员，mentor：孙星、程昊、李珂。研究方向为模型压缩与高效模型训练。曾以第一作者身份于CVPR，NeurIPS发表两篇论文。
主题提纲
PiSSA：收敛快、误差小的大模型参数高效微调方法
- 1、参数高效微调方法 LoRA 和 QLoRA
- 2、继承 LoRA 优势的微调方法 PiSSA
- 3、在 LLaMA-3 等10余种主流大模型上的实验效果
- 4、PiSSA + LLaMA-3 微调实践
成果链接
- paper：PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
- arXiv：https://arxiv.org/pdf/2404.02948.pdf
- code：https://github.com/GraphPKU/PiSSA
- 核心代码：https://github.com/fxmeng/peft
直播时间
6月13日（周四）19:00 - 20:00