δ-mem是一种面向大语言模型的轻量级在线记忆机制。不同于把历史全部塞进长上下文，δ-mem 将过去信息压缩进一个极小的在线关联记忆状态，并在生成时通过低秩 correction 直接调制 frozen Transformer 的 attention computation。

主实验中，仅使用 8 × 8 state，δ-mem 就能在 Qwen3-4B-Instruct 上将平均分从 46.79% 提升到 51.66%，并在MemoryAgentBench、LoCoMo 等 memory-heavy benchmarks 上取得显著收益。

δ-mem 以低参数和显存开销实现了动态、在线、可更新的记忆能力。结果表明：有效的长期记忆不一定依赖更长上下文或大型外部模块，一个紧凑的在线状态也可以直接辅助模型的记忆。

5月26日（周二）晚8点，青稞Talk 第127期，Mind Lab 研究员、南洋理工大学博士生雷京迪，将直播分享《δ-mem：从长上下文到在线记忆，动态演化原生记忆的一次尝试》。

分享嘉宾

雷京迪是南洋理工大学一年级博士生，Mind Lab 研究员，导师为Soujanya Poria副教授，研究方向主要为LLM、Post-training，在ICLR、CVPR、NAACL、AAAI、TKDE等会议与期刊上发表多篇论文，以一作/共一身份发表了OffTopicEval、EFLA、LLaMA-Berry、Critic-V等多篇受到社区广泛讨论的工作

主题提纲

δ-mem：从长上下文到在线记忆，动态演化原生记忆的一次尝试

1、为什么需要长期记忆？
2、现有的大模型记忆机制及局限
3、轻量级在线记忆机制 δ-mem 架构解析
4、δ-mem 的有效性验证
5、记忆架构的范式展望 & AMA 环节

直播时间

5月26日（周二）20:00 - 21:00