当AI成为与人长期共生的AGI Being时，默契也将成为人机关系的一部分。
所谓默契，就是你不用反复交代过去，它也知道你为什么此刻提起此事；你的想法改变了，它也能及时跟上。
这种默契需要记忆。即使你没有重新提起过去的经历、偏好和感受，它也能听懂你此刻的话。
但在实时语音里，留给AI寻找这些的时间非常有限。
2026年2月，Mem0在一篇语音Agent记忆架构指南中指出，记忆检索能够提高回答的相关性，却也会引入延迟：每轮对话都检索与当前话题相关的记忆，通常会增加50—200毫秒的网络延迟；如果只在会话开始时提前加载记忆，固定的上下文又可能跟不上长对话中的信息变化。
这说明了语音记忆中的一个具体困难。
话题变了，系统就需要检索相应的记忆。但如果等用户说完才开始检索，就会拖慢回复。
回答最终可能是对的，但对话的节奏却已经被打断。
AI在越来越懂你的同时，也要及时回应你。
为此，VoiceMem重新设计了记忆的存储与检索方式。
这套由南洋理工大学、新加坡国立大学、清华大学、香港中文大学与Open Interaction Lab研究者联合提出的框架，采用了**“流式双脑”架构**。
信息左脑记录用户的经历和事实，情感右脑记录用户的性格，以及对具体人和事的感受。检索时，左右脑一起工作，同时找回相关事件和用户的感受。
用户还在说话时，VoiceMem已经根据持续更新的输入，提前定位相关记忆。系统一边判断用户是否说完，一边继续检索记忆，减少回复前的等待。双脑记忆检索耗时134毫秒。配合流式处理，VoiceMem实现了近零额外延迟。
在有限的检索数量下，它也保持了较高的准确率。
LoCoMo评测中，VoiceMem只返回5条记忆就取得91.2分，比Mem0返回200条高出29.52分；人格记忆平均得分为74.16分，比论文对比中此前最强的基线MemOS高1.89分。
这意味着，系统能够用更少的记忆来准确回答，也能把用户人格与情感理解带进实时交互。
这项工作也延续了论文第一作者谢之非的研究主线：他是目前大音频语言模型、实时语音交互与多模态AI领域内非常活跃的研究者之一。
目前，开源项目已提供框架、模型、数据集和评测入口。开发者可以通过可安装的voicemem包、流式调用示例与交互式Demo，接入和体验这套记忆能力。Qwen Audio Agent也已提供可选接入方案，让用户偏好与长期事实能够在新的语音会话中继续被调用。
人与AI的默契，需要这样逐渐建立。
交流中省略的背景介绍，可以通过记忆补充；此刻的情绪，也可以从过往的经历中理解。随着新对话的发生，AI还能修补已有认识，跟上变化。
如果AI要成为与人类长期共生的AGI Being，就应该在相处中越来越懂你。这样的默契，是人与AI走向长期共生的基础。
Project page: https://xzf-thu.github.io/VoiceMem
Code: https://github.com/xzf-thu/VoiceMem
Report: https://arxiv.org/pdf/2608.26005
Qwen Audio Agent Integration:https://github.com/QwenAudio/qwen-audio-agent/tree/main/examples/voicemem
实时Memory的约束，和文本Agent完全不同
为什么不能直接把Mem0、Zep或MemOS接到语音模型后面？
因为文本Agent与实时语音Agent面对的，不是同一套时间和信息预算。
传统记忆流程通常需要2—3秒。对文本任务来说，这可能只是一次稍慢的调用；但在人与人的自然交谈中，额外100—200毫秒已经足以影响轮次衔接，几秒钟的停顿则会直接破坏交流节奏。
检索数量也存在类似矛盾。文本Agent可以返回Top-100甚至更多记忆，再让大模型自行筛选；语音语言模型的上下文容量和响应预算更加有限，大量记忆会迅速转化为token成本和推理负担。如果简单把Top-100截断成Top-5，真正重要的事实又可能被几条“看起来相关”的结果挤出去。
此外，实时陪伴并不只需要知道“发生过什么”。同一句“我没事”，可能意味着事实层面的否认，也可能包含迟疑、疲惫和回避；用户可能对所有会议都紧张，也可能只在面对某个项目、某个人时紧张。若系统只保存转写文本，情绪针对谁、由什么引起，以及它是否构成长期模式，都会在记忆中消失。
因此，论文把实时记忆的难点归纳为三类：
- 在统一系统中同时组织信息记忆与情感记忆；
- 在Top-5的小检索预算和近乎零新增时延下，仍然保持足够高的信息密度；
- 让记忆架构、底层搜索引擎和语音模型彼此解耦，能够随技术演进继续替换和更新。
两个脑：一边记住发生过什么，一边理解你是谁
VoiceMem没有把事实、人格和情感全部塞进同一个记忆库，而是将它们交给两张并行维护、联合检索的记忆图。
原因很简单：记住一件事，与理解这件事对一个人意味着什么，本来就是两种不同的任务。
信息左脑（Informational Left Brain）负责回答“过去发生过什么”。 它通过Schema和Entity组织事实记忆：Schema负责将查询引向相关主题，Entity进一步定位具体的人物、事件和概念，底层记忆则记录与之相关的事实和关系。
情感右脑（Emotional Right Brain）负责回答“用户是一个怎样的人”。 它分别记录相对稳定的人格特征，以及用户对特定人物、事件或概念表现出的态度和情感；再通过短期与长期归因，区分一时的情绪反应和反复出现的行为模式。
两个脑采用不同的组织和更新方式，但检索时并不是各自为战。
当左脑找到与当前问题相关的人物、事件或概念后，这些Entity会继续为右脑缩小搜索范围。这样，当用户再次提到某个项目时，系统找回的不只是与项目有关的事实，还包括用户长期对它表现出的态度，以及这种情感与哪些对象相关。
左脑让系统知道发生了什么，右脑则让它理解：这件事对眼前这个人意味着什么。
信息左脑：通过涌现机制控制信息密度
日常检索最容易翻车的地方，是“搜得到，但搜不对”。
比如你问：“上次体检结果怎么样” ，系统按照语义相似度捞回几条记忆，结果一大半只是沾了“体检”这个词的边，真正的检查结果反而被挤了出去。
Top-5不是把Top-100简单砍短。返回数量越少，每一个位置就越珍贵：前五条里只要混进几条“看起来相关”的记忆，真正的答案就可能彻底消失。
问题不只在排序，而在排序之前划定的搜索范围。
VoiceMem左脑使用两级Schema—Entity索引组织事实记忆。Schema负责把问题路由到粗粒度主题，Entity进一步定位具体的人、事件或概念。
问题到来后，系统先匹配相关的Schema和Entity，再沿强、弱一跳关系进行扩展。底层记忆引擎不会直接搜索完整记忆库，而是只在已经缩小的候选池里寻找Top-5。
先把范围找对，再在小范围里排序。
左脑也不是一个只进不出的数据库。每轮对话结束后，异步更新器会提取新的事实，并结合附近的已有记忆执行ADD、UPDATE、DELETE或KEEP；对应的Schema、Entity和关系在对话主流程之外更新，不占用用户等待回复的时间。
但记忆持续增加后，原本的分类也可能失效：一个簇越长越大，内部信息密度会下降；如果频繁按固定规则拆分，又可能把相关记忆割裂。
VoiceMem因此引入Cluster Emergence——簇涌现。系统观察哪些Entity会在真实查询中反复被共同唤起，并根据共同检索模式形成候选子图；再由LLM从相关性、重要性和完整性三个方面判断。只有满足条件的子结构，才会被提升为新的记忆簇。
它不是先把所有分类写死，再逼着记忆住进去；而是让新的组织方式从长期使用中逐渐长出来。
实验中，左脑存储包含510条记忆和6个预设类别。运行后，又有两个并未预设的新类别从语义图中涌现，共覆盖254条记忆，占整个存储的49.8%。
在LoCoMo上，VoiceMem只检索5条记忆就取得91.2分；论文摘要还指出，Mem0即使检索到Top-200，成绩仍比VoiceMem的Top-5低接近30分。
情感右脑：记住你的情绪，更记住“你”究竟是谁
左脑记录发生过什么，右脑则试图回答：用户是一个怎样的人？
“他不喜欢每周例会”和“他这个人容易焦虑”，是两种不同的记忆。前者针对一个具体对象，后者描述一种相对稳定的人格倾向；如果把两者混在一起，系统可能记住“焦虑”这个标签，却不知道焦虑因谁而起、在什么情境下出现。
VoiceMem因此设置了两种人格节点。Independent persona nodes记录用户自身相对稳定的特征，包括长期性格、行为规律和情感倾向；Cross-entity persona nodes记录与具体对象有关的情感，并连接到左脑中的人物、事件或概念。
在此基础上，右脑同时进行短期和长期情感归因。
短期归因处理“此刻发生了什么”：保留当前情绪、情绪针对的对象及其原因。长期归因处理“这种反应是否反复出现”：一段会话结束后，系统联合分析多轮情绪证据，将持续出现的情感和行为模式沉淀成相对稳定的人格认识。
时间一长，它记住的便不只是你说过什么，还有你通常怎样反应、在意什么，以及对不同的人和事情持有什么态度。
实验里有一个现象很能说明问题：看见全部历史，并不等于真正理解用户。
在ES-MemEval中，Full-Context基线已经可以看到完整对话，但在冲突检测和用户建模上的得分分别只有12.10和21.70；VoiceMem对应达到69.10和74.00。
问题不是模型“有没有看见”，而是它有没有把分散在长期对话里的线索，组织成对一个人的认识。
把右脑移除后，LoCoMo、ES-MemEval、ChatMem-Bench和Memora分别下降6.3、4.3、5.4和4.4分。
流式记忆架构：搜索机制协同设计
记忆越丰富，检索通常越慢。但在实时语音里，用户不会接受AI每次想起过去，都先沉默两三秒。
真正的“零耗时”并不存在。VoiceMem的做法，是让检索更早开始。
整个过程被拆成四个阶段：listening、speech tail、anticipation和searching。
当用户仍在说话时，系统持续完成ASR和说话人识别，同时匹配左脑的Schema与Entity，以及右脑的两类persona nodes。
进入speech tail（0—200毫秒）后，流式结果继续积累；当静音达到200毫秒，系统进入anticipation（200—400毫秒），提前计算查询Embedding，并展开左右脑的上层图；到了**searching（400—500毫秒）**阶段，只剩下底层记忆搜索与双脑结果合并。
常用VAD阈值约为500毫秒，可以在回复开始前留下约400毫秒的处理窗口。VoiceMem的密集双脑检索只需要134毫秒，能够被容纳在这个窗口里。
等VAD正式确认用户说完，记忆已经基本准备好，因此不会再给对话增加明显可感知的等待。
GitHub仓库也把流式接口设计成类似持续处理音频的VAD接口：用户还没说完，后台检索已经开始；一轮语音结束时，系统可以直接取得左右脑结果。
实验评测：兼顾记忆准确率与检索效率
除了在经典Benchmark上跑分，团队更想知道：VoiceMem进入真实、长期的语音场景后，到底好不好用？
在信息和人格记忆评测中，VoiceMem分别取得76.39分和74.16分：前者比Mem0高24.12分，后者比最强基线MemOS高1.89分。
团队还构建了ChatMem-Bench。它包含316个问题、15,314轮对话和约53小时音频，覆盖信息记忆、人格理解、情感归因，以及副语言与环境声音四个维度、14类能力。
VoiceMem在其中11类能力上取得领先。尤其在文字无法直接提供答案的三个声学类别中，文本系统只有3.23—26.92分，VoiceMem达到45.16—53.84分。
在LoCoMo、K=5条件下，VoiceMem以430个记忆token和134毫秒检索时间取得91.2分；最强基线EverMemOS得到83.13分，却需要1,899个token。
结语
记忆是探索AI自我意识的重要起点。VoiceMem已经迈出一步，让长期记忆能够用于实时对话。
接下来，团队将继续扩展多模态记忆能力，完善遗忘、强化和整理机制，同时降低成本与时延，让更多实时Agent和智能硬件能够稳定使用。
我们期待，未来的AGI Being能在长期陪伴中越来越懂你。希望VoiceMem这套可靠的记忆系统，能让每一次对话都成为下一次理解你的基础。
作者介绍
论文第一作者为谢之非，尾作及通讯作者为颜水成。
谢之非现为南洋理工大学LV-Lab博士生，研究聚焦实时音视频交互。第一作者研究成果获超600次引用，其相关开源项目已累计获得8.5K+ GitHub Stars，曾主导首个端到端语音对话模型 Mini-Omni 系列，FFASR leaderboard rank-1 的Mega-ASR全场景语音识别等项目。
颜水成，现任新加坡国立大学计算机学院杰出教授，曾任Sea集团首席科学家，是新加坡工程院院士及AAAI、ACM、IEEE和IAPR会士，连续十年入选全球高被引科学家。其Google Scholar总引用超过13.6万次，曾提出Network In Network（NIN）架构，并采用全局平均池化替代传统全连接层。
从Mini-Omni解决端到端实时语音对话，到Audio-Reasoner和Audio Interaction Model推进音频推理与主动交互，再到VoiceMem补上长期记忆，这项工作延续了他围绕实时语音Agent，逐步完善感知、推理、交互与记忆能力的研究路线。