随着人工智能(AI)技术的飞速发展,“以ChatGPT为代表的大模型被认为是当前人工智能的巅峰”。但现今大模型在“长期记忆”方面的不足,使得其在面对持续学习、知识迁移以及复杂推理任务时,难以达到类似人脑的灵活性和适应性,成为未来AI技术的重要发展方向。
为了探讨AI的长期记忆难题,2024年11月28日~12月1日在浙江嘉兴召开的中国中文信息学会2024学术年会暨第三届全国大模型智能生成大会(CIPS-LMG 2024)上,天桥脑科学研究院(Tianqiao and Chrissy Chen Institute)主办了一场主题为“大模型记忆与人脑记忆的渐近渐远”的分论坛。
此次论坛讨论邀请了来自海内外不同高校的人类智能与机器智能专家,共同探讨长期记忆与AI战略及大模型记忆与人脑记忆的关系。此外,在CIPS-LMG 2024大会上,盛大AI Tech负责人姜迅发表了题为《长期记忆,AI自进化的基石》的主题演讲,吸引了广泛关注。
01主题报告荟萃:
长期记忆的技术现状与实现路径
在《长期记忆,AI自进化的基石》中主题演讲中,姜迅深入探讨了长期记忆在大模型发展中的核心作用,分析了当前的技术挑战和未来的突破方向,同时分享了团队在长期记忆领域的研究心得和实践成果。他的演讲围绕三个关键问题展开:为何实现AI的自进化需依赖于长期记忆的研究?我们可以从人类大脑的长期记忆机制中获得哪些启发?如何突破技术瓶颈,实现模型的自我进化?
为了应对“如何收集个体数据并将其精炼到长期记忆中?”以及“如何在持续更新中有效表达少量个体数据于LLM?”这两大挑战,盛大团队设计了长期记忆数据框架,利用记忆元的理念对数据进行精炼和组织。同时,开发了OMNE——一个记忆增强的多智能体框架,以及具备思考能力并增强RAG的大模型。
他还介绍了自主研发产品Tanka的创新,并详细说明了Tanka在商业决策领域从copilot到autopilot的技术演进:智能沟通->事件决策->领域特定执行->CEO级能力->自主组织。
在演讲的结尾,姜迅总结道:“长期记忆不仅是大模型实现自我进化的基石,也是人工智能走向类脑智能的必经之路。”通过对Tanka的应用,这一理念得到了验证,促进AI更接近人类的记忆与决策机制,迈向真正意义上的“autopilot”。
02分论坛观点梳理:
长期记忆的多维探索
正如姜迅所言,长期记忆是人工智能迈向类脑智能的重要基础。围绕人工智能的长期记忆话题,分论坛“大模型记忆与人脑记忆的渐近渐远”上,天桥脑科学研究院学术会议总监耿海洋博士邀请了伊利诺伊大学芝加哥分校刘兵教授、北京师范大学薛贵教授、西安交通大学刘均教授以及中国科学院自动化研究所余山研究员等人脑研究与人工智能专家,从不同角度探讨了脑科学启发下的大模型长期记忆的研发思路与应用前景。
1. 商业应用中的模型优化:刘兵教授的实践探索
刘兵教授讨论了持续学习及其对记忆的需求。他首先提出了“持续学习”理论,并描述了两个仅依靠大语言模型(LLMs)和上下文提示的持续学习系统,两个系统表现均显著优于现有使用LLM微调或适配的方法。在这些方法中,记忆用于保存过程中的一些信息。这些信息目前被保存在LLM外部的一个外部缓冲区中,未来的理想情况会是将记忆集成到LLMs内部中。此外,刘兵教授还讨论了需要持续学习和记忆来提高其有效性的对话分析的实际应用。
2. 记忆机制的动态转换:薛贵教授的理论启示
薛贵教授从人脑记忆的理论研究入手,探讨了记忆的本质及其在人工智能中的应用启示。他通过实验揭示了记忆表征在编码、保持和提取阶段的动态变化,发现记忆从视觉皮层到高级皮层的转换规律,有助于形成认知地图,将碎片化知识转化为结构化知识。他提出大模型可以从人脑学习的机制中获得启发,比如如何在大模型中加入经验性语义和序列记忆机制以提升模型和学习和推理能力。
3. 大模型的技术根基与改进方向:刘均教授的深度剖析
刘均教授从技术层面梳理了大模型的强大根基及其缺陷。他指出,大模型的强大依赖于算法(如反向传播、Transformer架构)、大数据和算力的支撑,但其在灾难性遗忘、推理能力弱和高能耗等方面存在不足。为此,他提出借鉴人脑机制,如局部学习、记忆巩固和低能耗学习等,来改进大模型。他进一步提出了机器记忆智能模型的设计思路,通过优化表征、学习和推理模块,实现时空关联、抽象对象处理和持续学习能力。
4. 类脑智能的架构设计:余山研究员的创新实践
余山研究员聚焦类脑智能的发展目标,探讨如何借鉴人脑特性推动人工智能进步。基于人脑中认知控制的神经机制,提出了具有1)感觉运动信息处理和2)抽象概念生成与表征两个层级的网络架构,两个层级之间具有双向的信息交流,系统具备从与环境的互动中提取抽象概念的能力,并可以支持不同的智能体之间通过交流实现知识传递。
03促进人工智能与脑科学跨学科对话
未来,随着技术的不断突破,大模型或将真正实现从模仿人脑到超越人脑的跨越。天桥脑科学研究院呼吁加强大模型与人脑记忆机制的交互研究,让两者在不断的对话中相互启发、共同进步。正如耿海洋博士在讨论中特别强调的:
“大模型的长期发展不仅需要技术上的突破,更需要回归到对智能本质的思考。从人脑的角度去寻找洞察,并基于此设计出能够动态学习、持续更新的解决方案,可能是推动人工智能进一步发展的关键。”
关于天桥脑科学研究院
天桥脑科学研究院(Tianqiao and Chrissy Chen Institute)是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一,围绕全球化、跨学科和青年科学家三大重点,支持脑科学研究,造福人类。
Chen Institute与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室;与加州理工学院合作成立了加州理工天桥神经科学研究院。
Chen Institute建成了支持脑科学和人工智能领域研究的生态系统,项目遍布欧美、亚洲和大洋洲,包括学术会议和交流、夏校培训、AI驱动科学大奖、科研型临床医生奖励计划、特殊病例社区、中文媒体追问等。