直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争

---

不知 Gemini 1.5 Pro 是否用到了这项技术。

谷歌又放大招了，发布下一代 transformer 模型 infini-transformer。

Infini-Transformer 引入了一种有效的方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无限长输入，而不增加内存和计算需求。使用该技术，研究者成功将一个 1B 的模型上下文长度提高到 100 万；应用到 8B 模型上，模型能处理 500K 的书籍摘要任务。

自 2017 年开创性研究论文《Attention is All You Need》问世以来，Transformer 架构就一直主导着生成式人工智能领域。而谷歌对 Transformer 的优化设计最近比较频繁，几天前，他们更新了 Transformer 架构，发布 Mixture-of-Depths（MoD），改变了以往 Transformer 计算模式。没过几天，谷歌又放出了这项新研究。

专注 AI 领域的研究者都了解内存的重要性，它是智能的基石，可以为 LLM 提供高效的计算。然而，Transformer 和基于 Transformer 的 LLM 由于注意力机制的固有特性，即 Transformer 中的注意力机制在内存占用和计算时间上都表现出二次复杂性。例如，对于批大小为 512、上下文长度为 2048 的 500B 模型，注意力键 - 值 (KV) 状态的内存占用为 3TB。但事实上，标准 Transformer 架构有时需要将 LLM 扩展到更长的序列（如 100 万 token），这就带来巨大的内存开销，并且随着上下文长度的增加，部署成本也在增加。

基于此，谷歌引入了一种有效的方法，其关键组成部分是一种称为 Infini-attention（无限注意力）的新注意力技术。不同于传统的 Transformer 使用局部注意力丢弃旧片段，为新片段释放内存空间。Infini-attention 增加了压缩内存（compressive memory），可以将使用后的旧片段存储到压缩内存中，输出时会聚合当前上下文信息以及压缩内存中的信息，因而模型可以检索完整的上下文历史。

该方法使 Transformer LLM 在有限内存的情况下扩展到无限长上下文，并以流的方式处理极长的输入进行计算。

实验表明，该方法在长上下文语言建模基准测试中的性能优于基线，同时内存参数减少了 100 倍以上。当使用 100K 序列长度进行训练时，该模型实现了更好的困惑度。此外该研究发现，1B 模型在 5K 序列长度的密钥实例上进行了微调，解决了 1M 长度的问题。最后，论文展示了具有 Infini-attention 的 8B 模型经过持续的预训练和任务微调，在 500K 长度的书籍摘要任务上达到了新的 SOTA 结果。

本文贡献总结如下：

• 引入了一种实用且强大的注意力机制 Infini-attention—— 具有长期压缩内存和局部因果注意力，可用于有效地建模长期和短期上下文依赖关系；
• Infini-attention 对标准缩放点积注意力（ standard scaled dot-product attention）进行了最小的改变，并通过设计支持即插即用的持续预训练和长上下文自适应；
• 该方法使 Transformer LLM 能够通过流的方式处理极长的输入，在有限的内存和计算资源下扩展到无限长的上下文。

• 论文链接：https://arxiv.org/pdf/2404.07143.pdf
• 论文标题：Le*e No Context Behind: Efficient Infinite Context Transformers with Infini-attention

方法介绍

Infini-attention 使 Transformer LLM 能够通过有限的内存占用和计算有效地处理无限长的输入。如下图 1 所示，Infini-attention 将压缩记忆融入到普通的注意力机制中，并在单个 Transformer 块中构建了掩码局部注意力和长期线性注意力机制。

对 Transformer 注意力层进行这种微妙但关键的修改可以通过持续的预训练和微调将现有 LLM 的上下文窗口扩展到无限长。

Infini-attention 采用标准注意力计算的所有键、值和查询状态，以进行长期记忆巩固（memory consolidation）和检索，并将注意力的旧 KV 状态存储在压缩内存中，而不是像标准注意力机制那样丢弃它们。在处理后续序列时，Infini-attention 使用注意查询状态从内存中检索值。为了计算最终的上下文输出，Infini-attention 聚合了长期记忆检索值和局部注意力上下文。

如下图 2 所示，研究团队比较了基于 Infini-attention 的 Infini-Transformer 和 Transformer-XL。与 Transformer-XL 类似，Infini-Transformer 对 segment 序列进行操作，并计算每个 segment 中的标准因果点积注意力上下文。因此，点积注意力计算在某种意义上是局部的。

然而，局部注意力在处理下一个 segment 时会丢弃前一个 segment 的注意力状态，但 Infini-Transformer 复用旧的 KV 注意力状态，以通过压缩存储来维护整个上下文历史。因此，Infini-Transformer 的每个注意力层都具有全局压缩状态和局部细粒度状态。

与多头注意力（MHA）类似，除了点积注意力之外，Infini-attention 还为每个注意力层维护 H 个并行压缩内存（H 是注意力头的数量）。

下表 1 列出了几种模型根据模型参数和输入 segment 长度，定义的上下文内存占用和有效上下文长度。Infini-Transformer 支持具有有限内存占用的无限上下文窗口。

实验

该研究在长上下文语言建模、长度为 1M 的密钥上下文块检索和 500K 长度的书籍摘要任务上评估了 Infini-Transformer 模型，这些任务具有极长的输入序列。对于语言建模，研究者选择从头开始训练模型，而对于密钥和书籍摘要任务，研究者采用不断预训练 LLM 的方式，以证明 Infini-attention 即插即用的长上下文适应能力。

长上下文语言建模。表 2 结果表明 Infini-Transformer 优于 Transformer-XL 和 Memorizing Transformers 基线，并且与 Memorizing Transformer 模型相比，存储参数减少了 114 倍。

密钥任务。表 3 为 Infini-Transformer 在 5K 长度输入上进行微调后，解决了高达 1M 上下文长度的密钥任务。实验中输入 token 的范围从 32K 到 1M，对于每个测试子集，研究者控制密钥的位置，使其位于输入序列的开头、中间或结尾附近。实验报告了零样本准确率和微调准确率。在对 5K 长度输入进行 400 个步骤的微调后，Infini-Transformer 解决了高达 1M 上下文长度的任务。

摘要任务。表 4 将 Infini-Transformer 与专门为摘要任务构建的编码器 - 解码器模型进行了比较。结果表明 Infini-Transformer 超越了之前最佳结果，并且通过处理书中的整个文本在 BookSum 上实现了新的 SOTA。 

研究者还在图 4 中绘制了 BookSum 数据验证分割的总体 Rouge 分数。根据折线趋势表明，随着输入长度的增加，Infini-Transformers 提高了摘要性能指标。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Machine Translation

聚合多个来源的AI翻译

49 查看详情

以上就是直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争的详细内容，更多请关注其它相关文章！

# 所示  # 徐元韩国seo  # 孟村县网站优化排名软件  # 威海短视频seo源码  # 湛江网站建设设计订做  # 成华seo优化费用  # 江西营销推广怎么做  # 网站建设哪家厉害  # 推广网站 类似推广家  # 推广网站平台价格表  # 网站结构推广是什么  # 即用  # 新能源  # 谷歌  # 有效地  # 解决了  # 几天  # 出了  # 进行了  # 之争  # 扩展到  # type  # gemini  # 内存占用  # 产业 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 如何用Transformer BEV克服自动驾驶的极端情况？  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  【趋势周报】全球人工智能产业发展趋势：OpenAI向美国专利局提交“GPT-5”商标申请  深企派遣无人机救援队赴京津冀开展防汛救灾任务  联通发布鸿湖图文AI大模型1.0，可实现以文生图  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  微软在德国举办MR研讨会，向女性分享元宇宙潜力  ChatGPT会成为你家新的语音助手吗？  2025智源大会AI安全话题备受关注，《人机对齐》新书首发  微软推出人工智能模型 CoDi，可互动和生成多模态内容  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  人手一部「*」！视频版Midjourney免费可用，一句话秒生酷炫大片惊呆网友  找对了风口想不火都难，乐天派机器人，安卓机器人的最终形态？  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  游族AI创新院揭牌成立 推进AI赋能游戏业务  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  可按用户语气自动回复消息，Zoom 推出基于生成式 AI 的新功能  有远见！华为四年前注册商标Vision Pro：苹果AR国内要改名  引领AI变革，九章云极DataCanvas公司重磅发布AIFS+DataPilot  即将到来：AI婚纱设计软件实际测试，人工智能即将开创婚纱设计新纪元  普林斯顿Infinigen矩阵开启！AI造物主100%创造大自然，逼真到炸裂  自动驾驶汽车避障、路径规划和控制技术详解  优地网络助力新媒体拥抱人工智能时代  改变城市交通：智慧城市中的智能交通  谷歌推出 AI 反洗钱工具，可将金融机构内部风险预警准确率提高2至4倍  马斯克预测：特斯拉全自动驾驶将在今年实现 对AI深度变化感到担忧  世界人工智能大会高合发表演讲，HiPhi Y即将全球上市  清华&中国气象局大模型登Nature：解决世界级难题，「鬼天气」预报时效首次达3小时  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  优傲机器人的人机协作技术 助力中小企发展  AI创作广告文案等同2.47年工作经验，且消费者无法区分｜AI营销前沿  腾讯TRS之元学习与跨域推荐的工业实战  MiracleVision视觉大模型上线时间  大模型训练成本降低近一半！新加坡国立大学最新优化器已投入使用  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  能抓取玻璃碎片、水下透明物，清华提出通用型透明物体抓取框架，成功率极高  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  常见的五个人工智能误解  朝鲜出现国产大型察打一体无人机，实力世界第二，太意外了  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  阿里大文娱CTO郑勇：生成式AI将引发内容行业巨变，*制作机会挑战并存  机器人 展才能  DreamAvatar数字人使用教程  物联网“僵尸网络DDos攻击”增长惊人，威胁全球电信网络  报告称 70% 程序员已使用各种 AI 工具编程  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  映宇宙集团执行总编辑：元宇宙还是要以人为媒介 

 2024-04-13