这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究，，，于2026年7月6日以预印本形式宣布，，，论文编号为arXiv:2607.05061。。。。。有兴趣深入相识手艺细节的读者可以通过该编号盘问完整论文。。。。。 当你和一位朋侪聊了良久之后，，，你的大脑并不会把每一句话都原封不动地保存脑子里。。。。。它会悄悄地做一件事：把不主要的话过滤掉，，，只把那些真正影响后续明确的要害信息留下来。。。。。你能做到这一点，，，是由于你的大脑天生就善于判断"哪些话值得记着，，，哪些话可以遗忘"。。。。。 然而，，，当今最先进的人工智能语言模子，，，却没有这种能力。。。。。它们的事情方式更像是一个强迫症患者——必需把读过的每一个字、每一个词都完整地保存一个重大的"条子本"里，，，才华包管之后回覆问题时不遗漏任何信息。。。。。这个"条子本"在专业上被称为KV缓存，，，而它的问题在于：文章越长，，，条子本越大，，，最终大到机械的内存基础装不下，，，速率也慢得令人难以接受。。。。。 这个研究团队想解决的，，，正是这个让AI工程师头疼已久的问题：能不可教会AI像人类一样，，，提前预判哪些影象是未来有用的，，，然后自动把没用的"条子"扔掉，，，同时又包管回覆质量险些不打折扣？？他们给出了一个名叫KVpop的解决方案，，，实验效果批注，，，在把条子本压缩掉88%的情形下，，，AI的数学推理能力依然保存了原来的97%到100%。。。。。 以烹饪作为贯串全文的明确框架，，，整件事会更容易理清。。。。。把AI天生文字的历程比作一位厨师在厨房里按食谱一步步烹饪。。。。。每次厨师要决议下一个行动时，，，他需要回忆之前做过的每一个方法，，，于是他把所有方法都写在小纸条上，，，贴满了整张桌子。。。。。菜谱越长，，，纸条越多，，，桌子越来越小，，，最后连锅都放不下了。。。。。 这就是目今AI在处理长文本时的处境。。。。。每天生一个新词，，，模子都需要回首此前所有词的"键值对"信息，，，也就是那张贴满纸条的桌子。。。。。这张桌子的巨细和文本长度成正比，，，数学上叫做"线性增添"。。。。。当文本长达几万字甚至十几万字时，，，这张桌子会占满机械大宗的显存，，，同时也会让每一步天生都变得越来越慢。。。。。 现有的一些解决方案相当于告诉厨师"只保存最近几张纸条"，，，但这样一来，，，厨师可能会遗忘两小时前放入的某种香料，，，导致最后的菜口胃全错。。。。。也有人实验凭证某张纸条"看起来主要与否"来决议扔不扔，，，但问题是，，，厨师在做第三步时以为不主要的工具，，，到了第二十步可能突然变得至关主要。。。。。凭当下的感受判断未来的价值，，，这种做法实质上是在推测，，，不敷可靠。。。。。 KVpop团队意识到，，，真正的突破口在于：与其推测哪张纸条"现在看起来有用"，，，不如训练AI学会预判哪张纸条"未来会被用到"。。。。。这是一个根天性的思绪转变，，，从被动评估转向自动展望。。。。。 回到厨房的比喻。。。。。KVpop做的事，，，相当于给厨师专门开了一堂培训课。。。。。在这堂课里，，，先生（也就是一个"全影象"的参照AI）会亲自演示，，，在整道菜做完之后，，，回过头来标记出哪些纸条在后续方法中被真正用到了、被用到了几多次。。。。。这个标记效果被称为"未来注重力目的"，，，是一种客观权衡"这张纸条对后续有多大价值"的指标。。。。。 学员厨师（也就是经由压缩训练的AI）的使命，，，就是在做每一步之前，，，凭证纸条上的内容展望它未来会不会被用到，，，并且对这张纸条打一个分数。。。。。最终，，，得分高的纸条被保存，，，得分低的被扬弃，，，桌子始终坚持在一个牢靠巨细以内，，，这个巨细称为"牢靠预算"。。。。。 详细来说，，，KVpop为每个注重力头（可以明确为厨师的差别感官——视觉、嗅觉、味觉划分认真差别方面的信息）设计了一个轻量级打分？？。。。。。这个打分？？椴患尤胫鞑似椎呐脞，，，它只是悄悄地旁观并打分。。。。。桌子上永远有三类纸条不会被丢掉：最最先写下的几张"基础纸条"（称为淹没词元，，，认真锁定上下文的基本框架），，，最近写下的一摞"新鲜纸条"（受；；；
；；さ幕翱，，，由于刚写完的工具十有八九马上就会用到），，，以及打分最高的那一批"历史主要纸条"（长程top-k预算）。。。。。除此之外的所有旧纸条，，，都会被清扫出桌面。。。。。 这个设计让整张桌子的巨细酿成了一个牢靠的数字：基础纸条数目，，，加上窗口巨细，，，再加上高分保存的历史纸条数。。。。。无论文本有多长，，，桌子的巨细始终如一，，，内存消耗因此变得可以展望和控制。。。。。 现在遇到一个现实问题：要知道哪张纸条"未来会被用到几多"，，，理论上需要先把整道菜做完，，，再转头统计。。。。。但训练的时间，，，这道菜自己就是一道很长的文章，，，若是要把所有词对所有词之间的注重力关系所有算出来，，，那会爆发一张极其重大的矩阵，，，大到显存基础放不下。。。。。 研究团队用了一个很是智慧的技巧来绕开这个问题，，，他们把这个技巧称为"转置注重力"。。。。？？梢哉庋魅罚赫Ｇ樾蜗，，，厨师是站在"目今方法"这个位置，，，向前看之前所有的纸条，，，问"哪张纸条对我现在有资助"。。。。。而转置注重力做的是把这个偏向倒置过来，，，让每一张纸条反过来问"未来有哪些方法会用到我"。。。。。两个问题实质上用到的数学运算是一样的，，，只是输入和输出的角色交流了一下。。。。。 更妙的是，，，AI在正常做推理的历程中，，，已经会自动盘算一个叫做"归一化因子"的中心数值。。。。。这个数值就像厨师在脑子里记着的"目今方法一共参考了几多张纸条"。。。。。研究团队发明，，，可以直接复用这个已经算好的数值来完成转置偏向的盘算，，，基础不需要特殊跑一个完整的注重力盘算历程。。。。。这样一来，，，整个"未来价值"的估算险些是免费的——在训练时稍微多做一步盘算，，，在现实使用时完全不爆发任何特殊肩负。。。。。 第一种叫做"无状态打分器"，，，用的是一个简朴的两层神经网络。。。。。它的事情方式很是直接：拿起一张纸条，，，看看上面写了什么，，，然后打个分。。。。。这种打分器又快又自制，，，弱点是它只能看纸条自己的内容，，，不知道这张纸条写下之后又爆发了什么。。。。。 第二种叫做"有状态打分器"，，，使用了一种叫做mLSTM的影象结构（这是一种具备"事情影象"的网络单位，，，灵感来自人类大脑处理序列信息的方式）。。。。。这种打分器的厉害之处在于，，，它不急于在纸条刚写下来的时间就打分。。。。。它会先把纸条放在受；；；
；；さ男孪手教跚"缓一缓"，，，同时继续视察后续生长，，，比及这张纸条即将脱离受；；；
；；で⒚媪"留照旧扔"的讯断时，，，打分器才综合了以后积累的所有上下文信息，，，做出一个越发知情的决议。。。。。 这个设计的要害点在于：打分器不是在纸条刚写下时就被迫给出判断，，，而是比及掌握了更多线索之后才揭晓意见。。。。。就似乎一个厦门侦探不会在案发第一分钟就认定嫌疑人，，，而是等网络完现场合有证据再下结论。。。。。实验证实，，，这种延迟打分的战略确实有用，，，相比连忙打分的版本，，，它在词语展望准确率上横跨了0.2个百分点——听起来未几，，，但在云云大规模的模子上，，，这是一个相当显著的提升。。。。。 更主要的是，，，这种做法与此前已有的类似要领（如DMS，，，一种同样使用；；；
；；ご翱诘囊欤┯惺抵是。。。。。DMS虽然也有；；；
；；ご翱，，，但它在纸条进入窗口的那一刻就已经做出了去留决议，，，只是把"执行驱逐"这个行动推迟了罢了。。。。。KVpop的延迟打分则是真正地推迟了"做决议"这个行为自己，，，让决议可以使用以后积累的信息，，，这是唯一无二的做法。。。。。 KVpop的训练方式也很是有针对性。。。。。与其让打分器对所有纸条都举行准确排序，，，研究团队的思绪是：只关注那道"刚恰恰踩在去留界线上"的选择题。。。。。 每当一张纸条从受；；；
；；で镒叱隼，，，面临第一次去留讯断时，，，目今高分纸条里排名最末的那张纸条（相当于"最后一个保住席位的选手"）就会被拿出来作为参照。。。。。评判标准只有一个：新出来的这张纸条，，，打分应该比"末位选手"高（代表应该保存），，，照旧低（代表应该被镌汰）？？ 损失函数（可以明确为对打分器打蜕化误谜底时的处分力度）只针对这一对较量打分，，，而不是对所有纸条所有举行准确排序。。。。。这样做的利益是极为高效Ｔ媚课训练只需要看两张纸条的比照，，，不需要处理整个长列表，，，盘算价钱极低，，，但训练信号又很是精准，，，由于它直接对应了真实推理时"这张纸条事实能不可挤进名额"这个现实决议。。。。。 研究团队在两个差别规模的大模子上测试了KVpop的效果，，，划分是参数目约40亿的Qwen3-4B和约80亿的Qwen3-8B。。。。。测试用的是数学竞赛题，，，包括AIME（美国数学约请赛，，，公以为极具挑战性的高中数学竞赛）以及HMMT（哈佛-麻省理工数学锦标赛）的问题，，，用以权衡模子在高难度数学推理上的体现。。。。。 在75%压缩下，，，KVpop在Qwen3-4B上保存了完整模子98%的得分，，，在Qwen3-8B上也抵达100%。。。。；；；
；；痪浠八，，，把桌面缩小到原来四分之一，，，模子的数学推理能力险些完全没有受损。。。。。比照组中，，，最简朴的古板要领StreamingLLM只保住了76%，，，另一个常用要领TOVA仅保住了73%，，，而近年来颇受关注的学习型要领DMS保住了96%。。。。。 在更激进的88%压缩下，，，两个比照要领StreamingLLM和TOVA直接瓦解，，，得分下滑到只剩19%到58%，，，已经不具备适用价值。。。。。StreamingLLM的训练版（StreamingLLM+）回血到74%，，，DMS抵达84%到89%。。。。。KVpop则在Qwen3-4B上保住了97%，，，在Qwen3-8B上惊人地保住了100%——在只剩八分之一影象容量的情形下，，，80亿参数的模子与完整模子得分持平。。。。。 研究团队还磨练了一个主要问题：这套战略只是在数学题上管用，，，照旧真的学到了通用的"哪些信息值得记着"的判断能力？？为此，，，他们把仅在数学推理数据上训练好的KVpop，，，直接拿去测试科学推理（GPQA Diamond，，，一个研究生级别的综合科学问答测试）和代码天生（LiveCodeBench）。。。。。效果显示，，，KVpop在这两个完全差别领域的使命上，，，同样与完整模子坚持了险些相同的体现。。。。。这说明打分器学到的并不是"数学专用手艺"，，，而是一套更普遍适用的"未来注重力预判"能力。。。。。 测试在单张显卡上举行，，，生生长度从1.6万字一直拉到13万字。。。。。完整模子的显存占用随文本变长而线性攀升，，，从16万字时的18GB一起涨到13万字时的36GB，，，险些翻了一倍，，，并且速率越来越慢。。。。。KVpop和比照要领DMS的显存占用都只增添了19%左右，，，到13万字时仍然停留在约19GB，，，由于桌面巨细恒定，，，不随文本变长。。。。。 在速率上，，，KVpop比DMS更快。。。。。原因在于，，，KVpop对每一个注重力头都强制执行相同的牢靠预算，，，导致每个头保存的纸条数目完全一样，，，GPU在并行处理时效率极高。。。。。而DMS接纳的是动态门控机制，，，每个头保存的数目各不相同，，，就像厨房里差别厨师的桌子巨细狼籍不齐，，，统一治理起来格外贫困，，，反而拖慢了整体节奏。。。。。 他们从数学推理序列中随机抽取了一段，，，可视化出每个注重力头在每一层网络中保存了哪些词。。。。。效果显示出一种很是有纪律的模式：纯粹的数字（好比"154000"、"37"之类的盘算中心效果）被扬弃的频率显着更高，，，而那些具有推理结构意义的词——好比体现因果关系的"Thus"（因此）、体现操作的"divides"（整除）、体现等价的等号"="——则被更多注重力头跨更多层网络保存了下来。。。。。 这个纪律很是切合直觉：一道数学题做完第五步之后，，，第三步盘算出来的详细数字可能已经失去自力价值，，，但其时用来推进推理的逻辑词汇，，，往往对后续方法依然具有参考意义。。。。。KVpop自主发明了这一纪律，，，而没有人明确告诉它"逻辑词比数字主要"。。。。。 别的，，，研究团队还丈量了KVpop的打分器与"全知先生"的一致水平：在75%压缩设置下，，，打分器保存的高分纸条有81%与先生以为应该保存的纸条重合。。。。。这个数字意味着，，，打分器做出的去留决议，，，有凌驾八成与理想谜底吻合，，，说明这套展望机制确实学到了有用的判断标准，，，而非随机行为。。。。。 与纯启发式要领（如StreamingLLM或TOVA）相比，，，KVpop的优势在于它通过训练顺应了"压缩推理"这件事自己。。。。。古板要领只是机械地执行一个牢靠规则，，，在规则恰恰失效的场景下毫无应对能力。。。。。KVpop则通过在数学推理数据上的微调，，，让整个模子习惯了"只看部分纸条思索"这件事，，，填补了信息缺失带来的模子能力落差。。。。。 与另一个学习型要领DMS相比，，，KVpop的优势在于监视信号更直接。。。。。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧，，，让去留决议在训练时可以近似求导，，，但这个训练信号并不直接对应"未来会不会被用到"这件事。。。。。KVpop则用真实的未来注重力质量作为监视信号，，，打分器学到的目的与现实推理时纸条的真实价值直接挂钩。。。。。这个差别在88%的极端压缩设置下体现得最为显着，，，DMS的得分下滑幅度显着大于KVpop。。。。。 说究竟，，，KVpop做的事情可以用一句话概括：它教会了AI在读完一段话之后，，，不是把所有字都死记硬背，，，而是学会了和人类一样，，，只记着那些未来真的会用到的内容。。。。。 这项研究的价值，，，不但是让某几道数学题的得分悦目一些。。。。。它指向的是一个更宏观的偏向：随着AI模子被要求处理的文本越来越长（小说、执法文书、长篇代码、科学论文……），，，怎样在有限的硬件资源下维持推理质量，，，将成为决议AI能不可真正普及落地的要害瓶颈之一。。。。。KVpop提供的这套"展望性遗忘"框架，，，或许会成为解决这个瓶颈的主要工具之一。。。。。 研究团队也坦诚地指出了目今的局限：mLSTM打分器虽然效果好，，，但它事实是一种特定的架构，，，尚有其他影象结构值得探索。。。。。别的，，，每个注重力头都强制使用相同的牢靠预算，，，虽然带来了执行效率，，，但若是允许差别层、差别头使用差别的预算，，，或许能进一步提升性价比。。。。。这些都是未来值得继续深挖的偏向。。。。。 对这套要领的完整细节感兴趣的读者，，，可以通过论文编号arXiv:2607.05061盘问全文，，，相关训练好的模子也已经在模子社区果真宣布，，，代号为Qwen3-8B-KVpop-4x，，，供研究者自行下载和测试。。。。。 A：KV缓存是AI语言模子在天生文字时用来存储历史信息的"条子本"，，，让模子无需重新盘算就能回首之前所有的词。。。。。问题在于，，，条子本的巨细和文本长度成正比，，，文章越长，，，占用的显存越多，，，每一步天生也越慢，，，最终成为限制AI处理长文本的焦点瓶颈。。。。。 A：两者都是通过训练来决议哪些历史信息可以扬弃，，，但焦点监视信号差别。。。。。DMS用一种数学近似技巧来训练去留决议，，，而KVpop直接用"这段信息在未来被注重力现适用到了几多"作为训练目的，，，监视信号更贴近真实使用场景，，，在高压缩率下效果更优。。。。。 A：可以。。。。。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码天生使命上的体现，，，效果显示与未压缩的完整模子坚持了险些相同的准确率，，，说明KVpop学到了通用的信息筛选能力，，，而非仅适用于数学场景的专项手艺。。。。。