这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究，，，，
，于2026年7月6日以预印本形式宣布，，，，
，论文编号为arXiv:2607.05061。。有兴趣深入相识手艺细节的读者可以通过该编号盘问完整论文。。 当你和一位朋侪聊了良久之后，，，，
，你的大脑并不会把每一句话都原封不动地保存脑子里。。它会悄悄地做一件事：把不主要的话过滤掉，，，，
，只把那些真正影响后续明确的要害信息留下来。。你能做到这一点，，，，
，是由于你的大脑天生就善于判断"哪些话值得记着。，，，
，哪些话可以遗忘"。。 然而，，，，
，当今最先进的人工智能语言模子，，，，
，却没有这种能力。。它们的事情方式更像是一个强迫症患者——必需把读过的每一个字、每一个词都完整地保存一个重大的"条子本"里，，，，
，才华包管之后回覆问题时不遗漏任何信息。。这个"条子本"在专业上被称为KV缓存，，，，
，而它的问题在于：文章越长，，，，
，条子本越大，，，，
，最终大到机械的内存基础装不下，，，，
，速率也慢得令人难以接受。。 这个研究团队想解决的，，，，
，正是这个让AI工程师头疼已久的问题：能不可教会AI像人类一样，，，，
，提前预判哪些影象是未来有用的，，，，
，然后自动把没用的"条子"扔掉，，，，
，同时又包管回覆质量险些不打折扣
？？？？？？他们给出了一个名叫KVpop的解决方案，，，，
，实验效果批注，，，，
，在把条子本压缩掉88%的情形下，，，，
，AI的数学推理能力依然保存了原来的97%到100%。。 以烹饪作为贯串全文的明确框架，，，，
，整件事会更容易理清。。把AI天生文字的历程比作一位厨师在厨房里按食谱一步步烹饪。。每次厨师要决议下一个行动时，，，，
，他需要回忆之前做过的每一个方法，，，，
，于是他把所有方法都写在小纸条上，，，，
，贴满了整张桌子。。菜谱越长，，，，
，纸条越多，，，，
，桌子越来越小。，，，
，最后连锅都放不下了。。 这就是目今AI在处理长文本时的处境。。每天生一个新词，，，，
，模子都需要回首此前所有词的"键值对"信息，，，，
，也就是那张贴满纸条的桌子。。这张桌子的巨细和文本长度成正比，，，，
，数学上叫做"线性增添"。。当文本长达几万字甚至十几万字时，，，，
，这张桌子会占满机械大宗的显存，，，，
，同时也会让每一步天生都变得越来越慢。。 现有的一些解决方案相当于告诉厨师"只保存最近几张纸条"，，，，
，但这样一来，，，，
，厨师可能会遗忘两小时前放入的某种香料，，，，
，导致最后的菜口胃全错。。也有人实验凭证某张纸条"看起来主要与否"来决议扔不扔，，，，
，但问题是，，，，
，厨师在做第三步时以为不主要的工具，，，，
，到了第二十步可能突然变得至关主要。。凭当下的感受判断未来的价值，，，，
，这种做法实质上是在推测，，，，
，不敷可靠。。 KVpop团队意识到，，，，
，真正的突破口在于：与其推测哪张纸条"现在看起来有用"，，，，
，不如训练AI学会预判哪张纸条"未来会被用到"。。这是一个根天性的思绪转变，，，，
，从被动评估转向自动展望。。 回到厨房的比喻。。KVpop做的事，，，，
，相当于给厨师专门开了一堂培训课。。在这堂课里，，，，
，先生（也就是一个"全影象"的参照AI）会亲自演示，，，，
，在整道菜做完之后，，，，
，回过头来标记出哪些纸条在后续方法中被真正用到了、被用到了几多次。。这个标记效果被称为"未来注重力目的"，，，，
，是一种客观权衡"这张纸条对后续有多大价值"的指标。。 学员厨师（也就是经由压缩训练的AI）的使命，，，，
，就是在做每一步之前，，，，
，凭证纸条上的内容展望它未来会不会被用到，，，，
，并且对这张纸条打一个分数。。最终，，，，
，得分高的纸条被保存，，，，
，得分低的被扬弃，，，，
，桌子始终坚持在一个牢靠巨细以内，，，，
，这个巨细称为"牢靠预算"。。 详细来说，，，，
，KVpop为每个注重力头（可以明确为厨师的差别感官——视觉、嗅觉、味觉划分认真差别方面的信息）设计了一个轻量级打分
？？？？？？椤。这个打分
？？？？？？椴患尤胫鞑似椎呐脞浚，，，
，它只是悄悄地旁观并打分。。桌子上永远有三类纸条不会被丢掉：最最先写下的几张"基础纸条"（称为淹没词元，，，，
，认真锁定上下文的基本框架），，，，
，最近写下的一摞"新鲜纸条"（受保；；；；；さ幕翱冢，，，
，由于刚写完的工具十有八九马上就会用到），，，，
，以及打分最高的那一批"历史主要纸条"（长程top-k预算）。。除此之外的所有旧纸条，，，，
，都会被清扫出桌面。。 这个设计让整张桌子的巨细酿成了一个牢靠的数字：基础纸条数目，，，，
，加上窗口巨细。，，，
，再加上高分保存的历史纸条数。。无论文本有多长，，，，
，桌子的巨细始终如一，，，，
，内存消耗因此变得可以展望和控制。。 现在遇到一个现实问题：要知道哪张纸条"未来会被用到几多"，，，，
，理论上需要先把整道菜做完，，，，
，再转头统计。。但训练的时间，，，，
，这道菜自己就是一道很长的文章，，，，
，若是要把所有词对所有词之间的注重力关系所有算出来，，，，
，那会爆发一张极其重大的矩阵，，，，
，大到显存基础放不下。。 研究团队用了一个很是智慧的技巧来绕开这个问题，，，，
，他们把这个技巧称为"转置注重力"。
？？？？？？梢哉庋魅罚赫Ｇ樾蜗拢，，，
，厨师是站在"目今方法"这个位置，，，，
，向前看之前所有的纸条，，，，
，问"哪张纸条对我现在有资助"。。而转置注重力做的是把这个偏向倒置过来，，，，
，让每一张纸条反过来问"未来有哪些方法会用到我"。。两个问题实质上用到的数学运算是一样的，，，，
，只是输入和输出的角色交流了一下。。 更妙的是，，，，
，AI在正常做推理的历程中，，，，
，已经会自动盘算一个叫做"归一化因子"的中心数值。。这个数值就像厨师在脑子里记着的"目今方法一共参考了几多张纸条"。。研究团队发明，，，，
，可以直接复用这个已经算好的数值来完成转置偏向的盘算，，，，
，基础不需要特殊跑一个完整的注重力盘算历程。。这样一来，，，，
，整个"未来价值"的估算险些是免费的——在训练时稍微多做一步盘算，，，，
，在现实使用时完全不爆发任何特殊肩负。。 第一种叫做"无状态打分器"，，，，
，用的是一个简朴的两层神经网络。。它的事情方式很是直接：拿起一张纸条，，，，
，看看上面写了什么，，，，
，然后打个分。。这种打分器又快又自制，，，，
，弱点是它只能看纸条自己的内容，，，，
，不知道这张纸条写下之后又爆发了什么。。 第二种叫做"有状态打分器"，，，，
，使用了一种叫做mLSTM的影象结构（这是一种具备"事情影象"的网络单位，，，，
，灵感来自人类大脑处理序列信息的方式）。。这种打分器的厉害之处在于，，，，
，它不急于在纸条刚写下来的时间就打分。。它会先把纸条放在受保；；；；；さ男孪手教跚"缓一缓"，，，，
，同时继续视察后续生长，，，，
，比及这张纸条即将脱离受保；；；；；で⒚媪"留照旧扔"的讯断时，，，，
，打分器才综合了以后积累的所有上下文信息，，，，
，做出一个越发知情的决议。。 这个设计的要害点在于：打分器不是在纸条刚写下时就被迫给出判断，，，，
，而是比及掌握了更多线索之后才揭晓意见。。就似乎一个厦门侦探不会在案发第一分钟就认定嫌疑人，，，，
，而是等网络完现场合有证据再下结论。。实验证实，，，，
，这种延迟打分的战略确实有用，，，，
，相比连忙打分的版本，，，，
，它在词语展望准确率上横跨了0.2个百分点——听起来未几，，，，
，但在云云大规模的模子上，，，，
，这是一个相当显著的提升。。 更主要的是，，，，
，这种做法与此前已有的类似要领（如DMS，，，，
，一种同样使用保；；；；；ご翱诘囊欤┯惺抵是稹。DMS虽然也有保；；；；；ご翱冢，，，
，但它在纸条进入窗口的那一刻就已经做出了去留决议，，，，
，只是把"执行驱逐"这个行动推迟了罢了。。KVpop的延迟打分则是真正地推迟了"做决议"这个行为自己，，，，
，让决议可以使用以后积累的信息，，，，
，这是唯一无二的做法。。 KVpop的训练方式也很是有针对性。。与其让打分器对所有纸条都举行准确排序，，，，
，研究团队的思绪是：只关注那道"刚恰恰踩在去留界线上"的选择题。。 每当一张纸条从受保；；；；；で镒叱隼矗，，，
，面临第一次去留讯断时，，，，
，目今高分纸条里排名最末的那张纸条（相当于"最后一个保住席位的选手"）就会被拿出来作为参照。。评判标准只有一个：新出来的这张纸条，，，，
，打分应该比"末位选手"高（代表应该保存），，，，
，照旧低（代表应该被镌汰）
？？？？？？ 损失函数（可以明确为对打分器打蜕化误谜底时的处分力度）只针对这一对较量打分，，，，
，而不是对所有纸条所有举行准确排序。。这样做的利益是极为高效Ｔ媚课训练只需要看两张纸条的比照，，，，
，不需要处理整个长列表，，，，
，盘算价钱极低，，，，
，但训练信号又很是精准，，，，
，由于它直接对应了真实推理时"这张纸条事实能不可挤进名额"这个现实决议。。 研究团队在两个差别规模的大模子上测试了KVpop的效果，，，，
，划分是参数目约40亿的Qwen3-4B和约80亿的Qwen3-8B。。测试用的是数学竞赛题，，，，
，包括AIME（美国数学约请赛，，，，
，公以为极具挑战性的高中数学竞赛）以及HMMT（哈佛-麻省理工数学锦标赛）的问题，，，，
，用以权衡模子在高难度数学推理上的体现。。 在75%压缩下，，，，
，KVpop在Qwen3-4B上保存了完整模子98%的得分，，，，
，在Qwen3-8B上也抵达100%。。；；；；；痪浠八担，，，
，把桌面缩小到原来四分之一，，，，
，模子的数学推理能力险些完全没有受损。。比照组中，，，，
，最简朴的古板要领StreamingLLM只保住了76%，，，，
，另一个常用要领TOVA仅保住了73%，，，，
，而近年来颇受关注的学习型要领DMS保住了96%。。 在更激进的88%压缩下，，，，
，两个比照要领StreamingLLM和TOVA直接瓦解，，，，
，得分下滑到只剩19%到58%，，，，
，已经不具备适用价值。。StreamingLLM的训练版（StreamingLLM+）回血到74%，，，，
，DMS抵达84%到89%。。KVpop则在Qwen3-4B上保住了97%，，，，
，在Qwen3-8B上惊人地保住了100%——在只剩八分之一影象容量的情形下，，，，
，80亿参数的模子与完整模子得分持平。。 研究团队还磨练了一个主要问题：这套战略只是在数学题上管用，，，，
，照旧真的学到了通用的"哪些信息值得记着"的判断能力
？？？？？？为此，，，，
，他们把仅在数学推理数据上训练好的KVpop，，，，
，直接拿去测试科学推理（GPQA Diamond，，，，
，一个研究生级别的综合科学问答测试）和代码天生（LiveCodeBench）。。效果显示，，，，
，KVpop在这两个完全差别领域的使命上，，，，
，同样与完整模子坚持了险些相同的体现。。这说明打分器学到的并不是"数学专用手艺"，，，，
，而是一套更普遍适用的"未来注重力预判"能力。。 测试在单张显卡上举行，，，，
，生生长度从1.6万字一直拉到13万字。。完整模子的显存占用随文本变长而线性攀升，，，，
，从16万字时的18GB一起涨到13万字时的36GB，，，，
，险些翻了一倍，，，，
，并且速率越来越慢。。KVpop和比照要领DMS的显存占用都只增添了19%左右，，，，
，到13万字时仍然停留在约19GB，，，，
，由于桌面巨细恒定，，，，
，不随文本变长。。 在速率上，，，，
，KVpop比DMS更快。。原因在于，，，，
，KVpop对每一个注重力头都强制执行相同的牢靠预算，，，，
，导致每个头保存的纸条数目完全一样，，，，
，GPU在并行处理时效率极高。。而DMS接纳的是动态门控机制，，，，
，每个头保存的数目各不相同，，，，
，就像厨房里差别厨师的桌子巨细狼籍不齐，，，，
，统一治理起来格外贫困，，，，
，反而拖慢了整体节奏。。 他们从数学推理序列中随机抽取了一段，，，，
，可视化出每个注重力头在每一层网络中保存了哪些词。。效果显示出一种很是有纪律的模式：纯粹的数字（好比"154000"、"37"之类的盘算中心效果）被扬弃的频率显着更高，，，，
，而那些具有推理结构意义的词——好比体现因果关系的"Thus"（因此）、体现操作的"divides"（整除）、体现等价的等号"="——则被更多注重力头跨更多层网络保存了下来。。 这个纪律很是切合直觉：一道数学题做完第五步之后，，，，
，第三步盘算出来的详细数字可能已经失去自力价值，，，，
，但其时用来推进推理的逻辑词汇，，，，
，往往对后续方法依然具有参考意义。。KVpop自主发明了这一纪律，，，，
，而没有人明确告诉它"逻辑词比数字主要"。。 别的，，，，
，研究团队还丈量了KVpop的打分器与"全知先生"的一致水平：在75%压缩设置下，，，，
，打分器保存的高分纸条有81%与先生以为应该保存的纸条重合。。这个数字意味着，，，，
，打分器做出的去留决议，，，，
，有凌驾八成与理想谜底吻合，，，，
，说明这套展望机制确实学到了有用的判断标准，，，，
，而非随机行为。。 与纯启发式要领（如StreamingLLM或TOVA）相比，，，，
，KVpop的优势在于它通过训练顺应了"压缩推理"这件事自己。。古板要领只是机械地执行一个牢靠规则，，，，
，在规则恰恰失效的场景下毫无应对能力。。KVpop则通过在数学推理数据上的微调，，，，
，让整个模子习惯了"只看部分纸条思索"这件事，，，，
，填补了信息缺失带来的模子能力落差。。 与另一个学习型要领DMS相比，，，，
，KVpop的优势在于监视信号更直接。。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧，，，，
，让去留决议在训练时可以近似求导，，，，
，但这个训练信号并不直接对应"未来会不会被用到"这件事。。KVpop则用真实的未来注重力质量作为监视信号，，，，
，打分器学到的目的与现实推理时纸条的真实价值直接挂钩。。这个差别在88%的极端压缩设置下体现得最为显着，，，，
，DMS的得分下滑幅度显着大于KVpop。。 说究竟，，，，
，KVpop做的事情可以用一句话概括：它教会了AI在读完一段话之后，，，，
，不是把所有字都死记硬背，，，，
，而是学会了和人类一样，，，，
，只记着那些未来真的会用到的内容。。 这项研究的价值，，，，
，不但是让某几道数学题的得分悦目一些。。它指向的是一个更宏观的偏向：随着AI模子被要求处理的文本越来越长（小说、执法文书、长篇代码、科学论文……），，，，
，怎样在有限的硬件资源下维持推理质量，，，，
，将成为决议AI能不可真正普及落地的要害瓶颈之一。。KVpop提供的这套"展望性遗忘"框架，，，，
，或许会成为解决这个瓶颈的主要工具之一。。 研究团队也坦诚地指出了目今的局限：mLSTM打分器虽然效果好，，，，
，但它事实是一种特定的架构，，，，
，尚有其他影象结构值得探索。。别的，，，，
，每个注重力头都强制使用相同的牢靠预算，，，，
，虽然带来了执行效率，，，，
，但若是允许差别层、差别头使用差别的预算，，，，
，或许能进一步提升性价比。。这些都是未来值得继续深挖的偏向。。 对这套要领的完整细节感兴趣的读者，，，，
，可以通过论文编号arXiv:2607.05061盘问全文，，，，
，相关训练好的模子也已经在模子社区果真宣布，，，，
，代号为Qwen3-8B-KVpop-4x，，，，
，供研究者自行下载和测试。。 A：KV缓存是AI语言模子在天生文字时用来存储历史信息的"条子本"，，，，
，让模子无需重新盘算就能回首之前所有的词。。问题在于，，，，
，条子本的巨细和文本长度成正比，，，，
，文章越长，，，，
，占用的显存越多，，，，
，每一步天生也越慢，，，，
，最终成为限制AI处理长文本的焦点瓶颈。。 A：两者都是通过训练来决议哪些历史信息可以扬弃，，，，
，但焦点监视信号差别。。DMS用一种数学近似技巧来训练去留决议，，，，
，而KVpop直接用"这段信息在未来被注重力现适用到了几多"作为训练目的，，，，
，监视信号更贴近真实使用场景，，，，
，在高压缩率下效果更优。。 A：可以。。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码天生使命上的体现，，，，
，效果显示与未压缩的完整模子坚持了险些相同的准确率，，，，
，说明KVpop学到了通用的信息筛选能力，，，，
，而非仅适用于数学场景的专项手艺。。