这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究，，，，，
，于2026年7月6日以预印本形式宣布，，，，，
，论文编号为arXiv:2607.05061。。。。有兴趣深入相识手艺细节的读者可以通过该编号盘问完整论文。。。。 当你和一位朋侪聊了良久之后，，，，，
，你的大脑并不会把每一句话都原封不动地保存脑子里。。。。它会悄悄地做一件事：把不主要的话过滤掉，，，，，
，只把那些真正影响后续明确的要害信息留下来。。。。你能做到这一点，，，，，
，是由于你的大脑天生就善于判断"哪些话值得记着，，，，，
，哪些话可以遗忘"。。。。 然而，，，，，
，当今最先进的人工智能语言模子，，，，，
，却没有这种能力。。。。它们的事情方式更像是一个强迫症患者——必需把读过的每一个字、每一个词都完整地保存一个重大的"条子本"里，，，，，
，才华包管之后回覆问题时不遗漏任何信息。。。。这个"条子本"在专业上被称为KV缓存，，，，，
，而它的问题在于：文章越长，，，，，
，条子本越大，，，，，
，最终大到机械的内存基础装不下，，，，，
，速率也慢得令人难以接受。。。。 这个研究团队想解决的，，，，，
，正是这个让AI工程师头疼已久的问题：能不可教会AI像人类一样，，，，，
，提前预判哪些影象是未来有用的，，，，，
，然后自动把没用的"条子"扔掉，，，，，
，同时又包管回覆质量险些不打折扣
？？
？他们给出了一个名叫KVpop的解决方案，，，，，
，实验效果批注，，，，，
，在把条子本压缩掉88%的情形下，，，，，
，AI的数学推理能力依然保存了原来的97%到100%。。。。 以烹饪作为贯串全文的明确框架，，，，，
，整件事会更容易理清。。。。把AI天生文字的历程比作一位厨师在厨房里按食谱一步步烹饪。。。。每次厨师要决议下一个行动时，，，，，
，他需要回忆之前做过的每一个方法，，，，，
，于是他把所有方法都写在小纸条上，，，，，
，贴满了整张桌子。。。。菜谱越长，，，，，
，纸条越多，，，，，
，桌子越来越小，，，，，
，最后连锅都放不下了。。。。 这就是目今AI在处理长文本时的处境。。。。每天生一个新词，，，，，
，模子都需要回首此前所有词的"键值对"信息，，，，，
，也就是那张贴满纸条的桌子。。。。这张桌子的巨细和文本长度成正比，，，，，
，数学上叫做"线性增添"。。。。当文本长达几万字甚至十几万字时，，，，，
，这张桌子会占满机械大宗的显存，，，，，
，同时也会让每一步天生都变得越来越慢。。。。 现有的一些解决方案相当于告诉厨师"只保存最近几张纸条"，，，，，
，但这样一来，，，，，
，厨师可能会遗忘两小时前放入的某种香料，，，，，
，导致最后的菜口胃全错。。。。也有人实验凭证某张纸条"看起来主要与否"来决议扔不扔，，，，，
，但问题是，，，，，
，厨师在做第三步时以为不主要的工具，，，，，
，到了第二十步可能突然变得至关主要。。。。凭当下的感受判断未来的价值，，，，，
，这种做法实质上是在推测，，，，，
，不敷可靠。。。。 KVpop团队意识到，，，，，
，真正的突破口在于：与其推测哪张纸条"现在看起来有用"，，，，，
，不如训练AI学会预判哪张纸条"未来会被用到"。。。。这是一个根天性的思绪转变，，，，，
，从被动评估转向自动展望。。。。 回到厨房的比喻。。。。KVpop做的事，，，，，
，相当于给厨师专门开了一堂培训课。。。。在这堂课里，，，，，
，先生（也就是一个"全影象"的参照AI）会亲自演示，，，，，
，在整道菜做完之后，，，，，
，回过头来标记出哪些纸条在后续方法中被真正用到了、被用到了几多次。。。。这个标记效果被称为"未来注重力目的"，，，，，
，是一种客观权衡"这张纸条对后续有多大价值"的指标。。。。 学员厨师（也就是经由压缩训练的AI）的使命，，，，，
，就是在做每一步之前，，，，，
，凭证纸条上的内容展望它未来会不会被用到，，，，，
，并且对这张纸条打一个分数。。。。最终，，，，，
，得分高的纸条被保存，，，，，
，得分低的被扬弃，，，，，
，桌子始终坚持在一个牢靠巨细以内，，，，，
，这个巨细称为"牢靠预算"。。。。 详细来说，，，，，
，KVpop为每个注重力头（可以明确为厨师的差别感官——视觉、嗅觉、味觉划分认真差别方面的信息）设计了一个轻量级打分
？？
？。。。。这个打分
？？
？椴患尤胫鞑似椎呐脞，，，，，
，它只是悄悄地旁观并打分。。。。桌子上永远有三类纸条不会被丢掉：最最先写下的几张"基础纸条"（称为淹没词元，，，，，
，认真锁定上下文的基本框架），，，，，
，最近写下的一摞"新鲜纸条"（受；；；；；さ幕翱，，，，，
，由于刚写完的工具十有八九马上就会用到），，，，，
，以及打分最高的那一批"历史主要纸条"（长程top-k预算）。。。。除此之外的所有旧纸条，，，，，
，都会被清扫出桌面。。。。 这个设计让整张桌子的巨细酿成了一个牢靠的数字：基础纸条数目，，，，，
，加上窗口巨细，，，，，
，再加上高分保存的历史纸条数。。。。无论文本有多长，，，，，
，桌子的巨细始终如一，，，，，
，内存消耗因此变得可以展望和控制。。。。 现在遇到一个现实问题：要知道哪张纸条"未来会被用到几多"，，，，，
，理论上需要先把整道菜做完，，，，，
，再转头统计。。。。但训练的时间，，，，，
，这道菜自己就是一道很长的文章，，，，，
，若是要把所有词对所有词之间的注重力关系所有算出来，，，，，
，那会爆发一张极其重大的矩阵，，，，，
，大到显存基础放不下。。。。 研究团队用了一个很是智慧的技巧来绕开这个问题，，，，，
，他们把这个技巧称为"转置注重力"。。。
？？
？梢哉庋魅罚赫Ｇ樾蜗，，，，，
，厨师是站在"目今方法"这个位置，，，，，
，向前看之前所有的纸条，，，，，
，问"哪张纸条对我现在有资助"。。。。而转置注重力做的是把这个偏向倒置过来，，，，，
，让每一张纸条反过来问"未来有哪些方法会用到我"。。。。两个问题实质上用到的数学运算是一样的，，，，，
，只是输入和输出的角色交流了一下。。。。 更妙的是，，，，，
，AI在正常做推理的历程中，，，，，
，已经会自动盘算一个叫做"归一化因子"的中心数值。。。。这个数值就像厨师在脑子里记着的"目今方法一共参考了几多张纸条"。。。。研究团队发明，，，，，
，可以直接复用这个已经算好的数值来完成转置偏向的盘算，，，，，
，基础不需要特殊跑一个完整的注重力盘算历程。。。。这样一来，，，，，
，整个"未来价值"的估算险些是免费的——在训练时稍微多做一步盘算，，，，，
，在现实使用时完全不爆发任何特殊肩负。。。。 第一种叫做"无状态打分器"，，，，，
，用的是一个简朴的两层神经网络。。。。它的事情方式很是直接：拿起一张纸条，，，，，
，看看上面写了什么，，，，，
，然后打个分。。。。这种打分器又快又自制，，，，，
，弱点是它只能看纸条自己的内容，，，，，
，不知道这张纸条写下之后又爆发了什么。。。。 第二种叫做"有状态打分器"，，，，，
，使用了一种叫做mLSTM的影象结构（这是一种具备"事情影象"的网络单位，，，，，
，灵感来自人类大脑处理序列信息的方式）。。。。这种打分器的厉害之处在于，，，，，
，它不急于在纸条刚写下来的时间就打分。。。。它会先把纸条放在受；；；；；さ男孪手教跚"缓一缓"，，，，，
，同时继续视察后续生长，，，，，
，比及这张纸条即将脱离受；；；；；で⒚媪"留照旧扔"的讯断时，，，，，
，打分器才综合了以后积累的所有上下文信息，，，，，
，做出一个越发知情的决议。。。。 这个设计的要害点在于：打分器不是在纸条刚写下时就被迫给出判断，，，，，
，而是比及掌握了更多线索之后才揭晓意见。。。。就似乎一个厦门侦探不会在案发第一分钟就认定嫌疑人，，，，，
，而是等网络完现场合有证据再下结论。。。。实验证实，，，，，
，这种延迟打分的战略确实有用，，，，，
，相比连忙打分的版本，，，，，
，它在词语展望准确率上横跨了0.2个百分点——听起来未几，，，，，
，但在云云大规模的模子上，，，，，
，这是一个相当显著的提升。。。。 更主要的是，，，，，
，这种做法与此前已有的类似要领（如DMS，，，，，
，一种同样使用；；；；；ご翱诘囊欤┯惺抵是。。。。DMS虽然也有；；；；；ご翱，，，，，
，但它在纸条进入窗口的那一刻就已经做出了去留决议，，，，，
，只是把"执行驱逐"这个行动推迟了罢了。。。。KVpop的延迟打分则是真正地推迟了"做决议"这个行为自己，，，，，
，让决议可以使用以后积累的信息，，，，，
，这是唯一无二的做法。。。。 KVpop的训练方式也很是有针对性。。。。与其让打分器对所有纸条都举行准确排序，，，，，
，研究团队的思绪是：只关注那道"刚恰恰踩在去留界线上"的选择题。。。。 每当一张纸条从受；；；；；で镒叱隼，，，，，
，面临第一次去留讯断时，，，，，
，目今高分纸条里排名最末的那张纸条（相当于"最后一个保住席位的选手"）就会被拿出来作为参照。。。。评判标准只有一个：新出来的这张纸条，，，，，
，打分应该比"末位选手"高（代表应该保存），，，，，
，照旧低（代表应该被镌汰）
？？
？ 损失函数（可以明确为对打分器打蜕化误谜底时的处分力度）只针对这一对较量打分，，，，，
，而不是对所有纸条所有举行准确排序。。。。这样做的利益是极为高效Ｔ媚课训练只需要看两张纸条的比照，，，，，
，不需要处理整个长列表，，，，，
，盘算价钱极低，，，，，
，但训练信号又很是精准，，，，，
，由于它直接对应了真实推理时"这张纸条事实能不可挤进名额"这个现实决议。。。。 研究团队在两个差别规模的大模子上测试了KVpop的效果，，，，，
，划分是参数目约40亿的Qwen3-4B和约80亿的Qwen3-8B。。。。测试用的是数学竞赛题，，，，，
，包括AIME（美国数学约请赛，，，，，
，公以为极具挑战性的高中数学竞赛）以及HMMT（哈佛-麻省理工数学锦标赛）的问题，，，，，
，用以权衡模子在高难度数学推理上的体现。。。。 在75%压缩下，，，，，
，KVpop在Qwen3-4B上保存了完整模子98%的得分，，，，，
，在Qwen3-8B上也抵达100%。。。；；；；；痪浠八，，，，，
，把桌面缩小到原来四分之一，，，，，
，模子的数学推理能力险些完全没有受损。。。。比照组中，，，，，
，最简朴的古板要领StreamingLLM只保住了76%，，，，，
，另一个常用要领TOVA仅保住了73%，，，，，
，而近年来颇受关注的学习型要领DMS保住了96%。。。。 在更激进的88%压缩下，，，，，
，两个比照要领StreamingLLM和TOVA直接瓦解，，，，，
，得分下滑到只剩19%到58%，，，，，
，已经不具备适用价值。。。。StreamingLLM的训练版（StreamingLLM+）回血到74%，，，，，
，DMS抵达84%到89%。。。。KVpop则在Qwen3-4B上保住了97%，，，，，
，在Qwen3-8B上惊人地保住了100%——在只剩八分之一影象容量的情形下，，，，，
，80亿参数的模子与完整模子得分持平。。。。 研究团队还磨练了一个主要问题：这套战略只是在数学题上管用，，，，，
，照旧真的学到了通用的"哪些信息值得记着"的判断能力
？？
？为此，，，，，
，他们把仅在数学推理数据上训练好的KVpop，，，，，
，直接拿去测试科学推理（GPQA Diamond，，，，，
，一个研究生级别的综合科学问答测试）和代码天生（LiveCodeBench）。。。。效果显示，，，，，
，KVpop在这两个完全差别领域的使命上，，，，，
，同样与完整模子坚持了险些相同的体现。。。。这说明打分器学到的并不是"数学专用手艺"，，，，，
，而是一套更普遍适用的"未来注重力预判"能力。。。。 测试在单张显卡上举行，，，，，
，生生长度从1.6万字一直拉到13万字。。。。完整模子的显存占用随文本变长而线性攀升，，，，，
，从16万字时的18GB一起涨到13万字时的36GB，，，，，
，险些翻了一倍，，，，，
，并且速率越来越慢。。。。KVpop和比照要领DMS的显存占用都只增添了19%左右，，，，，
，到13万字时仍然停留在约19GB，，，，，
，由于桌面巨细恒定，，，，，
，不随文本变长。。。。 在速率上，，，，，
，KVpop比DMS更快。。。。原因在于，，，，，
，KVpop对每一个注重力头都强制执行相同的牢靠预算，，，，，
，导致每个头保存的纸条数目完全一样，，，，，
，GPU在并行处理时效率极高。。。。而DMS接纳的是动态门控机制，，，，，
，每个头保存的数目各不相同，，，，，
，就像厨房里差别厨师的桌子巨细狼籍不齐，，，，，
，统一治理起来格外贫困，，，，，
，反而拖慢了整体节奏。。。。 他们从数学推理序列中随机抽取了一段，，，，，
，可视化出每个注重力头在每一层网络中保存了哪些词。。。。效果显示出一种很是有纪律的模式：纯粹的数字（好比"154000"、"37"之类的盘算中心效果）被扬弃的频率显着更高，，，，，
，而那些具有推理结构意义的词——好比体现因果关系的"Thus"（因此）、体现操作的"divides"（整除）、体现等价的等号"="——则被更多注重力头跨更多层网络保存了下来。。。。 这个纪律很是切合直觉：一道数学题做完第五步之后，，，，，
，第三步盘算出来的详细数字可能已经失去自力价值，，，，，
，但其时用来推进推理的逻辑词汇，，，，，
，往往对后续方法依然具有参考意义。。。。KVpop自主发明了这一纪律，，，，，
，而没有人明确告诉它"逻辑词比数字主要"。。。。 别的，，，，，
，研究团队还丈量了KVpop的打分器与"全知先生"的一致水平：在75%压缩设置下，，，，，
，打分器保存的高分纸条有81%与先生以为应该保存的纸条重合。。。。这个数字意味着，，，，，
，打分器做出的去留决议，，，，，
，有凌驾八成与理想谜底吻合，，，，，
，说明这套展望机制确实学到了有用的判断标准，，，，，
，而非随机行为。。。。 与纯启发式要领（如StreamingLLM或TOVA）相比，，，，，
，KVpop的优势在于它通过训练顺应了"压缩推理"这件事自己。。。。古板要领只是机械地执行一个牢靠规则，，，，，
，在规则恰恰失效的场景下毫无应对能力。。。。KVpop则通过在数学推理数据上的微调，，，，，
，让整个模子习惯了"只看部分纸条思索"这件事，，，，，
，填补了信息缺失带来的模子能力落差。。。。 与另一个学习型要领DMS相比，，，，，
，KVpop的优势在于监视信号更直接。。。。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧，，，，，
，让去留决议在训练时可以近似求导，，，，，
，但这个训练信号并不直接对应"未来会不会被用到"这件事。。。。KVpop则用真实的未来注重力质量作为监视信号，，，，，
，打分器学到的目的与现实推理时纸条的真实价值直接挂钩。。。。这个差别在88%的极端压缩设置下体现得最为显着，，，，，
，DMS的得分下滑幅度显着大于KVpop。。。。 说究竟，，，，，
，KVpop做的事情可以用一句话概括：它教会了AI在读完一段话之后，，，，，
，不是把所有字都死记硬背，，，，，
，而是学会了和人类一样，，，，，
，只记着那些未来真的会用到的内容。。。。 这项研究的价值，，，，，
，不但是让某几道数学题的得分悦目一些。。。。它指向的是一个更宏观的偏向：随着AI模子被要求处理的文本越来越长（小说、执法文书、长篇代码、科学论文……），，，，，
，怎样在有限的硬件资源下维持推理质量，，，，，
，将成为决议AI能不可真正普及落地的要害瓶颈之一。。。。KVpop提供的这套"展望性遗忘"框架，，，，，
，或许会成为解决这个瓶颈的主要工具之一。。。。 研究团队也坦诚地指出了目今的局限：mLSTM打分器虽然效果好，，，，，
，但它事实是一种特定的架构，，，，，
，尚有其他影象结构值得探索。。。。别的，，，，，
，每个注重力头都强制使用相同的牢靠预算，，，，，
，虽然带来了执行效率，，，，，
，但若是允许差别层、差别头使用差别的预算，，，，，
，或许能进一步提升性价比。。。。这些都是未来值得继续深挖的偏向。。。。 对这套要领的完整细节感兴趣的读者，，，，，
，可以通过论文编号arXiv:2607.05061盘问全文，，，，，
，相关训练好的模子也已经在模子社区果真宣布，，，，，
，代号为Qwen3-8B-KVpop-4x，，，，，
，供研究者自行下载和测试。。。。 A：KV缓存是AI语言模子在天生文字时用来存储历史信息的"条子本"，，，，，
，让模子无需重新盘算就能回首之前所有的词。。。。问题在于，，，，，
，条子本的巨细和文本长度成正比，，，，，
，文章越长，，，，，
，占用的显存越多，，，，，
，每一步天生也越慢，，，，，
，最终成为限制AI处理长文本的焦点瓶颈。。。。 A：两者都是通过训练来决议哪些历史信息可以扬弃，，，，，
，但焦点监视信号差别。。。。DMS用一种数学近似技巧来训练去留决议，，，，，
，而KVpop直接用"这段信息在未来被注重力现适用到了几多"作为训练目的，，，，，
，监视信号更贴近真实使用场景，，，，，
，在高压缩率下效果更优。。。。 A：可以。。。。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码天生使命上的体现，，，，，
，效果显示与未压缩的完整模子坚持了险些相同的准确率，，，，，
，说明KVpop学到了通用的信息筛选能力，，，，，
，而非仅适用于数学场景的专项手艺。。。。