这项由新加坡国立大学研究团队完成的事情，，，，，以arXiv预印本形式于2026年7月3日果真宣布，，，，，编号为arXiv:2607.02963v1，，，，，研究偏向涵盖盘算机视觉与视频明确领域。。。。。感兴趣的读者可通过该编号在arXiv平台上查阅完整论文。。。。。 假设你是一位速记员，，，，，需要在寓目一段两小时的纪录片时，，，，，不但要把片中每一个场景爆发的时间准确纪录下来，，，，，还要为每个场景写一段文字形貌——哪一段在什么时间、爆发了什么、画面里有什么、配景音乐某人物在说什么，，，，，所有不可遗漏。。。。。这件事本就够难了，，，，，更要命的是，，，，，你必需一个字一个字地写，，，，，写完第一个字才华最先写第二个字，，，，，写完第一个场景的形貌，，，，，才华最先动笔写第二个场景。。。。。 这正是目今主流视频大语言模子在处理"麋集视频字幕天生"使命时面临的逆境。。。。。所谓麋集视频字幕天生（Dense Video Captioning，，，，，DVC），，，，，简朴说就是：给一段未经剪辑的长视频，，，，，让AI自动找出其中所有有意义的事务段落，，，，，标注出每个事务的起止时间，，，，，再为每个事务天生一段自然语言形貌。。。。。这项手艺对视频搜索与索引、以一人称视角感知周围情形的AI署理、视频叙事自动化以致多事务视频天生都有主要价值。。。。。 然而，，，，，现有的AI模子在完成这项使命时，，，，，都像那位只能一个字一个字打的速记员一样——严酷凭证从左到右、以前到后的顺序，，，，，一个词一个词地天生输出。。。。。视频越长、事务越麋集，，，，，需要天生的词语就越多，，，，，期待时间也就越长。。。。。以论文中的数据为例，，，，，在LongVALE这个基准测试上，，，，，目今最强的比照要领天生一段视频字幕平均需要凌驾16秒，，，，，并且随着视频长度增添，，，，，这个时间还会成倍增添。。。。。 新加坡国立大学的研究团队看到了这个问题，，，，，并提出了一个精妙的解决方案：既然视频中差别事务之间的内容原来就相对自力，，，，，为什么非要让AI把所有事务的形貌排成一条长队，，，，，一个接一个地天生
？
？？？？能不可让AI同时"开多个窗口"，，，，，划分为差别事务撰写形貌，，，，，最后再汇总到一起
？
？？？？ 要明确这个要领，，，，，先来想一下一位餐厅厨师是怎么事情的。。。。。一个人做一桌菜，，，，，若是每道菜都等上一道菜完全做好之后再最先，，，，，效率极低。。。。。有履历的厨师会先在脑子里妄想好：哪道菜需要先腌制，，，，，哪道菜可以一起下锅，，，，，哪道菜需要最后收汁。。。。。有了整体妄想之后，，，，，多个炉灶同时开工，，，，，每道菜各自按节奏推进，，，，，整体上桌速率就大大提升了。。。。。 在全局妄想阶段，，，，，模子会先浏览整段视频（包括画面和声音），，，，，然后为视频中的每个事务天生一个紧凑的"全局事务令牌"（Global Event Token）。。。。。你可以把这些令牌明确为厨师脑子里为每道菜写下的一张便当贴——上面纪录着这道菜是什么、需要什么食材、对应视频的哪个时间段。。。。。主要的是，，，，，这些便当贴是凭证时间顺序依次写下的，，，，，因此每张便当贴都知道前面所有菜的情形，，，，，整体上形成了一个有序的全局时间结构。。。。。 有了这些便当贴之后，，，，，模子就进入并行天生阶段。。。。。每个事务对应的文字形貌，，，，，划分在各自自力的"烹饪窗口"里同时举行，，，，，互不滋扰。。。。。每个窗口里，，，，，形貌的天生仍然坚持以前到后的顺序（包管每个事务形貌自己语言连贯），，，，，但差别事务的形貌窗口之间可以并行推进——相当于多个炉灶同时开火，，，，，而不是一个炉灶用完了再开下一个。。。。。 这套思绪的正式名称叫做"依赖图重构"。。。。。原本所有词语排成一条依赖链，，，，，每个词都要等前面所有词写完才华天生；；；；新要领把这条长链拆分成多条短链，，，，，差别事务的短链可以并行推进，，，，，统一事务内部的短链仍然坚持顺序。。。。。由于差别事务之间的内容原来就相关性较弱，，，，，这种拆分不会损失什么主要信息，，，，，因此被称为"无损并行天生"。。。。。 模子在吸收视频和音频输入之后，，，，，首先会自动天生一串特殊的"全局事务令牌"，，，，，在原文中用G?、G?、G?……体现。。。。。这里有一个值得注重的细节：事务的数目并不是事先设定好的，，，，，而是由模子自己判断。。。。。模子会凭证视频内容决议"这段视频或许有几多个自力事务"，，，，，然后天生响应数目的令牌。。。。。这比强行划定"每段视频分成牢靠N个事务"要无邪合理得多——就像厨师不会死板地划定"今天一定要做8道菜"，，，，，而是凭证食材和客人的需求无邪决议菜单。。。。。 当全局妄想阶段竣事后，，，，，模子会天生一个特殊的"切换令牌"（Switch Token），，，，，像是厨师说"好了，，，，，妄想完毕，，，，，各人最先各自做菜"的一声令下，，，，，之后模子就进入并行天生阶段。。。。。 为了包管这些全局事务令牌不但是朴陋的占位符，，，，，而是真正能"代表"各自事务的富厚体现，，，，，研究团队设计了两个配套机制。。。。。 第一个机制叫做"显式事务定位约束"。。。。。训练时，，，，，模子被要求让每个全局事务令牌的体现，，，，，与它对应的那段视频画面和音频的特征只管靠近，，，，，同时与其他时间段的特征坚持距离。。。。。详细的数学方式是对每个时间段盘算一个相似度分数，，，，，然后用二值交织熵损失来监视训练——相当于告诉模子："G?应该和0到6秒的画面很像，，，，，和6秒以后的画面要不像。。。。。"这样训练出来的令牌，，，，，自然就携带了事务定位的能力，，，，，推理时可以直接通过相似度匹配来确定每个事务对应视频的哪个时间段，，，，，而不需要另外天生时间戳文本。。。。。 第二个机制叫做"自顺应语义聚合"。。。。。光有定位能力还不敷，，，，，每个全局令牌还需要把对应事务的视觉和音频信息"吸收进来"，，，，，以便后续的并行形貌天生阶段能够以此为基础，，，，，天生内容富厚的形貌。。。。。研究团队探索了三种聚合方式：最直接的是均值池化，，，，，把对应时间段的所有特征向量取平均值加进令牌里；；；；稍重大一些的是通过一个轻量评分网络，，，，，对差别时刻的特征赋予差别的主要性权重再加权求和；；；；最后一种则是使用模子内部的注重力权重作为评分依据，，，，，完全不需要特殊参数。。。。。实验效果显示，，，，，基于注重力权重的方式效果最好，，，，，由于模子的注重力机制自然就在关注最相关的信息，，，，，这个内部信号可以直接被复用来决议"哪些片断的信息最需要被吸收进全局令牌"。。。。。 有了全局妄想阶段爆发的事务令牌之后，，，，，并行解码阶段就最先了。。。。。这个阶段的焦点挑战在于：既要让差别事务的形貌天生互不滋扰（防止一个事务的形貌污染另一个事务），，，，，又要让每个事务的形貌天生都能知道其他事务的大致情形（坚持全局一致性）。。。。。 研究团队通过设计一套特殊的"注重力可见性规则"来解决这个矛盾。。。。。详细来说，，，，，在并行天生阶段，，，，，属于事务i的形貌词语，，，，，被允许关注两类信息：一是所有全局事务令牌（G?到G?），，，，，二是统一事务内部已经天生的前序词语和对应的事务锚定令牌G?。。。。。可是，，，，，差别事务的局部形貌词语之间，，，，，被明确榨取相互看到相互。。。。。 用餐厅的比喻来说：每个炉灶前的厨师，，，，，都可以看到菜单上所有菜的总体妄想（全局事务令牌），，，，，也能看到自己这道菜之前已经做好的方法，，，，，但不会看到其他炉灶目今正在做到哪一步的细节——由于看了也没用，，，，，那些细节跟自己这道菜的下一步没什么关系，，，，，反而可能分心。。。。。 比照实验很是有力地证实晰这一设计的须要性。。。。。若是简朴地把标准因果注重力直接用于并行解码（即保存所有词语之间的相互可见性），，，，，F1分数会从61.8大幅下降到38.7，，，，，相似度分数也从38.8跌至19.9。。。。。原因很直观：在并行模式下，，，，，若是事务2的第一个词语能看到事务1已经天生的所有内容，，，，，它就会被事务1的内容"带跑"，，，，，不可专注于事务2自身的内容。。。。。另一方面，，，，，若是完全隔离——每个事务只能看到自己的锚定令牌，，，，，完全看不到其他事务的任何信息——相比完整方案，，，，，性能也会有所下降（F1降至59.8）。。。。。这说明全局事务令牌确着实跨事务信息转达中起到了不可或缺的桥梁作用。。。。。 别的，，，，，研究团队还处理了一个现实问题：差别事务的形貌长度纷歧样，，，，，有的事务很简短，，，，，有的事务很重大，，，，，天生的词语数目差别可能很大。。。。。为了让并行天生能够同步推进，，，，，训练时接纳了填充战略——较短的形貌会用"竣事符"填充到最长形貌的长度，，，，，所有子链对齐之后再训练。。。。。同时，，，，，位置编码也做了响应调解，，，，，差别事务子链中统一位置的词语共享相同的位置索引，，，，，强化了子链之间的结构自力性。。。。。推理时，，，，，某个子链一旦遇到竣事符就自动阻止，，，，，不会天生多余的词语，，，，，因此训练时的填充不会影响推理时的输出质量。。。。。 在LongVALE基准（专门评测长视频中视觉-音频-语言事务明确能力的测试集）上，，，，，PadCaptioner以56.4的F1分数（事务定位准确性）和58.5的语义相似度（形貌质量）逾越了此前最强要领ChronusOmni（7B参数模子，，，，，F1为49.7，，，，，相似度为52.4），，，，，提升幅度划分抵达6.7%和6.1%。。。。。值得注重的是，，，，，PadCaptioner使用的基础模子只有3B参数，，，，，比比照要领小了一倍多，，，，，却取得了更好的效果。。。。。 效率方面，，，，，比照同样在单张NVIDIA A6000 GPU上运行的效果：ChronusOmni处理一段视频平均需要约16162毫秒，，，，，每天生一个词平均需要41.3毫秒；；；；PadCaptioner处理统一段视频平均只需4284毫秒，，，，，每个词仅需13.4毫秒。。。。。整体解码时间缩短了约3.8倍，，，，，单词天生速率提升了约3.1倍。。。。；；；；痪浠八，，，，，在天生一律信息量的情形下，，，，，新要领比旧要领快了快要四倍。。。。。 在ChronusAV基准（另一个专注于视频与音频联合明确的测试集）上，，，，，PadCaptioner同样坚持了领先优势：F1抵达63.2，，，，，相似度抵达40.0，，，，，各项指标周全凌驾比照要领，，，，，总体解码时间从28093毫秒缩短至7527毫秒，，，，，单词天生速率同样提升约3倍。。。。。 研究团队还在YouCook2（一个专注于烹饪教学视频的视觉字幕天生基准）上举行了零样本测试，，，，，即不针对YouCook2专门训练，，，，，直接用训练好的模子举行评估。。。。。效果显示PadCaptioner以27.1的F1、31.7的CIDEr分数和8.2的SODA_c分数，，，，，周全逾越了包括ChronusOmni在内的所有比照要领，，，，，展示了优异的泛化能力。。。。。 除了麋集字幕天生之外，，，，，研究团队还在LongVALE的两个特殊使命（全模态时序视频定位和音视频片断字幕天生）以及ChronusAV的六个使命（视频到时间、时间到视频、音频到时间、时间到音频、视频到音频、音频到视频）上举行了评测，，，，，PadCaptioner在险些所有使命上都坚持了竞争力或最优体现，，，，，说明这套框架不是为某个特定使命"过拟合"的，，，，，而是具备跨使命的通用视频明确能力。。。。。 研究团队通过一系列详尽的消融实验，，，，，逐一验证了每个设计选择的须要性。。。。。这类实验的逻辑很简朴：去掉某个组件，，，，，看效果下降几多；；；；换成其他替换方案，，，，，看有没有更好的选择。。。。。 基准模子（不加任何新设计，，，，，直接在原始序列结构上微调）在ChronusAV上的F1只有32.7，，，，，相似度只有17.6。。。。。加入潜在全局妄想之后，，，，，F1跃升至61.5，，，，，相似度升至38.4，，，，，提升幅度很是显著。。。。。这说明"先妄想、后天生"这个思绪自己带来了重大的性能增益，，，，，而不但仅是速率上的刷新。。。。。在妄想阶段，，，，，若是换成"文本妄想"（先用文字天生时间戳，，，，，再据今天生形貌），，，，，F1只能到37.4，，，，，远不如潜在空间妄想的61.5。。。。。原因在于，，，，，潜在空间体现更紧凑，，，，，能更好地捕获事务级的语义，，，，，为后续天生提供更有表达力的锚点。。。。。 在语义聚合方式的比照中，，，，，完全不做聚合（仅靠定位约束）时F1为47.7；；；；换成均值池化后F1升至58.5；；；；基于评分网络的加权聚合进一步提升至61.4；；；；基于注重力权重的聚合效果最好，，，，，抵达61.8。。。。。这个渐进式的提升说明，，，，，信息的选择性聚合（智慧地决议"哪些内容更主要"）比盲目匀称汇总要有用得多，，，，，而模子自身的注重力机制恰恰提供了一种免参数的高效选择手段。。。。。 并行解码阶段的孝顺也被单独量化：相比仅加妄想、不加并行解码的设置，，，，，加入并行解码后总体解码时间从12405毫秒降至7598毫秒，，，，，单词天生时间从22.9毫秒降至13.8毫秒，，，，，约有1.66倍的加速。。。。。同时，，，，，性能不但没有下降，，，，，F1和相似度还略有提升（从61.5/38.4升至61.8/38.8），，，，，研究者将此归因于事务分治天生的方式有助于模子更专注地处理每个事务，，，，，镌汰了不相关的跨事务滋扰。。。。。 研究团队对要领的局限性坚持了坦诚。。。。。其一，，，，，目今的依赖图重构只思量了事务级别的结构；；；；未来或允许以探索更细粒度的单位（好比子事务或时空实例），，，，，并镌汰对人工标注事务界线的依赖。。。。。其二，，，，，自顺应语义聚合在面临较长事务时仍然可能爆发粒度不敷细的形貌，，，，，更有用的长序列信息聚合要领值得继续研究。。。。。其三，，，，，修改后的注重力模式与部分现有优化注重力内核（如FlashAttention-2）保存兼容性问题，，，，，导致逊з度相对标准要领慢约1.4到1.9倍（在4张H200 GPU、12000样本的训练设置下需要约28小时，，，，，而标准要领需要约20至15小时）。。。。。不过研究者指出，，，，，这一问题可以通过专门的内核级优化来解决，，，，，并且推理阶段的效率增益不受此影响。。。。。推理时最大GPU显存占用在30GB以内，，，，，并行解码自己不会增添KV缓存巨细。。。。。 说究竟，，，，，PadCaptioner做的事情，，，，，实质上是把"一个人重新到尾打字"酿成了"多个人同时开工，，，，，但各人手里都拿着统一份总妄想"。。。。。这个思绪听起来简朴，，，，，但实现起来需要准确地界说哪些内容之间可以并行、哪些必需坚持顺序，，，，，以及怎样在并行的各个分支之间坚持信息共享。。。。。研究团队用潜在全局令牌和事务因式注重力机制把这个问题拆解得相当清晰，，，，，从实验效果来看，，，，，这套设计既快又准，，，，，两个目的并没有像许多人预期的那样相互牵制。。。。。 关于真实应用场景而言，，，，，这类手艺的提速意味着更实时的视频内容剖析成为可能——无论是视频平台的自动索引、无障碍字幕天生，，，，，照旧AI助理对用户拍摄的长视频做事务回首，，，，，都可以从中受益。。。。。关于想深入相识手艺细节的读者，，，，，完整论文可以在arXiv平台以编号arXiv:2607.02963检索获取，，，，，代码也已在GitHub的showlab/PadCaptioner客栈果真。。。。。 A：PadCaptioner引入了潜在全局妄想阶段，，，，，让模子先对整段视频的事务结构形成整体认知，，，，，再对差别事务的形貌并行天生。。。。。这种"先妄想后并行"的方式一方面让每个事务的形貌天生有了更富厚的语义锚点，，，，，提升了内容质量；；；；另一方面把原本串行的多事务天生拆分为同时举行的多个子使命，，，，，大幅镌汰了期待时间，，，，，因此速率和质量得以同步提升。。。。。 A：通俗视频字幕通常只为整段视频天生一句或几句总体形貌，，，，，不需要定位详细时间段。。。。。麋集视频字幕天生则要求模子自动找出视频中所有有意义的事务，，，，，准确标注每个事务的起止时间，，，，，再为每个事务单独天生形貌。。。。。这要求模子同时具备时间定位能力和语言天生能力，，，，，处理的信息量和使命重漂后远高于通俗字幕天生，，，，，在长视频场景下对盘算效率的要求也更苛刻。。。。。 A：若是差别事务的形貌完全隔离、互不知情，，，，，每个事务的形貌就只能基于自身的视觉和音频信息来天生，，，，，而无法感知整段视频的全局时间结构和事务之间的关系。。。。。这会导致差别事务的形貌在整体叙事上缺乏连贯性，，，，，也可能在界线判断上泛起杂乱。。。。。全局事务令牌充当了"共享妄想书"的角色，，，，，让每个并行分支都知道自己在整个视频事务序列中处于什么位置，，，，，从而天生更具全局一致性的形貌。。。。。消融实验也证实，，，，，保存全局令牌可见性比完全隔离方案效果更好。。。。。