现实上，，，，，，手机、电脑和智能硬件的芯片各不相同，，，，，，统一个模子换一台装备，，，，，，往往就要重新适配。。。？？？？⒄卟坏盟芷鹄矗，，，，，还要解决速率、耗电和稳固性问题。。。 在云端，，，，，，这套事情已经有成熟的工具。。。可是在终端装备，，，，，，尤其是新一代装备里专门处理 AI 使命的盘算单位（NPU）上，，，，，，工具险些是空缺：一个新模子宣布后，，，，，，经常需要数周甚至数月的适配。。。 2023 年，，，，，，斯坦福校友 Alex Chen 和 Zack Li 开办 Nexa AI，，，，，，做了一套开源工具 Nexa SDK，，，，，，闪开发者不必逐个研究差别芯片，，，，，，只需很少的代码，，，，，，就能把模子安排到手机、电脑和智能装备上。。。与大多面向古板处理器的开源项目差别，，，，，，Nexa 很早就把重心押在 NPU 上，，，，，，直接针对芯片特征优化模子，，，，，，并把行业数周甚至数月的适配周期压缩到了当天：模子一宣布，，，，，，开发者就能在装备上跑起来。。。 去年 8 月，，，，，，Nexa 把"NPU First"确立为产品重点后，，，，，，很快被高通的开发者关系团队注重到，，，，，，随后被一直引荐给内部的手艺、创投和治理团队。。。一位高通 VP 亲自深度试用产品后发明，，，，，，Nexa 的方案在模子运行速率、效果和支持新模子的速率上，，，，，，做出了比高通现有方案更好的效果。。。 端侧 AI 现在究竟生长到哪一步？？？？？NPU First 解决的事实是什么问题？？？？？一家已经形成开发者影响力的创业公司，，，，，，为什么以为加入芯片平台是更好的路径？？？？？ Alex：我们一直在做 on-device AI，，，，，，也有自己的开源项目 Nexa SDK。。。高通在已往很长一段时间里，，，，，，都把端侧 AI 作为焦点战略。。。相比之下，，，，，，英伟达、AMD 等芯片公司的绝对重点照旧云端 AI。。。 我们约莫从 2024 年 10 月最先关注高通。。。其时我们在为 Nexa SDK 找客户，，，，，，发明许多需要端侧 AI 的客户使用的是高通芯片。。。但高通芯片不像英伟达那样有很是成熟的 CUDA 框架，，，，，，要在上面安排模子仍然较量难题。。。以是我们投入了许多精神，，，，，，研究怎么把模子安排到高通芯片上。。。 一最先，，，，，，我们和高通内部没有任何正式联系。。。到 2025 年 8 月，，，，，，我们对产品做了一次很主要的升级，，，，，，把 NPU 推理作为重点。。。由于其时已经有许多装备配备 NPU，，，，，，但 NPU 的推理逻辑与 GPU 差别，，，，，，软件生态也不睬想。。。我们以为这是创业公司的时机。。。 产品宣布后，，，，，，很快引起了高通两位同事的注重。。。其中一位主要认真相助同伴和开发者关系。。。他一直把我们先容给高通内部的差别团队，，，，，，美彩国际项目厥后也经常泛起在高通的官方账号上，，，，，，他们还为我们写了不少博客。。。整个历程逐渐引起了治理层的关注，，，，，，最后走到收购，，，，，，我以为是水到渠成。。。 Alex：由于美彩国际软件是开源的，，，，，，所有人都可以直接试用。。。厥后，，，，，，高通认真开发者关系的认真人把我们先容给了 Qualcomm Ventures 团队。。。Ventures 的投资人体验过产品后以为很有意思，，，，，，又把我们推荐给了一位认真相关营业的 VP，，，，，，之后我们也向高通的一位 EVP 先容了整个项目。。。 这位 VP 自己深度试用了美彩国际产品。。。他发明，，，，，，无论是在性能照旧模子质量上，，，，，，我们相比高通其时已有的方案都有一定优势。。。除此之外，，，，，，尚有一点让他们印象特殊深刻：我们支持新模子的速率很是？？？？臁！！ 凭证其时行业里的常见节奏，，，，，，一款新模子宣布后，，，，，，从完成适配到在特定芯片上稳固运行，，，，，，往往需要两三个月时间。。。我们其时基本已经做到了“Day-0 Support”，，，，，，也就是模子宣布当天，，，，，，就能够在软件框架里完成支持。。。 关于开发者来说，，，，，，这意味着可以第一时间使用最新模子；；而关于芯片厂商来说，，，，，，它的意义更大。。。由于越早证实自己的芯片能够支持最新模子，，，，，，就越能向手机、PC 等 OEM 客户展示平台能力。。。在许多情形下，，，，，，这不但关系到手艺竞争力，，，，，，也会直接影响后续的客户相助和采购决议。。。 第二，，，，，，我们已经形成了不错的用户群体和开发者生态。。。Nexa SDK 在 GitHub 有靠近 8,000 个 Star，，，，，，也上过 GitHub Trending 第一，，，，，，在 Product Hunt 拿到过第一名。。。在 on-device AI 这个相对小的社区里，，，，，，我们已经有一定着名度。。。 好比大部分智能手机照相时，，，，，，从按下快门到最终天生图片，，，，，，中心会有二十多个小型 AI 模子对图像举行处理。。。我们现在用 Teams 视频聚会，，，，，，摄像头捕获到的像素和最终泛起的画面之间，，，，，，也有 AI 模子实时处理。。。若是放到云端再传回来，，，，，，很难做到这么快。。。 天生式 AI 方面，，，，，，许多手机 OEM 都在推动外地模子。。。苹果已经最先使用，，，，，，但效果可能还没有抵达各人想象中“特殊好用”的状态，，，，，，还需要一些时间。。。 不过，，，，，，硬件正在快速变好。。。终端算力和内存能力每年都在快速迭代，，，，，，这意味着装备可以支持越来越大的模子；；与此同时，，，，，，相同尺寸的模子自己也在一直变强。。。这两个因素会配合推动端侧 AI 能处理的问题越来越多。。。 现在，，，，，，外地模子已经可以处理功效挪用、文本信息提取等使命。。。好比从一份很长的文本里提守信息，，，，，，若是外地模子可以完成，，，，，，速率很快，，，，，，边际本钱也险些为零。。。若是所有挪用云端大模子，，，，，，使命自己虽然简朴，，，，，，却会消耗大宗 Token。。。 CPU 需要处理操作系统和种种通用盘算；；GPU 可以同时举行大宗线程盘算，，，，，，因此很适合 AI。。。NPU 更进一步，，，，，，它在设计时就去掉了许多 AI 推理不需要的通用能力，，，，，，并重点优化整数等模子推理常用的数据类型。。。 正由于它更专用，，，，，，NPU 在支持新模子和软件生态上，，，，，，反而不如 CPU 和 GPU 成熟。。。高通的大部分芯片同时有 CPU、GPU 和 NPU。。。我们提出 NPU First，，，，，，是由于我们以为 NPU 是当下最迫切需要解决的部分，，，，，，并且一旦解决，，，，，，价值也最大。。。 Alex：最大的壁垒，，，，，，是我们对 NPU 硬件有较量深入的明确，，，，，，并从软件层面举行了 hardware-aware software design。。。也就是软件设计从一最先就明确硬件的特征，，，，，，因此可以同时在速率和模子质量上取得优势。。。 发票里可能包括隐私信息，，，，，，Agent 还需要控制外地电脑、操作报销系统。。。类似这种涉及敏感数据和外地操作权限的使命，，，，，，就适适用外地模子完成。。。现在它已经可以正常事情，，，，，，只是速率还不如云端，，，，，，但会一连提升。。。 端侧真正节约的是信息往返传输的延迟。。。以是，，，，，，那些模子自己盘算量不大、但对实时性要求很高的使命，，，，，，尤其适合放在外地。。。好比视频聚会的画面处理险些需要瞬时完成，，，，，，若是把图像传到云端处理再传回来，，，，，，速率会慢许多。。。 若是把某个模子在某款芯片上的端侧安排做得足够好，，，，，，它可以极大增进这款芯片的销售。。。以是，，，，，，最终的商业模式着实是卖芯片，，，，，，真正的付用度户主要是手机、电脑等装备的 OEM 厂商。。。 端侧 AI 手艺与某一款芯片深度整合后，，，，，，可以爆发很好的商业价值；；但端侧 AI 软件自己若是单独变现，，，，，，碰面临难以 scale 等问题。。。最后，，，，，，我们是基于端侧 AI 的商业名堂做出了加入高通的决议。。。 Alex：最主要的目的，，，，，，是让 GenieX 笼罩绝大部分、甚至险些所有 Qualcomm 芯片的开发者，，，，，，让他们在自己的事情流里使用这款 SDK。。。焦点仍然是推广产品，，，，，，并凭证开发者反馈一连迭代。。。 加入高通后，，，，，，我们可以越发专注，，，，，，只关注一套芯片平台。。。需要顺应的是与更多部分相助，，，，，，以及更规范的产品宣布流程。。。产品也要更详细地思量高通芯片的用户。。。 以前，，，，，，我们做研发的同时，，，，，，还需要分出大宗精神做产品推广、相助和增添。。。现在高通有成熟的 marketing 和 developer marketing 团队资助我们，，，，，，关于我们两位首创人来说，，，，，，也重新回到了最喜欢的状态：专注于产品和手艺开发。。。