现实上，，，手机、电脑和智能硬件的芯片各不相同，，，统一个模子换一台装备，，，往往就要重新适配
。。
。。？
？？？？？⒄卟坏盟芷鹄矗，，还要解决速率、耗电和稳固性问题
。。
。。。 在云端，，，这套事情已经有成熟的工具
。。
。。。可是在终端装备，，，尤其是新一代装备里专门处理 AI 使命的盘算单位（NPU）上，，，工具险些是空缺：一个新模子宣布后，，，经常需要数周甚至数月的适配
。。
。。。 2023 年，，，斯坦福校友 Alex Chen 和 Zack Li 开办 Nexa AI，，，做了一套开源工具 Nexa SDK，，，闪开发者不必逐个研究差别芯片，，，只需很少的代码，，，就能把模子安排到手机、电脑和智能装备上
。。
。。。与大多面向古板处理器的开源项目差别，，，Nexa 很早就把重心押在 NPU 上，，，直接针对芯片特征优化模子，，，并把行业数周甚至数月的适配周期压缩到了当天：模子一宣布，，，开发者就能在装备上跑起来
。。
。。。 去年 8 月，，，Nexa 把"NPU First"确立为产品重点后，，，很快被高通的开发者关系团队注重到，，，随后被一直引荐给内部的手艺、创投和治理团队
。。
。。。一位高通 VP 亲自深度试用产品后发明，，，Nexa 的方案在模子运行速率、效果和支持新模子的速率上，，，做出了比高通现有方案更好的效果
。。
。。。 端侧 AI 现在究竟生长到哪一步？
？？？？？NPU First 解决的事实是什么问题？
？？？？？一家已经形成开发者影响力的创业公司，，，为什么以为加入芯片平台是更好的路径？
？？？？？ Alex：我们一直在做 on-device AI，，，也有自己的开源项目 Nexa SDK
。。
。。。高通在已往很长一段时间里，，，都把端侧 AI 作为焦点战略
。。
。。。相比之下，，，英伟达、AMD 等芯片公司的绝对重点照旧云端 AI
。。
。。。 我们约莫从 2024 年 10 月最先关注高通
。。
。。。其时我们在为 Nexa SDK 找客户，，，发明许多需要端侧 AI 的客户使用的是高通芯片
。。
。。。但高通芯片不像英伟达那样有很是成熟的 CUDA 框架，，，要在上面安排模子仍然较量难题
。。
。。。以是我们投入了许多精神，，，研究怎么把模子安排到高通芯片上
。。
。。。 一最先，，，我们和高通内部没有任何正式联系
。。
。。。到 2025 年 8 月，，，我们对产品做了一次很主要的升级，，，把 NPU 推理作为重点
。。
。。。由于其时已经有许多装备配备 NPU，，，但 NPU 的推理逻辑与 GPU 差别，，，软件生态也不睬想
。。
。。。我们以为这是创业公司的时机
。。
。。。 产品宣布后，，，很快引起了高通两位同事的注重
。。
。。。其中一位主要认真相助同伴和开发者关系
。。
。。。他一直把我们先容给高通内部的差别团队，，，美彩国际项目厥后也经常泛起在高通的官方账号上，，，他们还为我们写了不少博客
。。
。。。整个历程逐渐引起了治理层的关注，，，最后走到收购，，，我以为是水到渠成
。。
。。。 Alex：由于美彩国际软件是开源的，，，所有人都可以直接试用
。。
。。。厥后，，，高通认真开发者关系的认真人把我们先容给了 Qualcomm Ventures 团队
。。
。。。Ventures 的投资人体验过产品后以为很有意思，，，又把我们推荐给了一位认真相关营业的 VP，，，之后我们也向高通的一位 EVP 先容了整个项目
。。
。。。 这位 VP 自己深度试用了美彩国际产品
。。
。。。他发明，，，无论是在性能照旧模子质量上，，，我们相比高通其时已有的方案都有一定优势
。。
。。。除此之外，，，尚有一点让他们印象特殊深刻：我们支持新模子的速率非？
？？？？？
。。
。。。 凭证其时行业里的常见节奏，，，一款新模子宣布后，，，从完成适配到在特定芯片上稳固运行，，，往往需要两三个月时间
。。
。。。我们其时基本已经做到了“Day-0 Support”，，，也就是模子宣布当天，，，就能够在软件框架里完成支持
。。
。。。 关于开发者来说，，，这意味着可以第一时间使用最新模子；；；
；而关于芯片厂商来说，，，它的意义更大
。。
。。。由于越早证实自己的芯片能够支持最新模子，，，就越能向手机、PC 等 OEM 客户展示平台能力
。。
。。。在许多情形下，，，这不但关系到手艺竞争力，，，也会直接影响后续的客户相助和采购决议
。。
。。。 第二，，，我们已经形成了不错的用户群体和开发者生态
。。
。。。Nexa SDK 在 GitHub 有靠近 8,000 个 Star，，，也上过 GitHub Trending 第一，，，在 Product Hunt 拿到过第一名
。。
。。。在 on-device AI 这个相对小的社区里，，，我们已经有一定着名度
。。
。。。 好比大部分智能手机照相时，，，从按下快门到最终天生图片，，，中心会有二十多个小型 AI 模子对图像举行处理
。。
。。。我们现在用 Teams 视频聚会，，，摄像头捕获到的像素和最终泛起的画面之间，，，也有 AI 模子实时处理
。。
。。。若是放到云端再传回来，，，很难做到这么快
。。
。。。 天生式 AI 方面，，，许多手机 OEM 都在推动外地模子
。。
。。。苹果已经最先使用，，，但效果可能还没有抵达各人想象中“特殊好用”的状态，，，还需要一些时间
。。
。。。 不过，，，硬件正在快速变好
。。
。。。终端算力和内存能力每年都在快速迭代，，，这意味着装备可以支持越来越大的模子；；；
；与此同时，，，相同尺寸的模子自己也在一直变强
。。
。。。这两个因素会配合推动端侧 AI 能处理的问题越来越多
。。
。。。 现在，，，外地模子已经可以处理功效挪用、文本信息提取等使命
。。
。。。好比从一份很长的文本里提守信息，，，若是外地模子可以完成，，，速率很快，，，边际本钱也险些为零
。。
。。。若是所有挪用云端大模子，，，使命自己虽然简朴，，，却会消耗大宗 Token
。。
。。。 CPU 需要处理操作系统和种种通用盘算；；；
；GPU 可以同时举行大宗线程盘算，，，因此很适合 AI
。。
。。。NPU 更进一步，，，它在设计时就去掉了许多 AI 推理不需要的通用能力，，，并重点优化整数等模子推理常用的数据类型
。。
。。。 正由于它更专用，，，NPU 在支持新模子和软件生态上，，，反而不如 CPU 和 GPU 成熟
。。
。。。高通的大部分芯片同时有 CPU、GPU 和 NPU
。。
。。。我们提出 NPU First，，，是由于我们以为 NPU 是当下最迫切需要解决的部分，，，并且一旦解决，，，价值也最大
。。
。。。 Alex：最大的壁垒，，，是我们对 NPU 硬件有较量深入的明确，，，并从软件层面举行了 hardware-aware software design
。。
。。。也就是软件设计从一最先就明确硬件的特征，，，因此可以同时在速率和模子质量上取得优势
。。
。。。 发票里可能包括隐私信息，，，Agent 还需要控制外地电脑、操作报销系统
。。
。。。类似这种涉及敏感数据和外地操作权限的使命，，，就适适用外地模子完成
。。
。。。现在它已经可以正常事情，，，只是速率还不如云端，，，但会一连提升
。。
。。。 端侧真正节约的是信息往返传输的延迟
。。
。。。以是，，，那些模子自己盘算量不大、但对实时性要求很高的使命，，，尤其适合放在外地
。。
。。。好比视频聚会的画面处理险些需要瞬时完成，，，若是把图像传到云端处理再传回来，，，速率会慢许多
。。
。。。 若是把某个模子在某款芯片上的端侧安排做得足够好，，，它可以极大增进这款芯片的销售
。。
。。。以是，，，最终的商业模式着实是卖芯片，，，真正的付用度户主要是手机、电脑等装备的 OEM 厂商
。。
。。。 端侧 AI 手艺与某一款芯片深度整合后，，，可以爆发很好的商业价值；；；
；但端侧 AI 软件自己若是单独变现，，，碰面临难以 scale 等问题
。。
。。。最后，，，我们是基于端侧 AI 的商业名堂做出了加入高通的决议
。。
。。。 Alex：最主要的目的，，，是让 GenieX 笼罩绝大部分、甚至险些所有 Qualcomm 芯片的开发者，，，让他们在自己的事情流里使用这款 SDK
。。
。。。焦点仍然是推广产品，，，并凭证开发者反馈一连迭代
。。
。。。 加入高通后，，，我们可以越发专注，，，只关注一套芯片平台
。。
。。。需要顺应的是与更多部分相助，，，以及更规范的产品宣布流程
。。
。。。产品也要更详细地思量高通芯片的用户
。。
。。。 以前，，，我们做研发的同时，，，还需要分出大宗精神做产品推广、相助和增添
。。
。。。现在高通有成熟的 marketing 和 developer marketing 团队资助我们，，，关于我们两位首创人来说，，，也重新回到了最喜欢的状态：专注于产品和手艺开发
。。
。。。