ICML 的全称是国际机械学习大会，，，，，，从 1980 年办到今天，，，，，，和 NeurIPS、ICLR 并称 AI 界的三大顶会。。全天下 AI 研究的最新希望，，，，，，大多要先在这三个会上露面，，，，，，接受偕行的审阅。。 今年的聚会办在韩国首尔，，，，，，全球 AI 的要害玩家，，，，，，难堪凑得这么齐。。不必像去美国那样有签证的贫困，，，，，，中国 AI 界这次来了泰半，，，，，，主要的大模子团队险些都有人在场。。今年 OpenAI 第一次设了自力展台，，，，，，Google DeepMind 一家就来了上百人，，，，，，欧洲的 Mistral 也派了人。。 每年的 ICML，，，，，，年轻 researcher 扎堆，，，，，，向来是各大厂抢人的主要场合。。英伟达、亚马逊、Meta，，，，，，海内的阿里、快手、字节、腾讯，，，，，，照例都设了 HR 专。；；；；；连 Jane Street、Citadel 这些量化机构，，，，，，也专程来抢统一批人。。 最戏剧性的交锋爆发在 OpenAI 与 Anthropic 之间。。OpenAI 不但安排了许多分享，，，，，，还请来歌手金请夏演出。。我在 X 上刷到，，，，，，有受邀嘉宾由于想看 K-Pop，，，，，，放弃了 Anthropic 的晚宴约请，，，，，，去了 OpenAI 的活动。。 Anthropic 的研究员对此回应：“我们约请他们加入招聘晚宴，，，，，，那是一种特权。。若是他们由于 K-Pop 而选择了 OpenAI 的活动，，，，，，那他们对 AGI 就不敷认真，，，，，，可能也不适合美彩国际文化。。” 我们也和被投企业 Aureka 一起，，，，，，组了一场 AI4S 的 after party，，，，，，请来了韩国女团 Kiss of Life。。这个女团我真的没听过，，，，，，我只能感受到 4 个团员，，，，，，都 1 对 1 的有 BlackPink 的影子。。神奇的是加入的 Anthropic researcher 和教授，，，，，，不少都能叫得出这个女团的名字甚至作品。。 最终这场 party，，，，，，成为了 ICML 第一天全城最火的 party，，，，，，报名人数竟然凌驾了两千人，，，，，，这个数字险些抵得上已往一届 ICML 的总参会人数，，，，，，可见这次大会的火爆水平。。 但喧嚣背后，，，，，，我发明尚有一层底色：渺茫。。AI 行业的 “强者恒强”，，，，，，在今天已经到了夸张的田地。。这几天我见的许多朋侪，，，，，，都提到了 “饱的饱死，，，，，，饿的饿死”。。 各人都想着别落伍，，，，，，拼命追赶，，，，，，但也没找到特殊好的步伐。。初心是星辰大海，，，，，，可摆在眼前的选择是：要不要先搞数据，，，，，，先做那些马上能换到钱的工具？？？？？许多人都卡在这道坎上，，，，，，很是 struggle。。 他们说我知道我的运气，，，，，，最后会是被模子公司吃掉，，，，，，只是不知道什么时间。。那我现在疯狂立异、做产品、积累用户 context，，，，，，着实可以明确为一个 long horizon 的数据公司。。等模子公司吃过来的那一天来了，，，，，，我就从产品公司转型成数据公司，，，，，，把手里的工具一卖，，，，，，“这可能就是我的宿命”。。 我着实也挺感伤的，，，，，，在模子越来越强盛的今天，，，，，，许多看似不错的工具，，，，，，效果证实都不可。。各人从最初想倾覆模子公司，，，，，，逐步转成了接受这样的宿命。。 字节内部有一个测模子自进化能力的 benchmark，，，，，，现在完整跑一次要 1000 小时上下，，，，，，破费 50-100 万美金。。这意味着两件事：能拉开差别的问题已经这么难，，，，，，说明模子的起点有多高；；；；；测得起的玩家，，，，，，一只手数得过来。。 同样的事也爆发在模子训练上。。今天模子进化的主流要领是强化学习（RL）：让模子做题，，，，，，做完给一个分数（reward），，，，，，做对了勉励，，，，，，做错了处分，，，，，，循环往复。。早期的问题短，，，，，，谜底明确，，，，，，好比写一段代码，，，，，，跑一下就知道对差池，，，，，，训练飞快。。 但随着模子越来越强，，，，，，问题也必需随着变长、变难、变开放。。长到什么水平？？？？？就像下两个小时的棋，，，，，，终局才告诉你赢没赢，，，，，，中心几百步哪一步下错了，，，，，，没人知道。。OpenAI 的首席研究官 Mark Chen 在 ICML 分享，，，，，，一年前他们还雇人给模子出题，，，，，，现在 “若是 PhD 说模子错了，，，，，，往往是 PhD 错了”。。 放眼全行业，，，，，，最优质的两个 “练功房”，，，，，，一是芯片 EDA 设计（让 AI 设计电路，，，，，，性能一跑就出效果），，，，，，和 kernel 算子优化（让 AI 优化底层盘算指令，，，，，，速率一测便知）。。各人做模子自进化，，，，，，上来都喜欢拿这两个场景练手。。 在我们首尔办的五源信号站活动上，，，，，，有朋侪分享了一个更实验性的思绪：让 AI 自己跟自己对练（self-play），，，，，，来制造训练情形。。好比找一个现成的软件项目，，，，，，让一个 AI 往内里注入过失代码（出题者），，，，，，另一个 AI 来修（解题者），，，，，，再来一个 AI 当裁判打分。。修得快就提升问题的难度，，，，，，修不出来的失败纪录，，，，，，也留着做训练数据。。 这让我想起做自动驾驶那些年。。在接受率是 5 公里一次的时间，，，，，，一辆车一天就能攒出 20 个问题，，，，，，修都修不过来；；；；；到了 1 万公里一次接受，，，，，，一百辆车跑一整天，，，，，，才碰上一个问题；；；；；再往上，，，，，，要想测出一个新问题，，，，，，需要上万辆车，，，，，，这个测试车队规模比运营车队还大，，，，，，本钱就贵得离谱了。。 以是自动驾驶做到某一步，，，，，，好比比人类司机平均水平要好，，，，，，迭代就不可主要依赖在测试情形中做了，，，，，，就要在大几个数目级的运营情形中，，，，，，去网络反馈了。。 以前做数据，，，，，，很主要的能力是做人力外包，，，，，，看的是运营通俗人做高质量标注的能力。。今天做数据卖给模子公司的 researcher，，，，，，有点像一级市场里的 FA。。 许多 FA 也是投资人身世，，，，，，做投资未必最顶尖，，，，，，但他很是清晰投资人想要什么，，，，，，甚至能指导投资人的偏好和 FOMO 情绪，，，，，，提前把 “货” 备好等着接 FOMO。。 许大都据公司的认真人，，，，，，自己往往就是很有品味的 researcher，，，，，，他能预判下一代模子缺什么能力，，，，，，先造出让现有模子刷欠好的 benchmark，，，，，，再把补课的数据卖给他们。。 这届首尔 ICML，，，，，，北美前沿实验室来的华人面目着实未几，，，，，，一位研究员替缺席的同事诠释：许多在 OpenAI、Anthropic 事情的中国研究员，，，，，，还没拿到绿卡，，，，，，由于签证问题，，，，，，若是出一次境，，，，，，可能就回不去了：“他们可以正外地待在 ‘屋子’ 里，，，，，，但没有钥匙。。若是你出去了，，，，，，门就自动关了，，，，，，你可能就回不来了。。” 不过令人焦虑的是，，，，，，一位朋侪掰着指头给我数，，，，，，外洋前沿实验室这几年的卡量（GPU）：从 1 万张、5 万张，，，，，，到 25 万张、100 万张，，，，，，差未几是一年翻五倍的速率。。 到今年年底，，，，，，头部实验室的算力，，，，，，预计到 5-6 百万张等效 H100（新一代卡，，，，，，一张顶已往几张，，，，，，现实卡数没这么多，，，，，，但换算成算力是这个量级）。。 海内要维持和外洋 “只差十倍” 的水平，，，，，，十倍已经是一个挺大的差别，，，，，，但至少还在统一个赛道上，，，，，，还能用效率和工程立异填补一部分。。要想匹配竞争速率，，，，，，倒推下来，，，，，，今年年底就需要有 100 万张，，，，，，而这个数字并禁止易。。 更主要的是，，，，，，今天看起来还很靠近的游戏，，，，，，明后年这个追赶的窗口，，，，，，也许正在关上。。今天花 3-6 个月就能追上，，，，，，由于前沿还没快到完全追不上。。 但差别一旦拉大到一定水平，，，，，，追赶所需的时间会急剧膨胀：今天中美算力差别约莫 10 倍，，，，，，若是双方坚持各自现在的增速，，，，，，两年后可能又是另一个数目级的差别，，，，，，那时再想追，，，，，，就不是以月计，，，，，，而是以年计了。。 卡在市场上依然紧俏，，，，，，但买到卡，，，，，，不即是马上能开机，，，，，，当下美国电网只够安排其中一半到三分之二，，，，，，剩下的要排队等电。。微软 CEO 纳德拉去年 11 月就果真认可：“我手里有一堆芯片躺在库存里，，，，，，插不上电。。” 我还听到一个更激进的说法：到某个时点，，，，，，中国将可以拿电力优势补算力劣势，，，，，，也就是说若是有足够多的卡（哪怕落伍一代），，，，，，但中国的电力是富余的，，，，，，可以所有跑满，，，，，，把多余的电酿成特另外 token 输出；；；；；而美国即便有更多更新的卡，，，，，，也会被电力卡。。，，，，不可所有安排。。 不管缺卡照旧缺电，，，，，，有一样工具所有人都缺。。OpenAI 的 Mark Chen 被问到存储，，，，，，他确认 HBM 是供应链的要害瓶颈，，，，，，还说 Sam 早在五六年前就看到了，，，，，，提前锁了相助，，，，，，SK 海力士和三星正在拼命扩产。。 JP Morgan 算了一笔账：未来三年，，，，，，SK 海力士和三星的预期净利润，，，，，，是韩国所有政府债务的 1.4 倍，，，，，，也就是说这两家公司的预期利润，，，，，，就能完全笼罩所有政府债务尚有余。。即便只看这两家公司三年预计缴的税，，，，，，也已笼罩政府债务的四成，，，，，，靠近韩国所有外汇储备的八成。。 JP Morgan：未来三年，，，，，，三星与 SK 海力士为韩国政府孝顺的直接税收规模，，，，，，有望轻松突破 3500 亿美元；；；；；若再叠加员工奖金对应的个人所得税，，，，，，税收总额将更高。。作为参照：韩外洋汇储备总额为 4270 亿美元，，，，，，政府所有债务规模约 1 万亿美元 存储芯片这个行业，，，，，，四十年来一直被统一个剧本支配：涨两年，，，，，，崩一次。。昌盛期赚到的每一分钱，，，，，，都会酿成新产线，，，，，，等新产能落地，，，，，，需求的峰值往往已经已往，，，，，，价钱就又应声跳水。。 已往三十年，，，，，，这样的循环约莫四年一轮，，，，，，每一轮都镌汰一批玩家：九十年月，，，，，，全球做 DRAM 的公司尚有二十多家；；；；；好几轮周期下来，，，，，，牌桌上只剩三个名字：三星、SK 海力士、美光。。 存储行业多年来遵照四年一轮的周期，，，，，，周而复始。。？？？？炊嗟娜艘晕獯畏灼缪〈娲⒁丫右痪闹芷谛孕幸担，，，，由于 AI 而酿成了一个结构性增添的行业。。 这个逻辑，，，，，，是支持存储行业近 1 年暴涨的焦点，，，，，，三星、SK 海力士、美光、闪迪这些公司的估值框架，，，，，，从 “周期股” 切换到 “生长股”，，，，，，哪怕是利润不增添，，，，，，股价也能翻几倍，，，，，，PE 从个位数切换到双位数。。 SemiAnalysis 把这轮欠缺界说为 “四十年一遇”。。而扩产自己的时间标准，，，，，，就决议了欠缺不会很快竣事：建一座新的晶圆厂需要三年，，，，，，HBM 比通俗 DRAM 多占两倍产能，，，，，，扩产反而在加剧欠缺。。 一位 SemiAnalysis 的存储剖析师还告诉我，，，，，，即便算上在建产能，，，，，，2027 年的欠缺反而会比今年更严重，，，，，，“更缺两倍”。。由于明年大宗 AI 新芯片上线，，，，，，原本给手机和条记本的内存产能会被大规模抽走。。业内的判断是：27 年是最主要的一年，，，，，，28 年才可能缓解。。 韩国是这场欠缺的最大赢家。。HBM 的主要产能握在 SK 海力士和三星手里。。即便最近韩国股市动荡，，，，，，但它依然是今年全球体现最好的股市，，，，，，而这轮涨幅的泰半，，，，，，就是这两家抬起来的。。 我从朋侪口中，，，，，，也听到了许多神奇征象：SK 海力士的员工，，，，，，在相亲时都不敢说自己在海力士事情，，，，，，若是发明对方不拜金，，，，，，才敢说真话。。确实，，，，，，SK 海力士在 2025 年的人均年终奖高达 9 万美元，，，，，，创历史纪录，，，，，，而 2026 年利润比 2025 年还高，，，，，，奖金只会更多。。 韩国险些全民都在炒股。。散户今年在股市上的净买入，，，，，，靠近 83% 流向了三星或 SK 海力士。。不少老人兑现人寿保单、动用退休储备买芯片股。。韩国社会里有一种 FOMO 情绪，，，，，，也许你什么都没做错，，，，，，人为照发，，，，，，存款还在，，，，，，只由于没买这两支股票，，，，，，效果身边人全富了，，，，，，你就成了穷人。。这种 FOMO 情绪爆发于上一轮房价疯涨，，，，，，现在在 AI 行情里又重新泛起。。 经济学家管这叫 K 型分化：一条腿飞上天，，，，，，一条腿往下坠。。韩国人均月薪不到 3000 美元，，，，，，芯片部分一个人的奖金，，，，，，顶通俗人十年人为。。有政府官员提议，，，，，，拿 AI 受益企业的税收，，，，，，来发 “国民盈利”，，，，，，把一部分逾额利润分给其他劳动者，，，，，，“这是维护整个系统稳固的须要本钱”。。帖子厥后删了，，，，，，但话题留下了。。 可即即是 K 型分化飞上天的那部分，，，，，，最近也在强烈波动。。ICML 竣事后的周一早上，，，，，，一份券商报告展望 SK 海力士二季度营业利润同比暴增 556%。。这是一个惊人的数字，，，，，，放在任何行业都是。。 但股价当天跌了凌驾 10%。。原因很简朴：市场原本的预期比这个数字还要高，，，，，，关于存储行业，，，，，，利润详细涨了几多已经没人在乎，，，，，，只问有没有凌驾预期。。 Morgan Stanley 提醒，，，，，，这已是 ChatGPT 问世以来，，，，，，存储股的第三次大回调，，，，，，前两次都没打断周期。。随着行业转向三到五年的长约结构，，，，，，券商们最先重新思索估值框架：从 “这个季度价钱又涨了几多”，，，，，，换成 “这样的利润率能扛几年”。。短期的暴涨暴跌，，，，，，可能只是长周期里的噪声。。我也有朋侪今年重仓了芯片股，，，，，，这周的暴跌没吓倒他：“周期还没有竣事。。” 这轮 AI 厘革肯定远没有竣事，，，，，，但这场超等周期里，，，，，，走着三个时钟：模子按月迭代，，，，，，资源按季重估，，，，，，晶圆厂按年建设，，，，，，最终市场会被走得最慢的那只时钟校准。。 一篇 MIT 的 Fan Chen 做得偏理论，，，，，，讲 diffusion 的采样率提升（速率变快）的要领论，，，，，，这篇我没太读懂。。另一篇出自清华黄高团队，，，，，，问题里的重点是 The Flexibility Trap（无邪性陷阱）。。 Diffusion LLM 是一类和主流大模子蹊径差别的天生要领。。主流模子从左往右一个字一个字写，，，，，，diffusion LLM 可以打乱顺序，，，，，，那里有掌握先写那里，，，，，，听上去自由度更高。。 推理需要在要害节点做选择，，，，，，自由的模子，，，，，，倾向于绕开最难的选择、先填简朴的部分，，，，，，等转头再补时，，，，，，发明已经没有选择余地了。。 简朴说就是，，，，，，恒久来看，，，，，，最有用的要领永远是最通用、最粗暴的那一个：通过更大规模的 search + learning 的要领，，，，，，击败一切靠人类知识 hardcode 进去的要领。。行业有时间会简朴粗暴地简化成 scaling vs 雕花技巧。。那些针对详细问题的精巧技巧，，，，，，短期管用，，，，，，一旦 scaling 重启，，，，，，就会被扔掉。。 Scaling 不是一种完整的解决方案，，，，，，而是一种复利机制。。它会镌汰不可复利的人工技巧，，，，，，却永远依赖新的算法立异，，，，，，来重新界说什么工具可以复利。。 每次撞墙，，，，，，正是那些 “没用的” insight 和技巧，，，，，，把我们从死胡同里救出来。。等 scaling 找到突破口重新跑起来，，，，，，这些救命的工具又被扬弃，，，，，，直到下一次撞墙，，，，，，周而复始。。 Diffusion LLM 获奖，，，，，，可能正处在这个循环的某一个节点上：学术界在打磨它，，，，，，工业界暂时不需要它，，，，，，但没人知道下一次 scaling 撞墙的时间，，，，，，会不会正好需要它。。 虽然，，，，，，这是要领论层面的老问题。。但这届大会，，，，，，尚有一个更现实的新问题让我担心：学术界证实 “有用” 的效果，，，，，，放到工业界的标准上，，，，，，往往不再建设。。 以前，，，，，，学术界在 7B 这种 “小” 模子上做实验，，，，，，看到一个 idea 有用果，，，，，，哪怕只是起源的苗头，，，，，，就够发一篇论文了。。工业界也买账：你在小模子上看到了信号，，，，，，我愿意花更大的价钱，，，，，，试试能不可放大。。 1000 个 idea 在 7B 模子上能跑通，，，，，，但扩大到 100B，，，，，，可能只剩十个。。这个镌汰率，，，，，，对投资是致命的。。我们看过许多项目，，，，，，严酷说是在投资一篇论文，，，，，，idea 很漂亮，，，，，，但还没到能长成商业的水平。。 以是在 ICML 竣事的那晚，，，，，，我从 COEX 会场走回旅馆的路上，，，，，，认真嫌疑了一下自己：这些年，，，，，，我是不是犯过一类过失，，，，，，太过喜欢一件事的新颖，，，，，，喜欢它的巧。。 但做投资的人，，，，，，得时刻提醒自己：别活成一个审稿人。。审稿人评价 paper，，，，，，看的是它新不新、好欠好、能不可被许多人引用；；；；；投资人要判断的是另一件事：这个工具在真实天下里能不可长大，，，，，，能不可酿成商业。。 组委会在投稿论文的 PDF 里，，，，，，埋了人类看不见的提醒词，，，，，，充当诱饵。。审稿人若是偷懒，，，，，，把论文直接丢给 AI 写审稿意见，，，，，，AI 就会把那段切口，，，，，，原样带进评语里。。 ICML 的处分很重。。这些审稿人，，，，，，很大一部分原来就是投稿论文的作者。。一旦你作为评委，，，，，，被抓到用 AI 写评语，，，，，，那你自己投的那篇论文，，，，，，也会随着被拒。。最终，，，，，，506 名审稿人被识别出违规，，，，，，其中 398 人同时也是投稿作者，，，，，，他们的 497 篇论文被就地拒稿，，，，，，约占所有投稿量的 2%。。 在 ICML 会场里泡了几天，，，，，，突然以为这个会自己，，，，，，很像一个重大的 Transformer。。每篇论文是一个 token，，，，，，每个人也是一个 token，，，，，，两万多个 token 挤在统一个 context 里，，，，，，相互争取 attention。。 今年投稿数目险些翻倍，，，，，，明年或许率还会继续增添。。模子可以一直扩展 context window，，，，，，人类的 attention budget 却基本是牢靠的。。再这样下去，，，，，，ICML 最先遇到的可能不是算力瓶颈，，，，，，而是人类版的 KV cache overflow。。 对作者来说，，，，，，规则在某种水平上也变了：以前把研究做好就行，，，，，，现在还得学会吸引注重力，，，，，，要想步伐把别人的 attention 诱导到自己身上。。 过载的症状随处可见。。一位终年参会的 researcher 说，，，，，，今年他连门票都没抢到；；；；；猎头和 HR 在走廊里扫楼，，，，，，他收到的私信大多来自对冲基金。。 在论文数目大爆炸的时代，，，，，，今天各人怎么找值得看的论文？？？？？大大都 researcher 都回归了最原始的要领：先识别厉害的人，，，，，，直接看他们写的工具，，，，，，而不是盯着 arXiv（全球最大的学术论文网站）。。 今天的学术系统，，，，，，每一个环节都是为人的能力而量身定制的。。研究的主体是人，，，，，，人靠读论文吸收前人履历，，，，，，由于人需要用文字来总结知识的结晶；；；；；试错历程保密，，，，，，最后只把走通的那条路写成论文果真；；；；；评价交给偕行评审。。 但若是把这个历程 AI 化，，，，，，AI 不需要读论文，，，，，，论文只是给人看的界面，，，，，，AI 要的是界面背后的一切：头脑链、试错轨迹、失败路径、原始数据、能直接跑起来的实验情形。。 今天若是你想把 A 论文的要领，，，，，，和 B 论文的要领连系在一起，，，，，，得靠人去读懂两篇，，，，，，再手动设计缝合。。AI 时代应该是模？？？？榛床澹，，，，条件是所有研究效果都留好接口，，，，，，可组合、可排列。。 换成 AI 做评审，，，，，，权重可以随便配，，，，，，你想要学术新颖性，，，，，，就给新颖性加权；；；；；想要工业可用性，，，，，，就给可用性加权。。两套价值第一次有可能在统一个系统里合流。。 这可能是我在首尔这几天里，，，，，，想得最清晰的一个瞬间。。“倾覆 arXiv” 这件事太有意义了，，，，，，若是你读到这里也有同感，，，，，，接待联系我，，，，，，一起来做。。 四天，，，，，，几十场对话，，，，，，聊的内容跨度很大，，，，，，算力、论文、股价、签证问题……外貌上每一段都是在讲差别的故事，，，，，，但底层都是在回覆统一个问题：在这场越来越快、越来越贵、越来越拥挤的竞赛里，，，，，，什么才是属于自己的身位？？？？？ 连 ICML 的议程，，，，，，都在映射这种渺茫。。有一场普林斯顿大学教授 Narayanan 的演讲，，，，，，叫 “What will be left for us to work on?（留给美彩国际事情还剩什么？？？？？）”。。一位 AI 领域很是有影响力的学者，，，，，，站在全球 AI 顶会上，，，，，，问的也是这个问题。。 但我记着了一个高中生。。这几天，，，，，，见的险些全是大厂研究员、拿了几亿融资的创业者、管着千卡集群的工程师。。但在一个叫 RLxF 的 workshop 里，，，，，，我看到一个高中生站上了讲台，，，，，，他来自加州圣何塞的 Lynbrook High School，，，，，，即将升高三。。 自力作者，，，，，，背后没有团队、没有机构，，，，，，一个人写了一篇论文投进来，，，，，，拿到了 oral，，，，，，也就是被选中上台做正式演讲，，，，，，这在学术聚会里是挺高的认可，，，，，，绝大大都论文只能贴在墙上展示。。 他研究的是给农民做农作物推荐。。以前的推荐系统只管哪种作物长得好，，，，，，他往系统里加了一个变量：农民会不会真的接纳。。买不买得起种子、会不会用新工具，，，，，，都算进推荐里。。 在这个动不动上千张卡、百万美金跑 benchmark 的行业里，，，，，，一个高中生拿着一台电脑，，，，，，研究的是农民怎样用上一个 AI 推荐系统，，，，，，全场都在找身位，，，，，，他可能是唯一不需要找的人，，，，，，他把一件想做的事做完了。。 月尾我会再去一趟硅谷。。上个季度去的时间，，，，，，全员都在 token-maxxing，，，，，，所有人拼命堆算力、堆规模，，，，，，停不下来。。几个月已往，，，，，，风向又变了：token-maxxing 的势头大幅放缓；；；；；泛起了对算力缺口究竟有多大的玄妙讨论；；；；；应用进入低谷周期，，，，，，数据进入岑岭周期……接待交流。。 晚点专栏作者孟醒：五源资源合资人、前滴滴自动驾驶 COO。。这是他 AI 投资视察的第二篇，，，，，，以后他会在晚点上一连更新他的投资视察。。