Cohere前AI研究主管为何押注反对规模竞赛

各AI实验室正竞相建设规模相当于曼哈顿的数据中心，每个耗资数十亿美元，能耗堪比小型城市。这一努力源于对"扩展"(scaling)的坚定信念——即向现有AI训练方法增加更多计算能力，最终将能产生能够执行各种任务的超级智能系统。

但越来越多的AI研究人员表示，大型语言模型的扩展可能已接近其极限，需要其他突破来提升AI性能。

这正是Sara Hooker的赌注——她曾是Cohere的AI研究副总裁，也是Google Brain的前成员，如今她带着自己的新创业公司Adaption Labs走上了这条路。她与Cohere和Google的老将Sudip Roy共同创立了这家公司，其理念建立在扩展大型语言模型(LLM)已成为从AI模型中挤出更多性能的低效方式这一想法上。Hooker于8月离开Cohere，本月她低调宣布了这家创业公司，并开始更广泛地招募人才。

在接受TechCrunch采访时，Hooker表示Adaption Labs正在构建能够持续适应并从现实世界经验中学习的AI系统，并且这种方式极其高效。她拒绝分享这种方法背后的细节，也不愿透露公司是否依赖LLM或其他架构。

Hooker表示："我们现在正处于一个转折点，很明显，仅仅扩展这些模型的公式——即那些有'扩展瘾'的方法，虽然吸引人但极其乏味——并未产生能够导航或与世界互动的智能。"

根据Hooker的说法，适应是"学习的核心"。例如，当你走过餐桌时撞到了脚趾，下次你就会学会更小心地绕过它。AI实验室已尝试通过强化学习(RL)来捕捉这一理念，RL允许AI模型在受控环境中从错误中学习。然而，当今的RL方法并不能帮助生产环境中的AI模型——即已被客户使用的系统——实时地从错误中学习。它们只会一再撞到脚趾。

一些AI实验室提供咨询服务，帮助企业根据其定制需求微调AI模型，但这需要付出高昂代价。据报道，OpenAI要求客户在公司消费至少1000万美元，才能提供其关于模型微调的咨询服务。

Hooker表示："我们只有少数几家前沿实验室决定这组AI模型的提供方式，它们对所有人都是一样的，而且适应这些模型的成本非常高。实际上，我认为情况不再需要如此，AI系统能够非常高效地从环境中学习。证明这一点将彻底改变谁能控制和塑造AI的动态格局，以及最终这些模型为谁服务。"

Adaption Labs是业界对扩展LLM的信心正在动摇的最新迹象。麻省理工学院研究人员最近的一篇论文发现，世界上最大的AI模型可能很快会显示出收益递减。旧金山的氛围似乎也在转变。AI界最受欢迎的播客主持人Dwarkesh Patel最近主持了几场与著名AI研究人员的异常怀疑的对话。

被尊称为"强化学习之父"的图灵奖得主Richard Sutton在9月告诉Patel，LLM无法真正扩展，因为它们没有从现实世界经验中学习。本月，OpenAI早期员工Andrej Karpathy告诉Patel，他对强化学习在提升AI模型方面的长期潜力持保留态度。

这类担忧并非前所未有。2024年底，一些AI研究人员表达了对通过预训练扩展AI模型的担忧——预训练中AI模型从大量数据集中学习模式——认为这已出现收益递减。在此之前，预训练一直是OpenAI和Google改进其模型的秘诀。

那些关于预训练扩展的担忧现在已在数据中显现，但AI行业已找到其他改进模型的方法。2025年，围绕AI推理模型的突破——这些模型在回答问题前需要额外的时间和计算资源来处理问题——已将AI模型的能力推向了新的高度。

AI实验室似乎确信，扩展强化学习和AI推理模型是新的前沿。OpenAI研究人员此前告诉TechCrunch，他们开发了首个AI推理模型o1，是因为他们认为它能够很好地扩展。Meta和Periodic Labs的研究人员最近发布了一篇论文，探讨如何进一步通过强化学习扩展性能——据称这项研究花费超过400万美元，突显了当前方法的成本之高。

相比之下，Adaption Labs旨在找到下一个突破，并证明从经验学习可以便宜得多。据三位审阅了其融资演示材料的投资者称，这家创业公司在今年早些时候秋季正洽谈筹集2000万至4000万美元的种子轮融资。他们说，该轮融资已经完成，但最终金额尚不清楚。Hooker拒绝置评。

当被问及其投资者时，Hooker表示："我们的目标非常远大。"

Hooker此前曾领导Cohere实验室，在那里她为企业用例训练小型AI模型。如今，紧凑型AI系统在编码、数学和推理基准测试中已 routinely 超越其大型同类——这是Hooker希望继续推动的趋势。

她还因在全球范围内拓宽AI研究渠道而建立了声誉，雇佣了来自非洲等代表性不足地区的研究人才。虽然Adaption Labs很快将在旧金山开设办公室，但Hooker表示她计划在全球范围内招聘。

如果Hooker和Adaption Labs对扩展局限性的判断是正确的，其影响可能十分巨大。数十亿美元已经投入到了LLM扩展中，假设更大的模型将导致通用智能的出现。但真正的自适应学习不仅可能被证明更加强大——而且可能高效得多。

Marina Temkin为本文做出了报道贡献。