Llama 3 正式发布不久，海外媒体人 Dwarkesh Patel 与 Meta CEO 扎克伯格展开了长达 1 小时的对谈，扎克伯格介绍了刚刚发布的 Llama3 三个版本 —— 80 亿参数、700 亿参数和 4050 亿参数，以及基于 Llama3 的 Meta AI。

Meta AI 集成了 Google 和 Bing 以获取实时知识，以及 AI 如何帮助人们与创作者和企业互动，在辅助功能和 VR 中的应用，并透露将在未来几周和月份内推出更多功能。

扎克伯格强调开源对于社区和创新的好处，但也提出了 AI 能力发生质的变化时开源可能带来的风险。他认为像 PyTorch、React、Open Compute 等开源项目可能对世界的影响甚至超过 Meta 在社交媒体方面的影响。

关于 AI 以及芯片，他提到了下一代模型 Llama 4 可能性、在定制芯片上训练Llama 模型的计划、对社区微调模型的兴奋点、模型大小的重要性、使用 GPU 训练大型模型的想法，以及在训练 AI 模型过程中可能面临的资本和能源限制等挑战。

关于 Llama 3

让我们首先讨论本次采访发布后将发布的版本。告诉我有关模型和Meta AI 的信息。他们有什么新鲜和令人兴奋的事情？

我认为世界上大多数人将看到的主要内容是新版本的 Meta AI。我们正在做的最重要的事情是模型的升级。我们正在推出Lla‍ma-3 。我们将其作为开发社区的开源项目，现在它将为 Meta AI 提供动力。

我确信我们会围绕 Llama-3 讨论很多内容，但我认为最重要的是，我们现在认为 Meta AI 是人们可以使用的最智能、最免费的 AI 助手。我们还集成了 Google 和 Bing 以获取实时知识。

我们将使其在我们的应用程序中更加突出。在 Facebook 和 Messenger 的顶部，你可以使用那里的搜索框来提出任何问题。我们添加了很多新的创作功能，我认为这些功能非常酷，而且我认为人们会喜欢的。我认为动画是一个很好的动画。基本上，你可以拍摄任何图像并将其制作成动画。

人们会发现非常疯狂的一点是，它现在生成高质量图像的速度如此之快，以至于它实际上在你打字时生成并实时更新。当你输入查询时，它会进行磨练。这就像“向我展示一张牛在田野里，背景是山脉，吃着澳洲坚果，喝着啤酒”的照片，它会实时更新图像。这是相当狂野的。

我认为人们会喜欢这一点。所以我认为这就是世界上大多数人会看到的情况。我们正在推出这一服务，虽然不是在所有地方，但我们正在少数几个国家/地区开始，我们将在未来几周和几个月内做更多的事情。我认为这将是一件非常重要的事情，我很高兴能将其交到人们手中。这对于 Meta AI 来说是向前迈出的一大步。

但我认为如果你想深入了解一下，Llama-3 的东西显然是技术上最有趣的。我们正在训练三个版本：一个 80 亿个参数模型和一个今天发布的 700 亿个参数模型，以及一个仍在训练中的 4050 亿个密集模型。

所以我们今天不会发布它，但我对 8B 和 70B 的结果感到非常兴奋。他们的规模处于领先地位。我们将发布一篇包含所有基准测试的博客文章，以便人们可以自行查看。显然它是开源的，因此人们有机会使用它。

我们制定了即将推出的新版本的路线图，这些新版本将带来多模式、更多的多语言性和更大的上下文窗口。希望我们能在今年晚些时候推出 405B。就目前的训练情况而言，它已经达到 85 MMLU左右，我们预计它将在一系列基准测试中拥有领先的基准测试。我对这一切感到非常兴奋。700 亿也很大了。我们今天就发布它。MMLU 约为 82 分，数学和推理成绩领先。我认为将其交到人们手中将会非常疯狂。

有趣。这是我第一次听说它作为基准。这真是太令人印象深刻了。

80 亿几乎与我们发布的最大版本的Llama-2一样强大。所以最小的 Llama-3 基本上和最大的 Llama-2 一样强大。

在我们深入研究这些模型之前，我想回顾一下过去。我假设 2022 年是你开始购买这些 H100 的时间，或者可以告诉我什么时候。股价受到重创。人们在问这些资本支出到底发生了什么。人们并不买 Meta 的账。想必你正在花费这笔资本支出来购买这些 H100。当时是怎么知道要购买 H100 的？你怎么知道需要GPU ？

我认为这是因为我们正在研究 Reels 。我们总是希望有足够的能力来建造一些我们目前还看不到的东西。我们在 Reels 中陷入了这样的境地，我们需要更多的 GPU 来训练模型。这是我们服务的一次重大变革。我们不只是对你关注的人或页面的内容进行排名，我们大力推动开始推荐我们所谓的未连接内容，即来自未关注的人或页面的内容。

我们可能向你展示的候选内容语料库已从数千个扩展到数亿个。它需要一个完全不同的基础设施。我们开始致力于做到这一点，但我们在基础设施上受到限制，无法尽快赶上 TikTok 的步伐。我基本上看了之后就想：“嘿，我们必须确保我们再也不会遇到这种情况了。

因此，让我们订购足够的 GPU 来完成我们需要在 Reels 上执行的操作以及对内容和 feed 进行排名。但我们也要把这个数字加倍。”再说一次，我们的正常原则是，地平线上将会有一些我们还看不到的东西。

你知道这会是 AI 吗？

我们认为这将与训练大型模型有关。当时我认为这可能与内容有关。这只是经营公司的模式匹配，总有别的事情。那时我非常努力地尝试让推荐适用于卷轴和其他内容。这对 Instagram 和 Facebook 来说是一个巨大的突破，能够向人们展示他们感兴趣的内容，这些内容来自他们甚至没有关注的人。

但现在回想起来，这是一个非常好的决定。而且是从后面来的。这并不像“哦，我遥遥领先”。事实上，大多数时候，我们做出一些最终看起来不错的决定，是因为我们以前搞砸了一些事情，只是不想重复这个错误。

这完全是绕道而行，但我想在我们讨论这个问题时问一下这个问题。我们稍后会回到 AI 。2006 年，你的估值还没有达到 10 亿美元，但想必你也能卖出一些价格，对吗？你是否在脑海中写下这样的话：“我认为 Facebook 当时的实际估值是这样的，而他们实际上并没有得到正确的估值”？如果他们给你 5 万亿美元，你当然会卖掉。那么你是如何考虑这个选择的呢？

我认为其中一些事情只是个人的。我不知道当时我是否足够成熟来进行这样的分析。我周围的人都在为 10 亿美元提出所有这些论点，比如“这是我们需要创造的收入，这是我们需要达到的规模。显然是在未来很多年了。”这比我们当时的水平遥遥领先。我确实没有足够的财务经验来真正参与这种辩论。

我内心深处相信我们正在做的事情。我做了一些分析，比如“如果我不这样做我会做什么？嗯，我真的很喜欢建造东西，也喜欢帮助人们沟通。我喜欢了解人们正在发生的事情以及人们之间的动态。

所以我想如果我卖掉这家公司，我就会去建立另一家这样的公司，我有点喜欢我现在拥有的公司。所以为什么？”我认为人们做出的很多最大的赌注往往只是基于信念和价值观。事实上，试图将这些点联系起来进行分析通常是非常困难的。

通往 AGI 之路上的编码

Facebook  AI 研究已经很长时间了。现在它似乎已成为你公司的核心。在什么时候，让AGI ，或者无论你如何看待这个使命，成为 Meta 正在做的事情的一个关键优先事项？

一段时间以来，这都是一件大事。大约 10 年前我们开始了 FAIR。我们的想法是，在通向通用智能或任何你想称之为的东西的道路上，将会出现所有这些不同的创新，而这将改善我们所做的一切。所以我们并没有将其视为一种产品。它更像是一个研究小组。

在过去 10 年里，它创造了许多不同的东西，改进了我们所有的产品。它推动了该领域的发展，并允许该领域的其他人创造出同样改进了我们产品的东西。我认为那太好了。

随着 ChatGPT 和围绕图像创建的扩散模型的出现，过去几年显然发生了很大的变化。这是一些非常疯狂的东西，很明显会影响人们与每个应用程序的交互方式。那时，我们成立了第二个小组，即 GenAI 小组，其目标是将这些东西带入我们的产品中，并构建领先的基础模型来为所有这些不同的产品提供动力。

当我们开始这样做时，最初的理论是我们正在做的很多事情都是相当社交的。它帮助人们与创作者互动，帮助人们与企业互动，帮助企业销售产品或提供客户支持。还有基本的辅助功能，无论是我们的应用程序、智能眼镜还是VR 。

因此，一开始并不完全清楚你是否需要完整的 AGI 才能支持这些用例。但通过所有这些微妙的方式，通过对它们的努力，我认为实际上已经很清楚你是这样做的。例如，当我们开发 Llama-2 时，我们没有优先考虑编码，因为人们不会在 WhatsApp 中向 Meta AI 问很多编码问题。

现在他们会了，对吧？

我不知道。我不确定 WhatsApp、Facebook 或 Instagram 是否是人们会提出大量编码问题的 UI。也许是我们正在推出的网站，meta.ai 。但过去 18 个月中令人有些惊讶的结果是，编码对于许多领域都很重要，而不仅仅是编码。即使人们没有提出编码问题，对编码模型进行训练也可以帮助他们更加严格地回答问题，并帮助他们在许多不同类型的领域进行推理。这是一个例子，对于 Llama-3，我们真正专注于通过大量编码来训练它，因为即使人们主要不问编码问题，这也会让它在所有这些事情上做得更好。

推理是另一个例子。也许你想与创作者聊天，或者你是一家企业，并且你正在尝试与客户互动。这种互动并不只是“好吧，这个人给你发了一条消息，你只需回复”。这是一个多步骤的互动，你试图思考“我如何实现这个人的目标？”很多时候，当客户来时，他们不一定确切地知道自己在寻找什么或如何提出问题。因此， AI 的工作并不是仅仅回答问题。

你需要更全面地思考它。这真的变成了一个推理问题。因此，如果其他人解决了推理问题，或者在推理方面取得了良好的进展，而我们坐在这里使用一个基本的聊天机器人，那么与其他人正在构建的产品相比，我们的产品就很蹩脚。最终，我们基本上意识到我们必须解决通用智能问题，我们只是加大了赌注和投资以确保我们能够做到这一点。

那么，将为用户解决所有这些用例的 Llama 版本是否足够强大，可以取代你在这栋大楼中可能拥有的程序员？

我只是认为所有这些东西都会随着时间的推移而进步。

但最终的情况是：Llama-10。

我认为这个问题涉及很多内容。我不确定我们是在取代人们，还是在为人们提供做更多事情的工具。

Llama-10 后，这座大楼里程序员的工作效率是否提高了 10 倍？

我会希望更多。我不认为人类的智力有单一的门槛，因为人们有不同的技能。我认为，在某些时候， AI 可能会在大多数事情上超越人类，这取决于模型的强大程度。但我认为这是进步的，而且我不认为 AGI 是一回事。你基本上是在添加不同的功能。

多模态是我们现在关注的关键之一，最初是照片、图像和文本，但最终是视频。因为我们非常关注虚拟世界，所以 3D 类型的东西也很重要。我非常关注的一种方式是情感理解，但我没有看到业内许多其他人关注这种方式。

人类大脑的大部分区域都致力于理解人、理解表情和情绪。我认为这就是它自己的整体模式，对吧？你可以说它可能只是视频或图像，但它显然是这两者的非常专业的版本。

因此，除了在推理和记忆方面取得更好的成绩（这是它本身的全部内容）之外，你还希望训练模型关注所有这些不同的能力。我认为将来我们不会主要将内容推入查询上下文窗口来提出更复杂的问题。将会有不同的记忆存储或不同的定制模型，对人们来说更加个性化。这些只是不同的能力。显然，然后就是把它们变大和变小。我们两者都关心。

如果你正在运行 Meta AI 之类的东西，那么它是非常基于服务器的。我们还希望它在智能眼镜上运行，而智能眼镜的空间并不大。所以你想要有一些对此非常有效的东西。

如果你正在进行价值 10B 美元的推理，甚至最终价值 100B 美元，如果你在工业规模上使用智能，那么用例是什么？是模拟吗？Meta 中的 AI 是吗？我们将使用数据中心做什么？

我们打赌它将基本上改变所有产品。我认为将会出现一种 Meta AI 通用助理产品。我认为这将从感觉更像聊天机器人（你提出问题，它会给出答案）转变为你给它更复杂的任务，然后它就走开并完成这些任务。这将需要大量的推理，并且在其他方面也将需要大量的计算。

然后我认为与其他人的其他代理互动将成为我们工作的重要组成部分，无论是对于企业还是创作者。我的理论的一个重要部分是，你不会只与一个单一的 AI 进行交互。每个企业都希望 AI 能够代表他们的利益。

我认为创作者将会成为一个大人物。我们的平台上约有 2 亿创作者。他们基本上都有自己想要参与社区的模式，但他们受到一天中时间的限制。如果你能创造出一些东西，让创造者基本上可以拥有 AI ，以他们想要的方式训练它，并参与他们的社区，我认为这将是超级强大的。所有这些事情都会有大量的参与。

这些只是消费者用例。我和我的妻子经营着我们的基金会。我们正在做很多科学方面的工作，显然有很多 AI 工作将推动科学和医疗保健以及所有这些事情的发展。因此，它最终将基本上影响产品和经济的每个领域。

你提到 AI 可以走出去为你做一些多步骤的事情。那是更大的型号吗？以 Llama-4 为例，是否还会有一个 70B 的版本，但你只需使用正确的数据来训练它，那将会非常强大？进展是什么样的？是缩放吗？是不是像你所说的那样，规模相同但银行不同？

我不知道我们是否知道答案。我认为似乎是一种模式的一件事是，你拥有 Llama 模型，然后围绕它构建某种其他应用程序特定的代码。其中一些是针对用例的微调，但其中一些是例如 Meta AI 应如何与 Google 或 Bing 等工具配合以引入实时知识的逻辑。这不是基本 Llama 模型的一部分。对于 Llama-2，我们有一些这样的东西，而且它更多的是手工设计的。

我们 Llama-3 的部分目标是将更多内容带入模型本身。对于 Llama-3，当我们开始研究更多类似代理的行为时，我认为其中一些行为将更加手工设计。

一路走来的每一步，你都会感受到即将发生的事情。你开始搞乱它并绕过它。我认为这可以帮助你磨练你的直觉，了解你想要尝试训练到模型本身的下一个版本中的内容。这使得它更加通用，因为显然对于手动编码的任何内容，你都可以解锁一些用例，但它本质上是脆弱且非通用的。

当你说“进入模型本身”时，你是根据模型本身想要的东西来训练它的吗？“进入模型本身”是什么意思？

对于 Llama-2，工具的使用非常具体，而 Llama-3 的工具使用要好得多。我们不必手动编写所有内容来让它使用谷歌并进行搜索。它就可以做到这一点。类似地，对于编码和运行代码以及诸如此类的事情也是如此。一旦你获得了这种能力，你就会了解我们下一步可以开始做什么。

我们不一定要等到 Llama-4 出现才开始构建这些功能，因此我们可以开始围绕它进行黑客攻击。你进行了大量的手工编码，这使得产品变得更好，即使只是暂时的。这有助于展示我们想要构建到模型的下一版本中的方式。

你最兴奋的 Llama-3 社区微调是什么？也许不是对你最有用的那个，而是你最喜欢玩的那个。他们对古代进行了微调，你只需与维吉尔或其他人交谈即可。你在兴奋什么？

我认为事情的本质是让你感到惊讶。任何我认为有价值的具体东西，我们都可能会建造。我想你会得到精炼版本。我想你会得到更小的版本。有一件事是，我认为 8B 对于一堆用例来说还不够小。随着时间的推移，我希望获得 1-2B 参数模型，甚至 500M 参数模型，看看你能用它做什么。

如果使用 8B 参数，我们几乎与最大的 Llama-2 模型一样强大，那么使用 10 亿个参数，你应该能够更快地完成一些有趣的事情。这对于分类很有好处，或者在理解用户查询的意图并将其提供给最强大的模型以磨练提示应该是什么之前人们要做的许多基本事情。我认为这是社区可以帮助填补的一件事。我们也在考虑自己提炼其中一些，但现在 GPU 正在训练 405B。

所以你拥有所有这些 GPU。我想你说的是到年底 35 万块 GPU。

我们构建了两个，我认为是 2.2 万或 2.4 万的集群，它们是我们用于训练大型模型的单个集群，显然涵盖了我们所做的很多事情。我们的很多东西都用于训练 Reels 模型以及 Facebook News Feed 和 Instagram Feed 。推理对我们来说是一件大事，因为我们为很多人服务。我们所需的推理计算与训练的比率可能比大多数其他从事此类工作的公司高得多，因为我们所服务的社区规模庞大。

在他们之前与我分享的材料中，非常有趣的是，你对它进行的训练数据比仅用于训练的计算最佳数据要多。这个推论对于你们以及社区来说都是一件大事，拥有这个东西并在那里拥有数万亿 token 是有意义的。

尽管它的有趣之处之一是，即使是 70B，我们也认为它会变得更加饱和。我们用大约 15 万亿个 token 对其进行了训练。我想我们的预测是它会渐近更多，但即使到最后它仍在学习。我们可能可以给它更多的 token，它会变得更好一些。

在某些时候，你正在经营一家公司，你需要做这些元推理问题。我想用 GPU 来进一步训练 70B 模型吗？我们是否想继续下去，以便开始测试 Llama-4 的假设？我们需要做出这样的决定，我认为我们为这个版本的 70B 取得了合理的平衡。未来还会有其他的，70B 多式联运，将在下一阶段推出。但令人着迷的是，目前的架构可以处理如此多的数据。

这真的很有趣。这对未来的模型意味着什么？你提到 Llama-3 8B 比 Llama-2 70B 更好。

几乎一样好。我不想夸大它。它处于相似的数量级。

能源瓶颈

这是否意味着 Llama-4 70B 将与 Llama-3 405B 一样好？这方面的未来会是什么样子？

这是最重要的问题之一，对吧？我想没有人知道。世界上最棘手的事情之一就是指数曲线。持续多久？我认为我们很可能会继续下去。我认为投资 10B 或 100B+ 来建设基础设施是值得的，并假设如果它继续下去，你将会得到一些真正令人惊奇的东西，从而创造出令人惊奇的产品。我认为业内没有人可以真正告诉你它肯定会继续以这个速度扩展。一般来说，在历史上，你会在某些时候遇到瓶颈。现在，这方面的精力如此之多，也许这些瓶颈很快就会被克服。我认为这是一个有趣的问题。

如果没有这些瓶颈，世界会是什么样子？假设进展继续以这种速度进行，这似乎是合理的。

嗯，会有不同的瓶颈。过去几年，我认为 GPU 生产存在这个问题。即使是有钱购买 GPU 的公司也不一定能得到他们想要的数量，因为存在所有这些供应限制。现在我认为这种情况正在减少。所以你会看到很多公司现在正在考虑投入大量资金来构建这些东西。我认为这种情况会持续一段时间。这里有一个资本问题。什么时候开始不再值得投入资本？

事实上，我认为在我们做到这一点之前，你将会遇到能源限制。我认为还没有人建造过千兆瓦的单一训练集群。你遇到的这些事情最终只会让世界变得更慢。获得能源许可是一项受到严格监管的政府职能。你使用的软件是受到一定程度监管的，而且我认为它比科技界很多人认为的更受监管。

显然，如果你创办一家小公司，情况会有所不同，也许你会感觉更少。我们与不同的政府和监管机构互动，我们需要遵守许多规则，以确保我们在世界各地做好工作。但我认为能源是毫无疑问的。

如果你正在谈论建造大型新发电厂或大型扩建项目，然后建造穿越其他私人或公共土地的输电线路，那么这只是一个受到严格监管的事情。你说的是多年的交货时间。如果我们想建立一些大型设施，为其供电是一个非常长期的项目。

我认为人们会这样做，但我不认为这会像达到 AI 水平、获得大量资本并将其投入，然后突然间模型就开始运行一样神奇。……一路上你确实遇到了不同的瓶颈。

有没有什么东西，也许是 AI 相关的项目，也许不是，即使是像 Meta 这样的公司也没有资源？如果你的研发预算或资本支出预算是现在的 10 倍，那么你可以追求它吗？有些东西在你的脑海里，但现在有了 Meta，你甚至不能为其发行股票或债券？比你的预算大 10 倍？

我认为能量是一体的。我认为，如果我们有足够的精力，我们可能会建造比目前更大的集群。

这根本就是资金瓶颈的极限吗？如果你有 1 万亿美元……

我想是时候了。这取决于指数曲线走多远。现在很多数据中心的容量都是 50 兆瓦或100 兆瓦，或者一个大的可能是 150 兆瓦。建立一个完整的数据中心，并在其中填充训练所需的所有内容，然后构建尽可能最大的集群。我认为很多公司都在做类似的事情。

但是，当你开始建设 300MW、500MW 或 1GW 的数据中心时，还没有人建造过 1GW 的数据中心。我认为这会发生。这只是时间问题，但不会是明年。其中一些项目需要数年时间才能完成。只是为了正确地看待这一点，我认为千兆瓦只是一个有意义的核电站的大小，仅用于训练模型。

亚马逊没有这样做吗？他们有 950MW。

我不太确定他们做了什么。你得问他们。

但它不必在同一个地方，对吗？如果分布式训练有效，就可以进行分布式训练。

嗯，我认为这是一个大问题，这将如何运作。看起来很有可能，在未来，我们所说的对这些大模型的训练实际上更多地是沿着推理的路线生成合成数据，然后输入到模型中。我不知道这个比率会是多少，但我认为合成数据的生成更多地是推理而不是训练。显然，如果你这样做是为了训练模型，那么它是更广泛的训练过程的一部分。所以这是一个悬而未决的问题，其中的平衡以及如何发挥作用。

Llama-3 甚至 Llama-4 以后的版本也可能出现这种情况吗？比如说，你把它推出来，如果有人有大量的计算能力，那么他们就可以使用你推出的模型继续让这些东西变得更加智能。假设有一些随机国家，例如科威特或阿联酋，拥有大量计算能力，他们实际上可以使用 Llama-4 来制造更智能的东西。

我确实认为会有这样的动态，但我也认为模型架构存在根本限制。我认为就像我们用 Llama-3 架构训练的 70B 模型可以变得更好一样，它可以继续发展。正如我所说，我们认为如果我们继续向其提供更多数据或再次轮换高价值 token，那么它会继续变得更好。我们看到世界各地有很多不同的公司基本上采用了 Llama-2 70B 模型架构，然后构建了一个新模型。

但情况仍然是，当你对 Llama-3 70B 或 Llama-3 405B 等产品进行一代改进时，今天还没有类似的开源产品。我认为这是一个很大的进步。我认为人们将能够在此基础上构建的东西不能从那里无限地发展。在进入下一步功能之前，可以进行一些优化。

AI 是有史以来最重要的技术吗？

让我们稍微缩小一下具体模型，甚至是获得能源批准所需的多年交付时间等。总体而言，未来几十年 AI 会发生什么？它是否感觉像是另一种技术，如元宇宙或社交技术，或者感觉像是人类历史进程中根本不同的事物？

我认为这将是非常基本的。我认为它首先更像是计算的创造。你将获得所有这些新应用程序，就像你获得网络或手机一样。人们基本上将所有这些经历重新视为许多以前不可能的事情变得可能。所以我认为这将会发生，但我认为这是一个低层次的创新。我的感觉是，这更像是人们从没有电脑到拥有电脑。

很难准确地推断出这是如何进行的。在宇宙尺度上，显然它会很快发生，需要几十年的时间。有些人担心它真的会在一夜之间从有点聪明变成极其聪明。我只是认为所有这些物理限制使得这不太可能发生。我只是不认为这种情况会发生。我想我们会有时间适应一下。但它确实会改变我们的工作方式，并为人们提供所有这些创造性的工具来完成不同的事情。我认为这确实能让人们做他们更想做的事情。

所以也许不是一夜之间，但你认为在宇宙尺度上我们可以用这种方式来思考这些里程碑吗？人类进化了，然后 AI 出现了，然后他们进入了银河系。也许需要几十年，也许需要一个世纪，但这就是历史上正在发生的事情的宏伟计划吗？从某种意义上说，还有其他技术，例如计算机甚至火，但 AI 本身的发展与人类的进化一样重要。

我认为这很棘手。人类历史上，人们基本上认为人类的某些方面在不同方面确实是独一无二的，然后认识到事实并非如此，但人类实际上仍然是超级特殊的。我们认为地球是宇宙的中心，但事实并非如此，但人类仍然非常伟大和独特，对吧？

我认为人们往往存在的另一个偏见是认为智力在某种程度上与生活有着根本的联系。实际上还不清楚是不是这样。我不知道我们对意识或生命有足够清晰的定义来充分质疑这一点。所有这些科幻小说都是关于创造智能的，它开始承担所有这些类人行为和类似的事情。所有这些东西的当前化身感觉正在朝着一个方向发展，即智能可以与意识、能动性和类似的东西完全分开，我认为这使它成为一个超级有价值的工具。

显然，随着时间的推移，预测这些东西的发展方向是非常困难的，这就是为什么我认为任何人都不应该对他们计划如何开发它或他们计划做什么持教条。你想在每个版本中查看它。我们显然非常支持开源，但我并没有承诺发布我们所做的每一件事情。我基本上非常倾向于认为开源对社区有好处，对我们也有好处，因为我们将从创新中受益。然而，如果在某个时候，这个东西的能力发生了一些质的变化，并且我们觉得它没有责任开源它，那么我们就不会。这一切都很难预测。

开源的危险

当你训练 Llama-5 或 Llama-4 时，会发生什么具体的质变？如果你看到它，它会让你想“你知道吗，我不确定是否要开源它”？

抽象地回答这个问题有点困难，因为任何产品都可能表现出负面行为，只要你能减轻它，那就没问题。我们努力减少社交媒体带来的不良影响。Llama-2 也有不好的地方，我们花了很多时间试图确保它不会帮助人们实施暴力行为或类似的事情。

这并不意味着它是一种自主或智能代理。这只是意味着它了解了很多关于世界的知识，并且可以回答一系列我们认为对其回答无益的问题。我认为问题并不是它会表现出什么行为，而是在它表现出这种行为之后我们将无法减轻哪些行为。

我认为，事物的好坏有很多种，很难一一列举。看看我们在社交媒体中必须处理的问题以及不同类型的伤害。我们基本上已经开始喜欢人们所做的 18 或 19 类有害的事情，并且我们基本上已经构建了 AI 系统来识别这些事情是什么，并确保尽可能不会在我们的网络上发生这种情况。随着时间的推移，我认为你也将能够将其分解为更多的分类法。我认为这也是我们花时间研究的事情，因为我们想确保我们理解这一点。

在我看来，这将是一个好主意。如果未来 AI 系统没有得到广泛部署并且每个人都无法访问它们，我会感到失望。同时，我想更好地了解缓解措施。如果缓解措施是微调，那么开放权重的全部内容就是你可以删除微调，这通常是在这些功能之上的表面现象。如果这就像在 Slack 上与生物学研究人员交谈……我认为模型与此相去甚远。现在，它们就像谷歌搜索。但如果我可以向他们展示我的培养皿，他们可以解释为什么我的天花样本没有生长以及需要改变什么，你如何缓解这种情况？因为有人可以在那里微调，对吗？

这是真的。我认为很多人基本上会使用现成的模型，而一些基本上不诚实的人会尝试剔除所有不好的东西。所以我认为这是一个问题。另一方面，我在哲学上如此支持开源的原因之一是，我确实认为未来 AI 的集中化有可能像它的广泛传播一样危险。

我想很多人都会思考这样的问题：“如果我们能做到这一点，那么将其广泛应用是不是很糟糕？”我认为另一个版本是，对于一个机构来说，拥有比其他人的 AI 更强大的 AI 也可能是相当糟糕的。

我想到了一个安全类比。许多不同的事物都存在许多安全漏洞。如果你可以回到一年或两年，假设你对安全漏洞的了解多了一两年。你几乎可以侵入任何系统。那不是 AI 。因此，相信一个非常聪明的 AI 可能能够识别一些漏洞，并且基本上就像人类一样，可以回到一两年并危害所有这些系统，这并不是那么牵强。

那么作为一个社会我们是如何处理这个问题的呢？其中一个重要部分是开源软件，它使得当对软件进行改进时，它不仅仅停留在一家公司的产品中，而且可以广泛部署到许多不同的系统，无论是银行还是医院或政府的东西。随着软件变得更加坚固（这是因为更多的人可以看到它并且更多的人可以使用它），关于这些东西如何工作的标准就出现了。世界可以很快地一起升级。

我认为， AI 得到广泛部署的世界，随着时间的推移，它会逐渐变得更加坚固，所有不同的系统都将在某种程度上受到控制。对我来说，这从根本上来说比更集中的更健康。因此，各方面都存在风险，但我认为人们很少谈论这种风险。AI 系统存在做坏事的风险。但我熬夜更多的是担心一个不值得信任的演员拥有超强的 AI ，无论是敌对政府还是不值得信任的公司还是其他什么。我认为这可能是一个更大的风险。

比如，他们可以推翻我们的政府，因为他们拥有其他人没有的武器？

或者只是造成很多混乱。我认为直觉是，出于经济和安全原因以及其他原因，这些东西最终变得非常重要和有价值。如果你不信任的人或对手获得了更强大的东西，那么我认为这可能是一个问题。也许缓解这种情况的最佳方法是拥有良好的开源 AI ，使其成为标准，并在很多方面成为领导者。它只是确保这是一个更加公平和平衡的竞争环境。

这对我来说似乎是合理的。如果成功的话，那将是我更喜欢的未来。我想从机制上理解世界上存在开源 AI 系统这一事实如何防止有人用他们的 AI 系统造成混乱？以某人携带生物武器的具体例子为例，我们是否会在世界其他地方进行大量研发才能真正快速地研制出疫苗？发生了什么？

如果你考虑我所说的安全问题，我认为 AI 较弱的人试图侵入受较强 AI 保护的系统的成功率会较低。在软件安全方面——

我们怎么知道世界上的一切都是这样呢？如果生物武器不是那样怎么办？

我的意思是，我不知道世界上的一切都是这样。生物武器是人们最担心的领域之一，我认为这很有意义。有一定的缓解措施。你可以尝试不将某些知识训练到模型中。有不同的事情，但在某种程度上，如果你遇到了一个足够糟糕的演员，并且你没有其他 AI 可以平衡它们并了解威胁是什么，那么这可能是一种风险。这是我们需要注意的事情之一。

在训练 Llama-4 的这些系统的部署过程中，你是否可以看到一些东西，它对你撒了谎，因为它认为你没有注意到或者其他什么，你会想“哇，这里发生了什么？”对于 Llama-4 类型的系统来说，这可能不太可能，但是你是否可以想象这样的情况，你会真正担心欺骗性以及数十亿个这种系统在野外的存在？

我的意思是现在我们看到很多幻觉。更是如此。我认为这是一个有趣的问题，如何区分幻觉和欺骗。有很多风险和需要考虑的事情。至少在经营我们公司的过程中，我尝试平衡这些长期理论风险与我实际上认为当今存在的真实风险。因此，当你谈论欺骗时，我最担心的形式是人们利用它来生成错误信息，然后通过我们的网络或其他人传播该信息。我们打击此类有害内容的方法是构建比对抗性内容更智能的 AI 系统。

这为我的部分理论提供了信息。如果你看看人们通过社交网络造成或试图造成的不同类型的伤害，就会发现有些伤害并不是非常具有对抗性。例如，仇恨言论并不是超级对抗性的，因为人们在种族主义方面并没有变得更好。我认为在这些问题上， AI 通常比人类更快地变得更加复杂。我们双向都有问题。人们会做坏事，无论他们是试图煽动暴力还是其他什么，但我们也有很多误报，我们基本上审查了我们不应该审查的东西。我认为这会让很多人感到恼火，这是可以理解的。所以我认为随着时间的推移，拥有一个越来越精确的 AI 将会是一件好事。

但让我再举一个例子：民族国家试图干预选举。这是一个他们绝对拥有尖端技术并且每年都变得更好的例子。所以我们阻止了一些技术，他们了解我们做了什么，并用不同的技术来对付我们。这不像一个人试图说刻薄的话，他们有一个目标。他们很复杂。他们有很多技术。在这些情况下，我仍然会考虑让我们的 AI 系统以比他们更快的速度变得复杂的能力。这是一场军备竞赛，但我认为我们目前至少赢得了这场军备竞赛。这是我花时间思考的很多事情。

是的，无论是 Llama-4 还是 Llama-6，我们都需要考虑我们正在观察的行为，而不仅仅是我们。你们开源这个项目的部分原因是因为还有很多其他人也在研究这个项目。因此，我们想看看其他人正在观察什么，我们正在观察什么，我们可以减轻什么，然后我们将评估是否可以将其开源。在可预见的未来，我对我们能够做到这一点感到乐观。在短期内，我不想把我们的注意力从人们今天试图使用这些模型做的实际坏事上移开。即使它们不存在，我们在运行服务时也会遇到相当严重的日常危害。这实际上也是我们必须花时间做的事情。

我发现合成数据的事情真的很好奇。使用当前模型，可以理解为什么只需一次又一次地进行合成数据就可能出现渐近线。但是，假设它们变得更聪明，并且你使用了各种技术（你在发布当天发布的论文或博客文章中讨论过），那么它就会进入最正确的思想链。为什么你认为这不会导致一个循环：它变得更聪明，产生更好的输出，变得更聪明等等。当然，这不会是一朝一夕的事，而是可能需要经过数月或数年的训练才能获得更智能的模型。

我认为无论模型架构是什么，它都可以。只是，对于今天的 8B 参数模型，我认为你不会像最先进的数千亿参数模型一样好，这些模型将新的研究融入到架构本身中。

但这些也将是开源的，对吧？

嗯，是的，受到我们刚才讨论的所有问题的影响，但是是的。我们希望情况确实如此。但我认为，在每个点上，当你构建软件时，你可以用软件做很多事情，但在某种程度上你会受到运行它的芯片的限制。所以总会有不同的物理限制。模型有多大将受到你可以获得和用于推理的能量的限制。我同时非常乐观地认为这些东西将继续快速改进，并且比我想象的一些人对此更加谨慎。我认为逃亡案的可能性不大。

我认为保持你的选择余地是有意义的。有太多我们不知道的事情。在这种情况下，保持权力平衡非常重要，这样就没有人成为极权独裁者。在这种情况下，你不想开源该架构，因为中国可以用它来赶上美国的 AI ，并且出现了智能爆炸，他们赢得了胜利。很多事情看起来都是有可能的。考虑到所有这些因素，保持你的选择余地似乎是合理的。

是的。

凯撒奥古斯都和元宇宙

我们来谈谈其他一些事情。元宇宙。你最感兴趣的是人类历史上的哪个时期？公元前10万年至今，你只是想看看它是什么样子吗？

我对美国历史和古典历史非常感兴趣。我对科学史也很感兴趣。事实上，我认为看到并尝试更多地了解一些重大进步是如何产生的会很有趣。我们所拥有的关于其中一些内容的著作有限。我不确定元宇宙是否会允许你这样做，因为对于我们没有记录的事情来说，很难回到过去。我实际上不确定回到过去是否有那么重要。我认为这对于历史课和其他东西来说会很酷，但这可能不是我对元宇宙整体最感兴趣的用例。

最重要的是无论你身在何处，都能感受到与人相处的能力。我认为这将是致命的。在我们进行的 AI 对话中，大部分内容都是关于所有这一切背后的物理限制。我认为技术的一个教训是，你希望尽可能地将事物从物理约束领域转移到软件中，因为软件更容易构建和发展。你可以使其更加民主化，因为不是每个人都会拥有数据中心，但很多人可以编写代码并获取开源代码并对其进行修改。

其元宇宙版本正在实现真实的数字存在。这将是一个绝对巨大的差异，因此人们不会觉得他们必须在一起做很多事情。现在我认为，身体在一起可能会有更好的事情。这些东西不是二元的。它不会是“好吧，现在你不需要再这样做了”。但总的来说，我认为它对于社交、与人建立联系、工作、部分工业、医学以及很多事情来说都非常强大。

我想回到你在谈话开始时所说的话。你并没有以十亿美元的价格出售公司。在元宇宙中，你知道你会这么做，即使市场正在为此打击你。我很好奇。这个边缘的来源是什么？你说“哦，价值观，我有这种直觉”，但每个人都这么说。如果你必须说一些对你来说特别的事情，你会如何表达那是什么？为什么你对元宇宙如此坚信？

我认为这些是不同的问题。哪些事物给我力量？我们已经讨论了很多主题。我真的很喜欢建造东西。我特别喜欢围绕人们如何沟通、理解人们如何表达自己以及人们如何工作来构建事物。当我上大学时，我学习了计算机科学和心理学。我认为业内很多其他人都研究过计算机科学。所以，对我来说，这一直是这两件事的交集。

这也是一种非常深入的驱动力。我不知道如何解释，但我只是觉得如果我不构建新的东西，我就在本质上做错了事情。即使我们在整理投资 1000 亿美元 AI 或元宇宙中巨额资金的商业案例时，我们也制定了计划，我认为这些计划非常明确地表明，如果我们的产品有效，这将是一笔不错的投资。但你从一开始就无法确定。

人们与顾问或其他人之间存在着所有这些争论。就像，“你有足够的信心去做这件事吗？”好吧，当我停止尝试创造新事物的那一天，我就完了。我要去其他地方建造新东西。我从根本上无法管理某件事，或者在我自己的生活中，也无法尝试构建我认为有趣的新事物。对我来说，这甚至不是我们是否要尝试构建下一个产品的问题。我就是没能力不这么做。我不知道。

我在生活的各个方面都是这样。我们家在考艾岛建造了这个牧场，我负责设计所有这些建筑。我们开始养牛，我想“好吧，我想养出世界上最好的牛，那么我们如何设计这个，这样我们就可以解决这个问题并构建我们需要尝试做到这一点的所有东西”。我不知道，那就是我。问题的另一部分是什么？

我不确定，但我实际上对其他事情感到好奇。因此，19岁的马克在高中和大学读了一堆古籍和经典著作。你从中学到了什么重要的教训？不仅仅是你发现了有趣的东西，而且到你 19 岁的时候你消耗的 token 也没有那么多了。其中很多都是关于经典的。显然这在某种程度上很重要。

你消耗的 token 并不多……这是个好问题。这是我认为非常有趣的事情之一。奥古斯都成为皇帝，他试图建立和平。当时还没有真正的和平概念。人们对和平的理解是，和平是敌人不可避免地攻击你之间的暂时时期。这样你就可以得到短暂的休息。他的观点是将经济从唯利是图、军国主义转变为真正的正和事物。这在当时是一个非常新颖的想法。

这是非常基本的事情：人们当时所能想象的理性工作方式的界限。这适用于元宇宙和 AI 。许多投资者和其他人无法理解为什么我们要开源这个。就像“我不明白，它是开源的。那肯定只是你将东西变成专有的暂时时间，对吧？”我认为科技领域这是一件意义深远的事情，它实际上创造了很多赢家。

我不想过度强调这个类比，但我确实认为很多时候，有一些模型可以用来构建人们常常无法理解的东西。他们无法理解这对人们来说是一件有价值的事情，也不明白这将如何成为一个合理的世界状态。我认为事情比人们想象的更合理。

这真是超级迷人。我可以告诉你我的想法以及你可能从中得到什么吗？这可能完全不对劲，但我认为这只是这些人中的一些人多么年轻，他们在帝国中扮演着非常重要的角色。例如，凯撒·奥古斯都在 19 岁时就已经是罗马政坛最重要的人物之一。他正在领导战斗并组建第二三巨头。我想知道 19 岁的你是否在想“我能做到这一点，因为凯撒奥古斯都做到了”。

这是一个有趣的例子，既来自很多历史，也来自美国历史。我最喜欢的名言之一是毕加索的名言，所有的孩子都是艺术家，挑战是在成长过程中保持艺术家的身份。当你年轻的时候，更容易产生疯狂的想法。

在你的生活中、你的公司或你所建立的任何东西中，都存在着与创新者困境的所有这些类比。你处于发展轨迹的早期，因此更容易转变和接受新想法，而不会破坏其他对不同事物的承诺。我认为这是经营公司的一个有趣的部分。你如何保持活力？

开源 100 亿美元模型和定制芯片

让我们回到投资者和开源。假设它是完全安全的。你已经完成了这些评估，与本例不同的是，评估者还可以对模型进行微调，希望未来模型中也会出现这种情况。你会开源这个 100 亿美元的模型吗？

只要它对我们有帮助那就是的。

但会吗？100 亿美元的研发费用，现在已开源。

随着时间的推移，这也是我们必须评估的一个问题。我们在开源软件方面有着悠久的历史。我们不倾向于开源我们的产品。我们不会将 Instagram 的代码开源。我们采用了大量的低级基础设施，并将其开源。我们历史上最大的一个项目可能是我们的开放计算项目，我们为所有服务器、网络交换机和数据中心进行了设计，并将其开源，最终变得非常有帮助。

尽管很多人都可以设计服务器，但行业现在已经对我们的设计进行了标准化，这意味着供应链基本上都是围绕我们的设计构建的。因此销量增加了，对每个人来说都变得更便宜，并且为我们节省了数十亿美元，这真是太棒了。

因此，开源可以通过多种方式为我们提供帮助。一是人们是否知道如何更便宜地运行模型。随着时间的推移，我们将在所有这些东西上花费数十、千亿美元或更多。因此，如果我们能够提高 10% 的效率，我们就可以节省数十亿或数百亿美元。这本身可能就很有价值。特别是如果有其他竞争模型存在，我们的产品并不会放弃某种疯狂的优势。

那么你认为训练将会商品化吗？

我认为有很多方法可以实现这一点，这就是其中之一。因此，“商品”意味着它会变得非常便宜，因为有很多选择。另一个可能的方向是质量改进。你提到了微调。目前，对其他主要模型进行微调的能力非常有限。有一些选择，但通常不适用于最大的型号。能够做到这一点，不同的应用程序特定的东西或用例特定的东西或将它们构建到特定的工具链中。我认为这不仅可以实现更高效的开发，而且可以实现质量上不同的事情。

这是对此的一个类比。我认为移动生态系统普遍糟糕的一件事是，苹果和谷歌这两家看门人公司可以告诉你可以构建什么。有一个经济版本，就像我们建造一些东西，他们只是拿走你的一大笔钱。但还有定性版本，这实际上更让我不安。很多时候，当我们推出或想要推出功能时，苹果只是说“不，你不会推出这个”。太糟糕了，对吧？

所以问题是，我们是否已经为这样的 AI 世界做好了准备？你将得到一些运行这些封闭模型的公司，这些模型将控制 API，因此能够告诉你可以构建什么？

对于我们来说，我可以说，我们自己建立一个模型来确保我们不会处于这种境地是值得的。我不希望任何其他公司告诉我们我们可以建造什么。从开源的角度来看，我认为很多开发人员也不希望这些公司告诉他们可以构建什么。所以问题是，围绕它建立的生态系统是什么？有哪些有趣的新事物？这对我们的产品有多大改进？

在很多情况下，如果这最终像我们的数据库或缓存系统或架构一样，我们将从社区获得宝贵的贡献，这将使我们的东西变得更好。我们所做的应用程序特定工作仍然会如此差异化，因此这并不重要。我们将能够做我们该做的事。我们将从中受益，所有系统，无论是我们的系统还是社区的系统，都会变得更好，因为它是开源的。

或许有一个世界并非如此。也许模型最终更多地是产品本身。我认为这是一个更棘手的经济计算，无论你是否开源。那么你就将自己商品化了很多。但从目前我所看到的情况来看，我们似乎并不处于那个区域。

你是否期望通过将你的模型授权给云提供商来获得可观的收入？所以他们必须向你支付一定的费用才能真正为模型提供服务。

我们希望有这样的安排，但我不知道它会有多重要。这基本上就是我们对 Llama 的许可。在很多方面，它是一个非常宽松的开源许可证，除了我们对使用它的最大公司有限制。这就是我们设置该限制的原因。我们并不是试图阻止他们使用它。

我们只是希望他们来与我们交谈，如果他们基本上只是拿走我们建造的东西并转售它并从中赚钱。如果你喜欢微软 Azure或亚马逊，如果你要转售该模型，那么我们应该从中获得一些收入分成。因此，在你这样做之前请先与我们联系。事情就是这样进行的。

对于 Llama-2，我们基本上与所有这些主要云公司都有交易，并且 Llama-2 可作为所有这些云上的托管服务。我认为随着我们发布越来越大的模型，这将成为一件更大的事情。这不是我们正在做的主要事情，但我认为如果这些公司要出售我们的模型，那么我们应该以某种方式分享其好处是有意义的。

关于其他开源危险，我认为你对权力平衡以及你可以消除的潜在危害有真正合理的观点，因为我们有更好的对齐技术或其他东西。我希望 Meta 有某种框架。其他实验室也有这样的说法，他们说“如果我们看到这个具体的东西，那么开源甚至可能无法部署。”只需将其写下来，以便公司做好准备，并且人们对此抱有期望等等。

从存在风险的角度来看，这是一个公平的观点。现在，我们更多地关注我们今天看到的风险类型，其中更多的是内容风险。我们不希望该模型做一些帮助人们实施暴力或欺诈或只是以不同方式伤害人们的事情。虽然谈论存在风险可能在智力上更有趣，但我实际上认为需要更多精力来减轻的真正危害是某人采用模型并做一些伤害人的事情。

在当前模型的实践中，我猜下一代甚至可能是之后的一代，这些都是我们今天看到的更常见的伤害类型，人们互相欺诈或类似的事情。我只是不想欺骗这一点。我认为我们有责任确保我们在这方面做得很好。

Meta是一家大公司。你可以同时处理两者。就开源而言，我实际上很好奇你是否认为开源（PyTorch 、React 、开放计算和其他事物）对世界的影响甚至比 Meta 的社交媒体方面还要大。我与使用这些服务的人交谈过，他们认为这是合理的，因为互联网的很大一部分是在这些东西上运行的。

这是一个有趣的问题。我的意思是，世界上几乎有一半的人使用我们的消费品，因此很难打败它。但我认为开源作为一种新的构建方式确实非常强大。我的意思是，这是可能的。这可能是贝尔实验室这样的事情之一，他们在那里研究晶体管，因为他们想要实现长途通话。他们这样做了，并且最终为他们带来了真正的利润，因为他们能够启用长途电话。

5 到 10 年后，如果你问他们发明的最有用的东西是什么，他们会说“好吧，我们启用了长途电话，现在所有这些人都在打长途电话。”但如果你一百年后问，也许会有不同的答案。

我认为我们正在构建的很多东西都是如此：Reality Lab、一些 AI 的东西、一些开源的东西。具体产品不断发展，在某种程度上来来去去，但人类的进步持续存在，这是我们所有人要做的很酷的一部分。

Llama 模型什么时候可以在你自己的定制芯片上进行训练？

很快，Llama-4 就不再出现了。我们采用的方法是首先构建自定义芯片，可以处理我们的排名和推荐类型内容的推理，例如卷轴、新闻提要广告等。这会消耗大量 GPU。当我们能够将其转移到我们自己的芯片上时，我们现在只能使用更昂贵的NVIDIA GPU进行训练。

在某些时候，我们希望自己拥有芯片，我们可以用它来首先训练一些更简单的东西，然后最终训练这些真正的大型模型。与此同时，我想说该计划进展顺利，我们只是有条不紊地推出它，并且我们有一个长期路线图。

如果担任 Google+ CEO

最后一个问题。这完全超出了我们的范畴。如果你被任命为Google+的 CEO，你能让它发挥作用吗？

谷歌+？我不知道。这是一个非常困难的假设。

好吧，那么真正的最后一个问题是：当 Gemini 推出时，办公室里是否有人说：“ Carthago delenda est ”（"Carthago delenda est" 是一句拉丁语短语，直译为“迦太基必须被毁灭”）

这是一个好问题。问题是 Google+ 没有 CEO。这只是公司内的一个部门。你之前问过什么是最稀缺的商品，但你是用美元来问的。事实上，我认为对于大多数公司来说，至少是这种规模的公司，重点是。

当你是一家初创公司时，你可能会受到更多的资金限制。你只致力于一个想法，并且可能没有所有资源。在某些时候，你会跨越你正在做的事情的性质的某个门槛。你正在构建多种东西。你在其中创造了更多价值，但你可以指导哪些事情能够顺利进行，但你却变得更加受限。

总有这样的情况，组织中会发生一些随机的令人惊奇的事情，而我什至不知道。那些都很棒。但我认为总的来说，组织的能力很大程度上受到 CEO 和管理团队能够监督和管理的能力的限制。这是我们关注的重点。正如 Ben Horowitz 所说，“保持主要的事情，主要的事情”，并努力专注于你的关键优先事项。