a16z万字长文：我们正在进入计算的第三个时代

这波 AI 的发展，其影响蔓延到各个领域的速度之快，确实超出了大部分人的预期。上周，Sequoia（红杉美国）认为 AI 已经开启了第二篇章，并从应用场景的角度绘制了新的 AI 图谱和 LLM 开发者栈（stack）图谱。

不过从资金的走向来看，目前 AI 的发展似乎仍然处于神仙打架阶段，并且这个格局好像已经差不多成型了。在 OpenAI 拿到微软等差不多 110 亿美金的钱估值近 290 亿美金后，其竞争对手 Anthropic 昨天宣布与 Amazon 结盟，Amazon 最高将为其投资 40 亿美金，在融资这块 Anthropic 成为仅次于 OpenAI 的 AI 创业公司。

此次融资后，除了苹果（Apple）外，AI 行业基本上形成了这样一个神仙打架的格局：

• 微软 + OpenAI

• Google + DeepMind

• Meta + MetaAI

• Amazon + Anthropic

• Tesla + xAI

当然作为更底层基础设施提供者的英伟达，其策略显然是我都要，没有非常重度的站队具体的某一家。下面是 15 家 AI 独角兽的一个大致情况，从估值和融资来看，大模型 LLMs 占据了很大一部分，而 50% 的 AI 独角兽都成立于 2021 年之后：

今天，a16z 分享了他们跟多位顶级 AI 公司创始人的对话，认为我们正处于计算的第三个时代，并从 AI 的当下、未来以及开放性角度探讨了 16 个有意思的话题。这次对话的参与者包括了：

• a16z 合伙人 Martin Casado

• OpenAI CTO Mira Murati

• Roblox Cofounder & CEO David Baszucki

• Figma Cofounder & CEO Dylan Field

• Anthropic Cofounder & CEO Dario Amodei

• Microsoft CTO & EVP of AI Kevin Scott

• insitro Founder & CEO Daphne Koller

• Databricks Cofounder & CEO Ali Ghodsi

• Character.AI Cofounder & CEO Noam Shazeer

由于文章太长差不多 1 万字，我用 AI 简单做了一下编译，一些术语可能不一定准确，感兴趣的朋友可以去阅读英文原文：

1 我们正处于计算的第三纪元的开始

Martin Casado,a16z：

Noam Shazeer,Character AI：

Kevin Scott,微软：

2 这波生成式人工智能浪潮具有推动市场转型的经济学原理

要使技术创新引发市场转型，经济效益必须具有强大的吸引力。虽然以往的人工智能周期中有许多技术进步，但缺乏变革性的经济效益。在当前的人工智能浪潮中，我们已经看到了一些应用案例中经济效益提升了 10,000 倍（甚至更高）的早期迹象，并且由此带来的人工智能采纳和发展似乎比以往任何一个转变都快得多。

Martin Casado,a16z：

3 对于一些早期应用场景：创造力 > 正确性

幻觉是当今大模型 LLMs 的一个众所周知的问题，但对于某些应用场景来说，编造事情的能力是一个功能而不是一个错误。与早期应用的机器学习用例相比，其中 n 级正确性至关重要（例如自动驾驶汽车），LLMs 的许多早期用例（虚拟朋友和同伴、头脑风暴概念或构建在线游戏）都具有以下特点：专注于创造力比正确性更重要的领域。

Noam Shazeer,Character.AI：

David Baszucki,Roblox:

Dylan Field,Figma：

4 对于其他比方说编程「副驾驶」正确性会随着人类的使用而提高

尽管人工智能有潜力在许多领域增强人类工作，但编程「副驾驶」已成为首批广泛采用的 AI 助手，原因有几个：

首先，开发人员通常是新技术的早期采用者——对 2023 年 5 月 /6 月的 ChatGPT 提示进行分析发现，30% 的 ChatGPT 提示与编程相关。其次，最大的 LLMs 接受过包含大量代码的数据集（例如互联网）的训练，这使得他们特别擅长响应与编程相关的查询。最后，循环中的人是用户。因此，虽然准确性很重要，但拥有人工智能副驾驶的人类开发人员可以比单独的人类开发人员更快地迭代到正确性。

Martin Casado,a16z：

当开发人员可以查询人工智能聊天机器人来帮助他们编写代码并对其进行故障排除时，它会以两种显著的方式改变开发的方式：1）它使更多的人更容易在开发中进行协作，因为它是通过自然语言界面进行的，2）人类开发者生产更多产品并保持更长时间的流动状态。

Mira Murati,OpenAI ：

Kevin Scott,微软 ：

Dylan Field,Figma：

5 AI 与生物学的结合可以加速治疗疾病的新方法，并对人类健康产生深远影响

生物学极其复杂——甚至可能超出人类思维的完全理解能力。然而，人工智能与生物学的交叉可以加速我们对生物学的理解，并带来我们这个时代一些最令人兴奋和最具变革性的技术进步。人工智能驱动的生物学平台有可能解锁以前未知的生物学见解，从而带来新的医学突破、新的诊断方法以及更早发现和治疗疾病的能力，甚至有可能在疾病发生之前阻止它。

Daphne Koller,insitro ：

6 将模型交到用户手中，将帮助我们发现新的应用场景

之前的人工智能模型迭代旨在在某些任务上超越人类，而基于 Transformer 的 LLMs 则擅长一般推理。但仅仅因为我们创建了一个良好的通用模型并不意味着我们已经破解了如何将其应用于特定用例。正如让人类以 RLHF 形式参与循环一样，对于提高当今人工智能模型的性能至关重要，将新技术交到用户手中并了解他们如何使用它，将是确定要构建哪些应用程序的关键这些基础模型的顶部。

Kevin Scott,微软 ：

Mira Murati,OpenAI :

7 你的 AI 朋友的记忆力将会变得更好

虽然数据、计算和模型参数为 LLMs 的一般推理提供动力，但上下文窗口为他们的短期记忆提供动力。上下文窗口通常通过它们可以处理的令牌数量来衡量。如今，大多数上下文窗口约为 32K，但更大的上下文窗口即将到来，随之而来的是通过 LLMs 运行具有更多上下文的更大文档的能力。

Noam Shazeer,Character.AI :

Dario Amodei,Anthropic ：

8 语音聊天机器人、机器人和其他与人工智能互动的方式是一个重要的研究领域

今天，大多数人以聊天机器人的形式与人工智能互动，但这是因为聊天机器人通常很容易构建，而不是因为它们是每个用例的最佳界面。

许多构建者专注于开发用户通过多模态 AI 与 AI 模型交互的新方法。用户将能够以与世界其他地方交互的方式与多模态模型进行交互：通过图像、文本、语音和其他媒体。更进一步：具身人工智能（embodied AI）专注于可以与物理世界互动的人工智能，比如自动驾驶汽车。

Mira Murati,OpenAI:

Noam Shazeer,Character.AI :

Daphne Koller,insitro:

9 我们会有一些通用模型，一堆专用模型，还是两者兼而有之？

哪些用例最适合更大的「更高智商」的基础模型或较小的专用模型和数据集？就像十年前的云和边缘架构辩论一样，答案取决于你愿意支付多少费用、你需要输出的准确性以及你可以容忍的延迟程度。随着时间的推移，这些问题的答案可能会发生变化，因为研究人员开发了计算效率更高的方法来微调特定用例的大型基础模型。

从长远来看，我们可能会在哪些模型用于哪个用例的问题上过度轮换，因为我们仍处于构建基础设施和架构的早期阶段，以支持即将到来的人工智能应用程序浪潮。

Ali Ghodsi,Databricks:

Dario Amodei,Anthropic:

Mira Murati, OpenAI:

David Baszucki, Roblox:

10 人工智能什么时候在企业获得足够推广，那些数据集又会发生什么？

生成式人工智能对企业的影响仍处于起步阶段——部分原因是企业通常行动较慢，部分原因是他们已经意识到其专有数据集的价值，并且不一定想将数据移交给另一家公司，无论他们的模型多么强大。大多数企业用例需要高度的准确性，企业有 3 种选择来选择 LLM：构建自己的 LLM，使用 LLM 服务提供商为他们构建，或微调基础模型 - 构建自己的 LLM 并不容易。

Ali Ghosdi, Databricks：

11 Scaling 法则会把我们一直带到 AGI 吗？

LLM 目前遵循 Scaling 法则：即使你添加更多数据和计算，模型性能也会提高，即使架构和算法保持不变也是如此。但是，这个法则能持续多久？它会无限期地持续下去，还是在我们开发 AGI 之前达到自然极限？

Mira Murati, OpenAI:

Dario Amodei, Anthropic：

Noam Shazeer, Character.AI：

12 什么是新兴能力（emergent capabilities）？

虽然有些人很快就注销了生成人工智能的能力，但人工智能在执行某些任务方面已经比人类好得多，并且将继续改进。最好的构建者已经能够识别人工智能最有前途的新兴功能，并建立模型和公司，将这些功能扩展到可靠的功能。他们认识到，规模往往会提高新兴能力的可靠性。

Mira Murati, OpenAI：

Dario Amodei, Anthropic:

13 服务这些模型的成本会下降吗？

计算成本是扩展这些模型的主要限制之一，而当前的芯片短缺通过限制供应而推高了成本。然而，如果 Nvidia 明年生产更多的 H100，这应该会缓解 GPU 短缺问题，并可能降低计算成本。

Noam Shazeer, Character.AI：

Dario Amodei, Anthropic：

但是，即使计算成本保持不变，模型级别的效率提升似乎也是不可避免的，尤其是在如此多的人才涌入该领域的情况下，人工智能本身可能是我们改进人工智能工作方式的最强大工具。

Dario Amodei, Anthropic：

最有前途的研究领域之一是针对特定用例微调大模型，而无需运行整个模型。

Ali Ghodsi, Databricks:

14 我们如何衡量通用人工智能的进展？

当我们扩展这些模型时，我们如何知道人工智能何时成为通用人工智能？当我们经常听到 AGI 这个术语时，它可能是一个很难定义的东西，部分原因可能是它难以测量。

像 GLUE 和 SUPERGLUE 这样的定量基准长期以来被用作衡量 AI 模型性能的标准化指标。但就像我们给人类进行的标准化测试一样，AI 基准引发了一个问题：在多大程度上你正在衡量 LLM 的推理能力，以及在多大程度上你正在衡量它通过考试的能力？

Ali Ghodsi, Databricks：

AGI 最初的定性测试是图灵测试，但让人类相信人工智能是人类并不是难题。让人工智能去做人类在现实世界中所做的事情是一个难题。那么，我们可以使用哪些测试来了解这些系统的功能呢？

Dylan Field, Figma：

David Baszucki, Roblox:

15 还需要人类参与吗？

新技术通常会取代一些人类工作和工作，但它们也开辟了全新的领域，提高了生产力，并使更多的人可以从事更多类型的工作。虽然很容易想象人工智能使现有工作自动化，但想象人工智能带来的下一个问题和可能性要困难得多。

Martin Casado, a16z:

Kevin Scott, Microsoft:

Dylan Field, Figma:

16 现在是创建人工智能初创公司的最激动人心的时刻（特别是如果你是物理学家或数学家）

这是人工智能构建的一个独特而激动人心的时刻：基础模型正在迅速扩展，经济最终向有利于初创公司的方向倾斜，并且有很多问题需要解决。这些问题需要极大的耐心和毅力才能解决，迄今为止，物理学家和数学家特别适合解决这些问题。但作为一个发展迅速的年轻领域，人工智能是完全开放的——现在是构建人工智能的最佳时机。

Dario Amodei, Anthropic：

Mira Murati, OpenAI:

Daphne Koller, insitro:

Kevin Scott, Microsoft：