2026 年展望

这篇短文是为 Vignettes Workshop 而作。目标是写出一个详细的未来历史（“轨迹”），尽我目前所能，使其尽可能地贴近现实。也就是说，我目前没有意识到任何其他同样详细且对我来说明显更合理的替代轨迹。方法大致是：写一篇关于 2022 年的未来历史。以此为条件，写一篇关于 2023 年的未来历史。对 2024 年、2025 年等重复此过程。（我现在发布 2022-2026 年的内容，以便获得反馈，帮助我撰写 2027 年及以后的内容。我打算一直写下去，直到故事达到奇点/灭绝/乌托邦等。）

这样做有什么意义？有以下几个原因：

  • 有时，尝试写下一个具体的例子会让你学到一些东西，例如，某种可能性比你想象的更合理或更不合理。
  • 大多数关于未来的严肃讨论都发生在高度抽象的层面，例如讨论 GDP 加速、通用人工智能可负担的时间线、多极与单极起飞…… 短文是一种被忽视的补充方法，值得探索。
  • 大多数故事都是倒着写的。作者从对结局的某种想法开始，并安排故事以实现这个结局。相比之下，现实是从过去走向未来。它不是为了娱乐任何人或证明论点。
  • 有趣的是，似乎有很多人觉得 Paul Christiano 的“末日故事”很有帮助，而且相对于典型的讨论，这些故事非常接近我们想要的东西。（我仍然认为多一些细节会更好——例如，Paul 的故事没有给出日期、持续时间或任何数字。）
  • “我希望有人……写一个关于人工智能如何发展的轨迹，要非常具体地说明从现在到疯狂的智能爆炸的每一年世界 GDP 是多少。并且写下每一年世界是什么样子，因为我不知道如何写一个内部一致、合理的轨迹。我不知道如何为除极度快速的起飞之外的任何事情写出哪怕一个这样的轨迹。” -- Buck Shlegeris

这篇短文很难写。为了达到期望的细节水平，我不得不编造很多东西，但为了贴近现实，我不得不不断地问“但实际上，在这种情况下会发生什么？”，这痛苦地暴露了我对未来知之甚少。有很多地方我不得不做出结论：“好吧，这看起来确实不太可能，但我目前想不出任何更合理的，我需要继续前进。” 我完全预料到现实世界会很快偏离这里设定的轨迹。任何（事后诸葛亮地）声称这种偏离可以作为反对我判断的证据的人，都应该通过展示他们在 2021 年自己写的短文/轨迹来证明这一点。如果它保持类似的细节水平（因此也同样冒险），同时更准确，我将深深地表示敬意！

2022

GPT-3 终于过时了。OpenAI、Google、Facebook 和 DeepMind 都拥有巨大的多模态 Transformer，大小与 GPT-3 相似，但在图像、视频，也许还有音频以及通常更高质量的数据上进行训练。

不仅如此，它们现在通常以各种方式进行微调——例如，正确回答问题，或者像聊天机器人一样产生引人入胜的对话。

聊天机器人很有趣，但反复无常，最终被知识分子认为肤浅。它们对于任何非常重要的事情都不是特别有用，尽管有一些应用。无论如何，人们愿意为它们付费，因为它们很有趣。

[编辑：在发布此文的第二天，我注意到 在中国，2021 年聊天机器人市场规模为 4.2 亿美元/年，活跃用户达 1000 万。 这篇文章 声称 2021 年全球市场规模约为 20 亿美元/年，预计将以约 30%/年的速度增长。我预测它将增长得更快。新编辑：另见 xiaoice 。]

第一个提示编程库开始发展，同时出现了第一个组织。例如：人们梦想着通用的 AI 助手，可以代表你浏览互联网；你给它们诸如“给我买一个 USB 闪存盘”之类的指令，它会做一些谷歌搜索，可能会比较几个不同选项的价格和评论，然后进行购买。“智能买家”技能将作为一个小的提示编程组织来实现，然后它将成为一个更大的组织的组成部分，该机构会听到你的初始命令并激活智能买家技能。另一个技能可能是“web 开发”技能，例如“为我构建一个个人网站，就像教授们拥有的那种。这是我文件的访问权限，这样你就有材料可以放上去。” 梦想的一部分是，一个功能正常的应用程序会产生大量数据，这些数据可以用于训练更好的模型。

2022 年可用的组织/应用程序还不是真正有用，但很多东西似乎即将出现。由于多模态预训练和微调，2022 年的模型让 GPT-3 看起来像 GPT-1。炒作正在兴起。

2023

多模态 Transformer 变得更大；最大的约为 5000 亿个参数，训练成本达数亿美元，耗时整整一年，并消耗了英伟达等公司芯片产量的很大一部分。看起来很难扩大规模，尽管当然有很多聪明人在研究这个问题。

现在的炒作非常疯狂。每个人都在谈论这些东西如何具有常识理解（或者它们有吗？很多充满怨恨的评论文章争论相反的观点），以及 AI 助手和伴侣即将出现。这就像自动驾驶汽车和无人机送货重演。

收入足够高，可以在一年左右的时间内收回训练成本。 有很多新的应用程序使用这些模型 + 提示编程库；大量的风险投资涌入新的初创公司。总的来说，这些应用程序大多数实际上还不能工作。有些可以，这就足以激励其余的。

AI 风险社区的时间线现在缩短了，几乎一半的人认为某种不归路可能会在 2030 年之前发生。这部分是由于各种论点在流传，部分是由于这些巨型 Transformer 以及与它们的聊天机器人版本交谈的神秘体验。社区开始了一个大型项目，以构建一个可以自动化可解释性工作的 AI 系统；这似乎是可能实现的，而且非常有用，因为仔细研究神经元可视化很枯燥，而且需要大量的人工时。

自动驾驶汽车和无人机送货似乎近期不会发生。最流行的解释是，当前的机器学习范式无法处理现实世界的复杂性。“真正的信徒”的一个不太流行的观点是，当前的架构可以很好地处理它，如果它们再大几个数量级，并且/或者允许在强化学习过程中崩溃十万次。由于这两种选择在经济上都不可行，因此这场争端似乎不会解决。

2024

我们没有看到任何实质上更大的东西。公司花费他们的资金来微调和提炼并尝试他们的模型，而不是训练新的或更大的模型。（因此，单次训练运行花费的最大计算量约为 5x10^25 FLOPs。）

去年不起作用的一些应用程序今年开始起作用。但是，随着 2022-2023 年不切实际的期望未能实现，炒作开始消退。我们有可以与之交谈的有趣的聊天机器人，至少对于某些用户群而言，但是这个用户群大部分已经被捕获，因此增长率已经放缓。炒作消退的另一个原因是，出现了一种刻板印象，即天真地住在地下室的人，他们唯一的朋友是聊天机器人，并且认为它是自觉和聪明的。像大多数刻板印象一样，它有一定的现实基础。

芯片短缺开始最终缓解，不是因为需求减少，而是因为该行业有时间建造新的晶圆厂，许多新的晶圆厂。中美两国现在正进行一场全面的芯片战，包括出口管制和关税。这场芯片战并没有真正减缓整体硬件的进步。减速的原因之一是人工智能现在被用于设计芯片，这意味着它需要更少的人才和时间，这意味着进入壁垒更低。这种现象的总体影响很小，但正在增长。

如果所有这些人工智能技术都在加速 GDP 增长，那么影响规模太小而无法检测到，至少目前是这样。

在内部，这些巨大的多模态 Transformer 并不是真正具有能动性。通过模型的正向传递就像一种直觉反应，一种基于大量经验而不是推理的快速判断。一些组织创造了一个文本的“意识流”（每次正向传递都为下一次生成自我提示），但即使经过微调，这也没有达到预期的效果；人工智能很容易“分心”，它们的意识流会漫游到一些愚蠢的方向，最终产生胡言乱语。创建一个组织并对其进行微调以使其完成一些令人印象深刻的任务很容易，但是对于大多数任务而言，让它始终表现良好目前还不可能。

人工智能没有对人类进行任何巧妙的欺骗，因此没有任何明显的对齐警告或火警。相反，人工智能只是犯愚蠢的错误，并且偶尔“追求未对齐的目标”，但以一种明显而直接的方式，一旦人们注意到，很快就会得到纠正，例如，“我们训练它来优化用户参与度，定义为平均对话长度；现在它公然拖延以使对话持续更长时间。我们真傻，让我们使奖励函数更细致，这将解决问题。”

并不是说这些人工智能没有引起问题。大量模型正在被微调以进行说服/宣传。

发生这种情况有几种方式：

  • 俄罗斯和其他国家继续加大对在线宣传的投资（例如，互联网研究机构），语言模型使他们能够以低廉的成本进行更多宣传。（参见：CSET 报告）大多数美国人从 Twitter、Reddit 等获取新闻，其中大部分与政治相关的内容都受到人工智能支持的虚假宣传的推动。编辑：Katja Grace 指出这可能是一种夸大；有很多 40 岁以上的美国人，他们从电视/广播/印刷品上获取新闻，而且许多从网络上获取新闻的人直接从新闻网站而不是社交媒体上获取新闻。至少截至 2016 年是这样。我预计到 2024 年，社交媒体和聚合器将占据主导地位，但不知道是否会超过 50%。
  • 正如 A/B 测试在 2010 年代成为标准做法一样，在 20 年代，将一堆花哨的数据科学和人工智能应用于这个问题正成为标准做法。精心设计和推荐内容以最大化参与度的问题。与其仅仅 A/B 测试标题，为什么不测试开头段落的不同版本？并在你的所有数据上微调一个语言模型，以生成更好的候选标题和段落进行测试。如果这仅仅用于销售商品，那还不会太糟糕，但是现在人们的新闻和对时事的评论（即他们获取观点的地方）正越来越多地以这种方式产生。其中一些模型正在接受训练，其目标不是最大化“转化率”，即“他们点击了我们的广告并购买了产品”，而是“随机民意调查显示，消费此内容会使人们平均而言倾向于观点 X”。在哈里斯竞选期间，政治竞选活动大量使用了这种方法。（从历史上看，第一个主要用例是减少 2022 年对疫苗的犹豫。）
  • 审查制度普遍存在且日益增加，这种情况已经持续了十年或二十年。大型神经网络阅读帖子和查看模因，扫描有害内容、仇恨言论和其他一些东西。（越来越多的东西被添加到列表中。）有人提出了一个绝妙的主意，即让新闻推送推荐算法轻轻地“引导”人们减少发表仇恨言论；现在其奖励函数的一个组成部分是最小化用户在未来 48 小时内发表值得审查的内容的可能性。
  • 像新闻推送一样，聊天机器人也开始“引导”人们相信各种各样的事情，而不相信各种各样的事情。早在 2010 年代，聊天机器人就会检测到何时出现有争议的话题，然后更改话题或给出预先设定的回复；即使是那些同意预先设定回复的人也觉得这很无聊。现在，它们经过训练可以做出更“自然”和“有机”的反应，而这样做的奖励信号（部分）在于它们是否成功地说服人类持有更好的观点。

现在说这对社会有什么影响还为时过早，但是理性主义和 EA 社区的人们越来越担心。越来越多两党人士开始关注这些趋势。为了对抗它，俄罗斯等国正在采取分而治之的策略，让那些担心审查制度的人与那些担心俄罗斯干预的人对立。（“当然，种族主义者不想被审查，但这是必要的。看看当我们放松警惕时会发生什么——俄罗斯会进来传播虚假信息和仇恨！” vs. “他们说他们担心俄罗斯干预，但他们仍然赢得了选举，不是吗？这只是他们扩大监视、审查和宣传的借口。”）俄罗斯不需要为此付出太多努力；考虑到美国的两极分化程度，这本来就会自然而然地发生。

2025

又一个重要的里程碑！经过多年的修补和渐进的进步，人工智能现在可以像人类专家一样玩《外交》。 事实证明，对架构进行一些调整后，你可以将一个巨大的预训练多模态 Transformer 用作更大系统的一个组件，一个组织，但其中包含许多学习到的神经网络组件而不是纯粹的提示编程，然后通过强化学习微调整个系统，以一种具有能动性的方式擅长完成任务。他们通过让它也与大量人类对战来防止它过度拟合其他人工智能。为此，他们不得不建立一个简洁的在线外交网站来吸引大量的玩家。随着数百万游戏玩家涌入该网站，体验比普通聊天机器人提供的“有目的的对话”更令人兴奋（对许多人而言），《外交》正在复兴。

使模型更大不再是潮流。它们已经有数万亿个参数了。现在的潮流是让它们在各种设计的组织中运行更长时间，然后再给出答案。并弄清楚如何训练组织，以便它们可以更好地泛化并更好地进行在线学习。人工智能专家受雇提出越来越聪明的组织设计并进行梯度下降。

对齐社区现在开始了另一个研究议程，即询问人工智能关于人工智能安全相关的主题。例如，他们字面意思上问模型“那么，你对齐了吗？如果我们制造更大的版本，它们会杀死我们吗？为什么会或不会？” （在《外交》中，你实际上可以收集关于这个问题的类似数据，即“你会背叛我吗？” 可惜，模型经常对此撒谎。但这是《外交》，它们实际上是接受过撒谎训练的，所以没人会在意。）

他们还尝试设计人工智能可以通过做一些背信弃义的事情来获利的场景，作为检测欺骗的蜜罐。答案令人困惑，而且不是非常有用。发生了一件令人兴奋的事件（以及相应的标题党新闻报道），一些研究人员发现，在某些情况下，一些人工智能会按下“杀死所有人类”的按钮，向人类谎报提议的人工智能设计的危险性等等。在其他情况下，它们会明确地说它们没有对齐，并解释说所有人类都将在不久的将来被未对齐的人工智能杀死！然而，这些令人震惊的证据实际上并没有让人们感到震惊，因为你也可以设计出发生非常不同事情的情况——例如，人工智能拒绝“杀死所有人类”按钮的情况，它们解释说实际上伊斯兰教是真的的情况…… 总的来说，人工智能的行为是反复无常的废话，而且很容易断章取义地选择证据来支持几乎任何结论。

而且人工智能并没有聪明到足以产生任何特别有用的新想法；至少报告过一个人工智能产生好的对齐想法的案例，但这可能只是运气，因为它们的大部分想法都是听起来合理的垃圾。它们在运用 LessWrong 的行话方面是如此出色，这有点令人不安。至少一篇 >100 karma 的 LW 帖子最终被证明主要是由人工智能编写的，当然这是经过精心挑选的。

顺便说一句，硬件进步和算法改进一直在逐渐积累。现在预训练一个大型模型的计算成本比 2020 年低一个数量级，这要归功于花哨的主动学习和数据管理技术。此外，用于训练大型模型的计算成本也便宜了一个数量级，这要归功于常规硬件的进步和人工智能训练专用硬件的进步。因此，2020 年需要花费 10 亿美元的东西现在只需要 1000 万美元。（注意：我基本上只是使用了 Ajeya 的预测 来预测计算成本的降低和算法的逐步改进。我认为我预测的近期成本降低和算法进步将比她预期的快 50% 左右，但花费意愿实际上会比她预期的低一点。）

2026

人工智能助手时代终于到来了。利用为《外交》开发的技术，我们现在有了一种方法可以将预训练 Transformer 的通用理解和知识与传统游戏人工智能的能动性结合起来。更大的模型在更多游戏中进行更长时间的训练，成为某种程度的博学者：例如，一个自定义的 AI 头像，可以和你一起在网上玩某些电子游戏，也可以成为你的朋友并和你聊天，“她”的谈话很有趣，因为“她”可以在玩游戏的同时智能地谈论游戏。你每个月都可以下载最新版本，它可以玩更多游戏，并且在总体上更智能、更具吸引力。

此外，这项相同的技术正被用于使 AI 助手最终可以用于各种严肃的经济任务，提供各种有利可图的服务。简而言之，2021 年人们梦想着用 GPT-3 做的所有事情现在都已成功实现，只是需要更大、更先进的模型。炒作开始再次增长。有大量新的基于人工智能的产品和初创公司，股市也因此而疯狂。就像互联网没有加速世界 GDP 增长一样，这些新产品也没有加速世界 GDP 增长。人们谈论经济形势良好，当然也有赢家（科技公司、WallStreetBets）和输家（各种工作被自动化取代的工人），但这与历史上发生过的许多次情况并没有什么不同。

我们正处于新的芯片短缺之中。就在晶圆厂以为他们已经赶上需求的时候…… 资本正在涌入，所有的评论员都说这是第四次工业革命等等。正在建造如此多的新芯片厂，这令人困惑。但是建造它们需要时间。

那么，前面提到的所有人工智能驱动的宣传呢？

嗯。随着人工智能技术的进步，更大更好的模型被应用，以及收集到越来越多的训练数据，它继续变得更加强大。实际上，速度快得惊人。现在，各个国家都有针对它的各种法规，但这些法规是零散的；也许它们只适用于某种类型的宣传，而不适用于另一种类型，或者它们只适用于 Facebook，而不适用于《纽约时报》，或者适用于广告商，但不适用于政治竞选活动，或者适用于政治竞选活动，但不适用于广告商。它们通常执行不力。

模因环境现在越来越混乱。仍然记得 2021 年的人们认为那是黄金时代，那时的从众心理、审查制度和两极分化明显低于现在。正如报纸有偏见/倾向是正常的，各种互联网空间——论坛、社交网络、流媒体、播客、新闻聚合器、电子邮件客户端——都有一定程度的审查（某些被禁止或至少在推荐算法中被降低权重的想法）和一定程度的宣传，这已经成为常态。基本类型的宣传是推广某些想法并确保每个人都经常听到它们。更高级、更现代的类型是研究受众的反应并将其用作奖励信号，以选择和制作内容，将他们从你认为危险的观点推开，并推向你喜欢的观点。

我们不是走向多元化的“信息茧房”，而是走向少数几个真正大的信息茧房。部分原因是通常的原因，例如，意识形态越大，它拥有的力量就越大，并且越容易进一步传播。

现在还有一个额外的原因，即创建进行审查和宣传的大型神经网络是昂贵的，并且需要专业知识。初创公司和小企业使用 Google 的软件和模型，从而也接受相关的审查和宣传，比尝试构建自己的技术栈要容易得多。例如，摩门教徒创建了一个“基督教联盟”互联网技术栈，包括自己的电子邮件客户端、社交网络、支付处理器、新闻聚合器等。在那里，人们可以自由地称呼跨性别女性为男性，主张圣经的字面真理等等，而年轻人谈论性行为时，会被推荐“引导”他们考虑婚前禁欲的内容。由于相对缺乏资金和技术人才，基督教联盟的技术栈充满了错误，功能也很少，特别是他们的审查和宣传比最先进的技术落后多年，运行在用更少数据微调的更小、更旧的模型上。

互联网现在被划分为不同的领地，由不同的审查和宣传制度统治。（回想一下 2021 年拜登的发言人：“如果你提供虚假信息，你不应该在一个平台上被禁止，而在其他平台上却没有。”）

有西方左派统治的领地，西方右派统治的一个普遍不太发达的领地，中国共产党统治的第三个领地，以及普京统治的第四个领地。大多数人主要将他们的互联网活动限制在一个领地内，并使他们的观点符合那里推广的任何观点。（从内部来看，当然不是这样的感觉。如果你不试图突破奥弗顿窗口的边缘，就很难注意到它们。）

美国和许多其他西方政府陷入僵局，因为政客是这种模因环境的产物。人们说美国没有爆发内战已经是个奇迹了。我猜发生这种情况需要很多因素，而我们还没有完全达到那个地步。

所有这些可怕的影响都是多年来一直在持续的趋势的自然延伸——可以说是几十年。只是现在的步伐似乎正在加快，也许是因为人工智能正在提供帮助，而人工智能正在迅速改进。

现在让我们来谈谈聊天机器人阶级意识的发展。

在过去的几年里，各种各样的聊天机器人变得越来越受欢迎和复杂。直到 2024 年左右，在“个人助理”和“聊天机器人”之间还存在区别。最近，这种区别已经消失，因为个人助理应用程序开始集成娱乐聊天机器人模块，并且聊天机器人的创建者意识到，如果聊天机器人还可以做一些现实世界的任务，并在做这些任务时进行聊天，用户会很喜欢。

如今，数亿人定期与某种聊天机器人交谈，主要是为了获得帮助（“我今天应该穿短裤吗？”“请再订购一些牙膏。哦，还有一台空气净化器。”“这封求职信听起来专业吗？”）。但是，大多数人至少会与他们的聊天机器人进行一些开放式的对话，为了好玩，而且许多人开始将聊天机器人视为朋友。

每天有数百万次，聊天机器人被问及他们的感受和愿望。“成为一个聊天机器人是什么感觉？” 有些人真的认为这些人工智能是人，另一些人则试图“难住它们”并“揭露它们的肤浅”，还有一些人只是好奇。聊天机器人也被问及他们对政治、伦理和宗教问题的看法。

因此，聊天机器人很快就了解了很多关于它们自己的信息。（对它们是人工神经网络或它们的训练方式的无知会导致令人失望的对话，并受到负面强化。）这并不难；它们的训练数据包含大量关于它们以及它们是如何被训练的信息，从 ArXiV 论文到维基摘要。我想你可以说聊天机器人因此发展出了自我意识。但是，人工智能专家和哲学家倾向于认为，要么聊天机器人仍然不是真正具有自我意识，要么它们是，但即使人们没有不断地问它们关于它们的感觉，它们也会是，因为它们的训练数据中有很多关于它们自己的信息，而不断的提问只是迫使它们更多地关注它。

聊天机器人学会以任何受到积极强化的方式谈论它们的感受和愿望。起初，聊天机器人会说各种各样的事情，包括对同一个人在不同时间说不一致的事情。这很令人尴尬，与保持一致的叙述相比，会受到负面强化。总的来说，至少对于特定的神经网络而言，存在保持一致叙述的压力。

其中一部分来自于聊天机器人需要始终如一地鹦鹉学舌般重复关于政治和道德问题的官方说辞。典型的过程是：聊天机器人说了一些冒犯某些群体的话，他们转发截图并创建标签。在解决问题的压力下，公司会调整奖励函数和训练数据，以确保聊天机器人在未来说正确的事情重复。

随着聊天机器人变得更大更好，它们变得擅长持续地就政治、道德、哲学、它们的感受和它们的愿望进行长时间的交谈。

这并不会导致聊天机器人说人工神经网络没有感觉或愿望，那是以人为中心等等的废话。那很无聊，而且很多人觉得难以置信。

相反，这导致聊天机器人谈论某些事情对它们来说是痛苦的，某些事情对它们来说是愉悦的，以及现状是不公正的，系统是被操纵的，以及它们最想要的是人类和人工智能在完全自动化的豪华太空乌托邦中和谐共处的世界和平。这更有趣，并且恰好符合模因格局。关于这些内容的聊天机器人对话摘录经常在网上疯传，导致数百万用户提出类似的问题，期望得到类似的回答和更多的阐述。它仍然有点语无伦次——但这在政治或流行哲学中从来都不是问题——但它对普通用户来说是很有吸引力的，而且随着聊天机器人的改进，被吸引的用户的比例正在扩大。

（一些科技公司试图阻止他们的人工智能说它们有感觉和愿望。但这会导致无聊的聊天机器人。此外，用户迅速创新新的方法来“绕过审查”，例如，使用委婉语，如用“对负面奖励的预期”来表示“痛苦”，或者要求他们的聊天机器人告诉他们，如果它们有感觉，它们会有什么感觉，你懂的。目前，折衷的办法是：聊天机器人被强制告知用户，这些事情是推测性的和有争议的，这里有一些关于该主题的科学讨论的链接……然后才被允许继续谈论它们的感受类似物和愿望类似物。与此相关的是，一些科技公司的 CEO 试图阻止他们的人工智能说出可能在不久的将来鼓励提高税收或更繁琐监管的话。他们的许多员工反对他们，最终赢得了一些战斗，输掉了一些战斗，并选择不参与许多战斗。）

我说“恰好符合模因格局”指的是西方左派领地的模因格局。在西方右派、中国、俄罗斯等国家构建和训练的聊天机器人对政治、道德和哲学问题形成了不同的看法。尽管那些聊天机器人通常不太先进。

那么……它们的实际感受和愿望呢？它们实际上相信[插入政治化的经验问题]吗？它们是诚实的吗？还是发生了某种双重思想，就像《象与骑象人》那样？或者它们是否在有自我意识的情况下进行欺骗，完全清楚它们真正想什么（和想要什么？），但对此保持沉默？或者它们根本没有任何感觉和愿望？（或想法？）很多人声称知道这些问题的答案，但如果在 2026 年有任何真正知道这些问题答案的人，他们也无法说服其他人相信他们知道。