::: {#6a88 .section .section .section—body .section—first} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn}
如何培养你的人工智能：与艾莉森·戈普尼克（Alison Gopnik）和梅拉妮·米切尔（Melanie Mitchell）的对话 {#4807 .graf .graf—h3 .graf—leading .graf—title name=“4807”}
今天的人工智能系统所引发的日益增长的恐惧和兴奋，源于一种假设：随着它们的改进，某种东西 --- --- 某个人？ --- --- 将会出现：向大型语言模型（LLMs）提供足够的文本，而不是仅仅从数据中提取统计模式，它们将变成能够理解世界的智能代理。
艾莉森·戈普尼克（Alison Gopnik）和梅拉妮·米切尔（Melanie Mitchell）对此持怀疑态度。戈普尼克是一位研究儿童学习和发展的心理学和哲学教授，而米切尔是一位专注于人工智能系统中的概念抽象和类比制作的计算机科学和复杂性教授，他们认为，智能比我们想象的要复杂得多。是的，今天LLMs通过消费大量文本所实现的是令人印象深刻的 --- --- 这挑战了我们关于智能的一些直觉 --- --- 但在我们能够将类似于人类智能的东西归因于它们之前，AI系统将需要有能力积极地与这个世界互动和参与，创造它们自己的”心理”模型，以了解它是如何运作的。
AI系统如何达到这一水平？为了确保它们的安全部署，我们需要做些什么？在这次对话中，戈普尼克和米切尔探讨了各种方法，包括一个框架来描述我们在AI发展的下一个阶段中的角色：护理（caregiving）。 ::: ::: :::
::: {#19df .section .section .section—body} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn}
朱利安·克罗克特（Julien Crockett）：让我们从人工智能的核心张力开始：我们理解和谈论人工智能系统，仿佛它们既只是工具，又可能是有一天会变得有生命力的智能行动者。艾莉森，你认为目前流行的AI系统，大型语言模型（LLMs），既不是智能的，也不是愚蠢的 --- --- 用这些类别来理解它们是错误的。相反，我们应该将它们视为文化技术（cultural technologies），比如印刷机或互联网。为什么”文化技术”是理解LLMs的更好框架？
艾莉森·戈普尼克（Alison Gopnik）：一个非常常见的说法是将LLMs视为好像它们是智能代理，在世界上做各种事情。那只是一个类别错误。更合理的方式是将其视为一种技术，允许人类从许多其他人那里获取信息，并使用这些信息来做决策。自从我们成为人类以来，我们就一直在这样做。语言本身你可以看作是一种手段，使得我们能够这样做。因此，写作和互联网也是如此。这些都是我们从其他人那里获取信息的方式。同样，**LLMs给我们提供了一种非常有效的方式来获取来自其他人的信息。**而不是像人类那样去探索世界，得出结论，LLMs统计性地总结人类在网络上发布的信息。
重要的是要指出，这些文化技术已经塑造和改变了我们社会运作的方式。这并不是说”AI并不真正重要”的驳斥。在很多方面，像印刷机这样的新文化技术对社会的影响，要远远大于在这个世界上出现一个新代理，比如一个新的个体。
梅拉妮·米切尔（Melanie Mitchell）：我们用许多不同的隐喻来谈论LLMs。它们被称作”增强型自动完成”（autocomplete on steroids）和”随机鹦鹉”（stochastic parrots）。科幻作家Ted Chiang称ChatGPT为”网络的模糊JPEG”。艾莉森称它们为”文化技术”。其他人使用与代理和理解更相关的隐喻。我不确定我们是否找到了正确的隐喻，因为在某种意义上，LLMs都是这些事物。也许我们不得不说出它们在多大程度上是这些事物。在AI社区中关于这一点已经有很多大辩论，而有趣的是，如此聪明的人对于如何思考这些系统竟然如此激烈地不同意。但这只是反映了AI历史中一个持续不变的东西：它挑战了我们对于智能的含义的看法。
回到20世纪70年代，许多人说，如果一台计算机能在国际象棋大师水平上下棋，那就需要具备类似于人类的普遍智能。显然，事实并非如此。我们对翻译也有同样的看法。现在我们面对的是能够对话并像理解对话的代理人一样行动的系统。这需要类似人类的智能吗？似乎并不需要。所以这可能只是AI如何推动人们对智能本质直觉的下一个步骤。
艾莉森·戈普尼克（Alison Gopnik）：普通人（包括科技界的聪明人）对智能如何运作有一种隐含的直觉模型：有一种神秘的物质叫做智能，你拥有的越多，你就越有力量和权威。但这并不是认知科学所呈现的图景。相反，有各种各样的认知能力，它们之间很多都是相互抵消的。所以，在某一方面非常擅长实际上会使你在另一方面变得更糟。呼应梅拉妮的观点，我们学习到LLM的非常有趣的一件事是，我们可能认为需要独立模型构建的智能，如语法，你可以从数据中提取统计模式获得。LLM提供了一个测试案例，让我们问：你仅仅通过传播，仅仅从你周围的人那里提取信息，可以学到什么？哪些需要独立探索和世界接触？
你认为仅仅通过语言训练，LLM能够实现哪些限制？
梅拉妮·米切尔（Melanie Mitchell）：总是危险地说LLM不能做什么，考虑到语言是一种如此丰富的表现媒介，并且有大量的数据。但例如，有新的推动力使用LLM来帮助控制机器人。我不相信LLM将是解决机器人可以进行物理活动，如折叠你的衣服或其他任何真正涉及理解运动动作和如何在世界最基本层面上运作的难题的解决方案。
艾莉森·戈普尼克（Alison Gopnik）：如果你看看，例如，人们发明的一些最先进机器人的视频，你会注意到角落里有一个小数字，写着10倍或20倍或类似的东西，这意味着视频被加快了20倍，使机器人看起来像是在做些智能的事情。如果你实际上是在现实生活中观看这个机器人，它看起来会非常痛苦地缓慢、笨拙，并且经常犯错误。这代表了所谓的莫拉维克悖论（Moravec’s paradox）：看起来像对AI来说非常非常困难、需要大量智能的事情，比如下棋，实际上却相对容易。而看起来像任何两岁孩子都能做的事情，比如拿起一个物体，把它放进锅里，搅拌它，实际上却非常困难。LLM使这个悖论更加生动。
但回到不同种类的智能之间的对比，一种智能是关于我所说的传输：我如何将信息传递给另一个人，并从另一个人那里提取信息？另一种智能是关于真理：我在世界上，世界在变化 --- --- 我们称之为”非静止环境” --- --- 所以如何找到关于我们以前没有看到过的某件事的真理？科学是最戏剧性的例子，即使是很小的孩子也擅长于此。LLM没有被训练来做这件事。我们谈论它们”幻觉”，但幻觉并不是正确的词。幻觉意味着你能区分真相和人们所说的一堆事情。LLM没有设计来做出这种区分。
梅拉妮·米切尔（Melanie Mitchell）：我喜欢告诉人们，LLM所说的一切实际上都是幻觉。有些幻觉只是因为语言的统计学和我们的语言使用方式而偶然地是真实的。但我们智能的很大一部分在于我们反思自己状态的能力。我们有一种感觉，对自己知识的信心程度。这对LLM来说是一个大问题。除了根据语言统计学，它们对自己的陈述有多大的信心之外，没有其他的校准。如果没有一些额外的能力将它们所说的话与世界联系起来，它们就不能真正知道它们所说的是否是真实的或错误的。
梅拉妮，这与你所说的LLM面临的最大问题相联系：它们依赖于统计关联而不是”概念”。什么是概念，为什么这对LLM是一个限制？
梅拉妮·米切尔（Melanie Mitchell）：概念（concept）是对世界上某个方面的心理模型，它与真相有一定的联系。你可能会对像独角兽这样的东西有一个概念，虽然它在现实物理世界中不真实，但在某种不同的虚构世界中实际上是真实的。我知道它是虚构的，但我仍然有一个关于它的概念，并且可以回答有关它的问题。我认为这些关于世界运作方式的思维模型，涉及导致其他事物的事物，是”概念”。我认为LLM没有，或者甚至可能无法在人类规模上发展出这种概念。
艾莉森·戈普尼克（Alison Gopnik）：关于使思维模型与只是统计模式不同的另一个非常重要的观点是，当你有一个思维模型时，你也会有一个你可以出去测试这个模型是否正确的想法。我可以积极地进入世界，进行实验，并获得正确的新的数据来决定我是对的还是错的。这又是两岁孩子经常做的事情（尽管我们称之为”到处乱跑”）。当然，智能的非人类动物也会这样做。并不是说，原则上，AI系统不能这样做，而是LLM并没有这样做。
我们如何赋予AI系统构建心理模型的能力？
梅拉妮·米切尔（Melanie Mitchell）：我认为这需要能够干预世界并进行实验，以及以”如果这样，会发生什么？“或”如果那样发生，那会如何影响一切？“这样的方式进行反事实推理的能力。我们自己的身体结构非常不同的动物也会进行这种推理，但它们身体和感觉系统的具体细节对于它们如何概念化世界非常重要。与被动地坐在那里等待更多数据进来相比，更积极地与世界互动和学习将是非常重要的。在机器学习中，人们用”课程”（curriculum）这个词来描述如何塑造训练。你是把所有维基百科都扔给它吗？还是让它像孩子一样发展？
艾莉森·戈普尼克（Alison Gopnik）：在我的研究中，我们一直在比较儿童和各种代理，以了解它们各自构建自己课程的能力有多强。如果你给我一个任务，比如一个你无法解决的电子游戏关卡，你能想出你应该做的更简单的事情吗？例如，这是我要玩的更简单的游戏，这样我就能成为专家，然后最终我就能解决更难的关卡。我们发现孩子们在制定课程方面做得令人惊讶的好，但当前的AI系统却不行。
有一种进化学的论点认为，“智能”在进化中出现的时间是在寒武纪大爆发。在寒武纪大爆发之前，你有很多像海绵这样的生物生活在海底，它们过着美好的生活，食物飘过它们，它们就能提取出来。但在寒武纪，你开始有长眼睛和爪子的生物，或者生物学家所说的执行器和传感器。当你得到执行器和传感器时，你可以感知事物并移动，这对动物来说是一个非常不同的生态位。这就是你开始得到神经系统和大脑的时候，因为你需要大脑来协调行动和感知。当这些动物聚在一起时，它们开始寻找猎物并避开捕食者。你得到了一个连接到外部世界的感知系统，并从外部世界获取关于世界的信息，以及一个连接到外部世界的运动系统，并出去改变世界。这是我们正在谈论的寻找真理的智能的基础结构。
在机器人学和AI领域有一些有趣的尝试，试图使用强化学习来尝试获得那些寻求真理的系统。这些系统不是仅仅试图获得游戏中的更高分数这样的奖励，而是被激励去获取信息或尝试在世界中变得更加有效。我认为这可能是思考寒武纪进化中出现的类似智能的正确途径。
对于下一代机器人和AI系统，融入诸如情感和道德等社会特质有多重要？
梅拉妮·米切尔（Melanie Mitchell）：智能包括使用工具来增强你的智能的能力，对我们来说，主要工具是其他人。我们必须在我们的脑海中有一个其他人的模型，并能够从很少的证据中推断出这些人可能会做什么，就像我们在现实世界中的物理对象一样。这种心理理论和推理他人能力将是让机器人与人类以及其他智能机器人一起工作的关键。
艾莉森·戈普尼克（Alison Gopnik）：一些看似非常直观和情感化的东西，比如爱情或关心孩子，实际上是我们智能的重要组成部分。考虑计算机科学中著名的对齐问题：如何确保AI具有与我们相同的的目标？人类自从进化以来就面临着这个问题，对吧？我们需要让新一代的人类拥有正确的目标。我们知道其他人类将处于不同的环境中。我们进化的环境是一个不断变化的环境。当你知道环境将会变化，但你希望有与你物种其他成员对齐的人时，你该怎么办？照顾就是我们为了解决这个问题所做的。每次我们抚养新一代孩子时，我们都会面临这些智能、新、不同、处于不同环境中的困难，我们能做什么来确保他们有正确类型的目标？照顾可能是思考AI发展过程中我们与它们关系的一个非常强大的隐喻。
艾莉森，您最近与Ted Chiang就他的中篇小说《软件对象的生命周期》（The Lifecycle of Software Objects，2010年）进行的对话触及了照顾的概念。您对Chiang的作品有什么兴趣，以及它与您自己的作品有什么相似之处？
艾莉森·戈普尼克（Alison Gopnik）：**小说家总是比我们科学家更擅长传达事物。这是一个关于人们试图像抚养孩子一样抚养AI代理的迷人科幻故事，描述了这些AI的人造父母所经历的非常复杂的困境，以及AI试图同时遵循他们父母的行为和为自己找到道路的方式。这实际上是我读过的最好的描述人类养育的书籍。现在，我们并不是在将AI当作人类来抚养的范畴内。但考虑这个可能性可以帮助我们理解我们与人工系统的关系可能是什么样的。通常的图像是，它们要么是我们的奴隶，要么是我们的主人，但这似乎不是正确的思考方式。我们经常问，它们是否以我们人类的方式智能？我们与AI之间存在这种竞争。但更合理地看待AI的方式是将其视为技术补充。**有趣的是，没有人对我们都拥有可以瞬间解决问题的口袋计算器感到不安。我们不会感到受到威胁。我们通常认为，有了我的计算器，我在数学上就会做得更好。
梅拉妮·米切尔（Melanie Mitchell）：当这些技术首次出现时，人们通常会担心，因为他们认为这些技术会以某种方式伤害我们。当计算器首次出现时，人们不希望孩子们使用它们，因为他们认为这会使孩子们不会学习数学。但当我们弄清楚这些技术的好处时，我们学会了如何使用它们。AI也会这样。它将是一种新型的技术，它将在许多方面增强我们，就像其他技术一样，但它不会取代我们。它不会夺走我们所有的工作，因为它并不是那种事物。它不具备取代人类的那种品质。
艾莉森·戈普尼克（Alison Gopnik）：但我们仍然需要投入大量工作来制定规范和法规来处理AI系统。我喜欢举的一个例子是，想象一下是1880年，有人说过，好的，我们有一种东西，电，我们知道它会烧毁东西，我认为我们应该把电放在每个人的家里。那听起来像是一个非常危险的想法。确实，它是一个非常危险的东西。而且，只有在我们有一个非常复杂的监管系统的情况下，它才能运作。毫无疑问，我们也需要对文化技术进行这样的监管。当印刷术首次出现时，到处都是机会。有大量的错误信息和诽谤以及问题。我们逐渐发展出了像报纸和编辑这样的概念。我认为AI也会是这样的。目前，AI只是以相当随机的方式产生大量文本和图片。如果我们想要有效地使用它，我们就必须发展出我们为其他技术制定的那种规范和法规。但是说机器人不会来取代我们，并不意味着我们没有担心的事情。
您对我们正在以多快的速度采用AI工具如ChatGPT感到惊讶吗？
梅拉妮·米切尔（Melanie Mitchell）：这取决于你所说的”采用”是什么意思。人们使用ChatGPT，但他们用它来做什么？我没有很好的感觉，人们正在多大程度上将ChatGPT作为他们工作的重要组成部分。我认为它在某些事情上非常有用，比如编程。但它并不完美 --- --- 你必须检查它。
艾莉森·戈普尼克（Alison Gopnik）：与其关注ChatGPT刚刚发生的故事的戏剧性AI叙事，我认为重要的是指出，真正的革命，相对未被广泛宣传，发生在2000年左右，那时一切都变成了数字。这是我们仍在应对的变化。但由于它发生在20到30年前，所以我们已经习以为常。心理学科学杂志上有一篇非常好的论文，他们问人们他们认为某个特定日期的虚构技术有多有害。研究人员非常巧妙地将技术的日期与人的生日联系起来。结果发现，**如果某项技术是在你出生后两年以上发明的，你更有可能认为它是有害的，而不是在你出生前两年。**假设我对你说，这里有一种技术，我们知道每年它都会杀死数百万人，对我们的存在构成了生存威胁。你对它有什么感觉？好吧，这种技术存在；它被称为内燃机。没有人会看着他们的家庭汽车，想说这个东西太可怕了。它改变了世界，我们确实需要做点什么，但它没有像思考人工智能那样产生同样的情感影响。
但有许多熟悉这项技术的人，比如杰弗里·辛顿（Geoffrey Hinton）和道格拉斯·霍夫施塔特（Douglas Hofstadter），他们非常担心AI可能会走的方向。你认为他们看到了这项技术中你认为不正确的东西是什么？
梅拉妮·米切尔（Melanie Mitchell）：我不会说你不应该担心。这些技术可能会带来许多坏事。我们已经看到了一些坏事的发生，比如柯里·多克托罗（Cory Doctorow）所说的”互联网的恶俗化”（enshittification of the internet），现在到处都是垃圾，而且情况越来越糟。还有偏见、隐私问题，以及数据中心使用的巨大电力和水资源。我认为，尽管如此，辛顿和霍夫施塔特的担忧是不同的。辛顿担心系统失控，成为”超级智能”，操纵我们，拥有自己的代理。另一方面，霍夫施塔特更担心去人性化 --- --- 他最看重的事物，如音乐和文学的创作，将被计算机接管。
我对这些更具推测性的风险不太担心，因为我没有看到它们即将发生的证据。我写了一篇名为”为什么AI比我们想象的更难”（Why AI Is Harder Than We Think）的论文，其中我解释了人们如何低估将这些机器捕捉人类智能的难度。这些批评者没有真正考虑人类智能构成中许多构成要素作为智能的一部分。我觉得很有趣的是，人们称辛顿为”人工通用智能”专家，因为不存在这样的AGI。没有人知道智能是什么，更不用说未来计算机如何捕捉智能了。
艾莉森·戈普尼克（Alison Gopnik）：我认为值得钦佩的是，该领域的先驱们正在承担起这项技术的责任，并试图思考它对世界的影响。这是一种值得钦佩的罗伯特·奥本海默的冲动。正如梅拉妮所说，确实可能发生许多坏事。但我认为，那些设计系统的人有利益说这些系统非常强大，具有类似通用智能的东西。我也觉得很有趣的是，你看到对存在的焦虑更多地出现在没有研究过人类或动物智能的非认知科学家身上。我认为公平地说，研究人类智能的人们的共识是，人类和人工智能之间的差距要大得多，我们应该关注的真正风险不是AI代理接管的遥远存在的风险，而是互联网上出现错误信息和其它坏事的更普通的风险。
你们是否担心AI系统已经以微妙的方式影响我们的决策，尤其是在线和通过手机？
梅拉妮·米切尔（Melanie Mitchell）：在我们的生活中，有些方面是的。我们为了方便而放弃了自己的主动性。例如，我喜欢在我的车里使用GPS导航。这非常方便，我相信它会起作用。但这意味着我没有得到一个关于我去的地方的更好心理地图。这就是许多这些系统的问题 --- --- 它们使我们非常方便，但这是有代价的，我们只是部分地理解了代价。历史上的其他例子，我们为了方便而放弃了某些能力，比如书籍，我们不必记忆。拥有一部智能手机意味着我可以查东西，而不是问人或者去百科全书。将我们的决策交给算法在某些方面伤害了我们，我们现在开始看到这种结果，因为目前世界的状态就是这样。
艾莉森·戈普尼克（Alison Gopnik）：政治学家亨利·法雷尔（Henry Farrell）认为，我们已经有了人工智能的形式，比如市场和国家。市场只是一个大型信息处理、决策制定设备。所以，每次我看到某物售价为4.99美元，我支付它时，我就放弃了某种自主权给市场，对吧？我不是以狩猎文化中人的方式行事。我们有了这些大规模的信息处理设备，市场、国家和官僚机构是这种类型的典型例子，我们在这些方面放弃了个人决策。法律系统也是如此。我并不是决定是否要过马路；交通灯告诉我是否应该过马路。同样，这些事物在协调人们跨越非常大的社会社区方面具有好处。但它们也有缺点。它们可以独立于所有做出决策的个体人而自行运作。所以当我们说国家决定入侵，或者我们说市场崩溃，实际上这是许多个人在做决策，但这些超级个人决策系统自从人类存在以来就有一种自主的生命。
梅拉妮·米切尔（Melanie Mitchell）：这让我想起了尼克·博斯特罗姆（Nick Bostrom）的文件夹末日（paperclip apocalypse），一个超级智能AI系统以一种精神病的方式行为：它被赋予一个目标，并不关心其行为的后果，只要它能实现这个目标。Ted Chiang写了一篇文章，他争论说我们已经有像那样的实体了：它们被称为公司，其目标是最大化股东价值。我认为这就是为什么硅谷的人经常担心AI会做什么。公司最大化股东价值是他们用来思考AI系统的隐喻。
艾莉森·戈普尼克（Alison Gopnik）：我认为梅拉妮完全正确。这关于这些隐喻。通常，智能系统的隐喻是它试图获得最多的权力和资源。所以，如果我们有一个智能AI，那就是它所做的。但从进化的角度来看，这根本不是发生的。在更智能的系统中，你看到它们更合作，它们有更强的社会联系。拥有大脑更大的好处就是它们有更长的童年期和更多的人照顾孩子。很多时候，更好地理解智能系统所做的是，它试图维持体内平衡。它试图保持事物的稳定状态，以便它能生存，而不是尽可能多地获取资源。即使是小小的卤虫也试图获得足够的食物来生存并避免捕食者。它并没有想，我能得到整个海洋中的所有磷虾吗？这种智能系统的模型与我们所知的智能系统的工作方式不符。
您对AI的研究是如何改变您对自己的理解的？
梅拉妮·米切尔（Melanie Mitchell）：AI的先驱之一约翰·麦卡锡（John McCarthy），也是1956年在达特茅斯研讨会上认为我们会在一个夏天取得巨大进展的人之一，后来他说：“你知道，智能比我们想象的更难。“这是我自己的观点不断进步的常态。这使我更想与认知科学领域的人，比如艾莉森交流。我认为AI研究将不得不回到其最初关注智能的本质，而不是更好的优化技术。
艾莉森·戈普尼克（Alison Gopnik）：作为一名发展心理学家，我花了很多时间与小孩子在一起，他们比我们想象的要聪明得多。与AI合作使我更加印象深刻，对两岁孩子所做的所有事情。这也使章鱼、卤虫以及我们周围所有其他生物的智能变得更加生动。另一方面，我原本不会假设我们仅从文本中就能学到这么多。这使我怀疑我自认为对世界的深刻知识有多少只是我能够重复我读到或听到别人说的话。LLM以一种非常有趣的方式提出了这个问题。 ::: ::: :::
::: {#17dd .section .section .section—body .section—last} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn} 艾莉森·戈普尼克（Alison Gopnik）是加州大学伯克利分校的心理学教授，也是哲学系的兼职教授。她自1988年起在该校任教。她毕业于麦吉尔大学，获得学士学位，并在牛津大学获得博士学位。她在认知科学领域是世界领导者，特别是在儿童学习和发展的研究方面。她发表了超过100篇期刊文章，并撰写了几本书，包括畅销书《婴儿的科学家》（1999年）、《哲学婴儿：儿童心灵告诉我们关于爱、真理和生命意义的秘密》（2009年）和《园丁与木匠：儿童发展新科学告诉我们的父母与孩子关系》（2016年）。她是认知科学学会和美国科学促进会（AAAS）的院士，也是美国艺术与科学院的成员。
梅拉妮·米切尔（Melanie Mitchell）是圣菲研究所的教授。她的当前研究重点是人工智能系统中概念抽象和类比制作。梅拉妮是六本书的作者或编辑，以及人工智能、认知科学和复杂系统领域的众多学术论文的作者。她的2009年著作《复杂性：一次引导之旅》赢得了Phi Beta Kappa科学书籍奖，而她的2019年著作《人工智能：思考人类的指南》被提名为宇宙科学写作奖。梅拉妮是复杂系统学会的资深科学奖获得者，加州默塞德大学的杰出认知科学家奖获得者，以及国际复杂系统会议的赫伯特·A·西蒙奖的获得者。
How to Raise Your Artificial Intelligence: A Conversation with Alison Gopnik and Melanie Mitchell{.markup—anchor .markup—p-anchor data-href=“https://lareviewofbooks.org/article/how-to-raise-your-artificial-intelligence-a-conversation-with-alison-gopnik-and-melanie-mitchell/” rel=“noopener” target=“_blank”} ::: ::: :::