文｜苏扬 晓静 木木
编辑｜云云
“大模型真的可以理解‘人类理解问题的方式’，和人类理解语言的方式是一样的。”图灵奖得主、诺贝尔奖得主、计算机学家杰弗里·辛顿在WAIC25大会上说。
不过，辛顿此次来中国，并不为了再去复述大模型的能力有多强，而是要为越来越强大，甚至已经呈现出超越人类智力的AI套上“紧箍咒”——既要让它为人类服务提效，也避免“AI觉醒”而失去控制。
在此之前，辛顿、姚期智、本吉奥等在内的专家学者，围绕AI安全这个话题签署了“上海共识” “北京共识”等文件，呼吁对能力不断进化的大模型“划红线”。
在辛顿看来，今天的大语言模型——它们在本质上与人类相同，都是把词映射到高维特征，再像“多维乐高积木”般灵活“握手”组合，完成语义建模。
但同时，辛顿也提醒，大模型与人脑相比，具有“软件‑硬件分离”的差异，这种差异也赋予了数字智能知识“永生”的潜力，也恰恰是这种“数字永生”，暗藏着高能耗、失控等危及人类安全的风险。
“我们没有办法消除AI，即使一个国家消除了AI，别的国家也不会这么做。如果我们想要人类生存的话，必须找到一个办法来训练AI，让它们不要消灭人类。”辛顿说。
辛顿提出，若要避免被自身创造的“智能”反噬，必须携手研究“让 AI 向善”的训练方法，建立跨国协作网络，为未来超越人类智慧的机器奠定安全边界。
划重点：
以下为演讲全文实录：
各位好，
大概60多年过去了，AI有两种不同的范式和路径。
一个是逻辑性的，过去一个世纪AI都是基于逻辑型的范式，逻辑智能的本质在于推理，我们通过一些符号规则对符号的表达式进行操作来实现推理，帮助我们更好的去理解知识的表现形式。另一种就是生物作为基础的理解AI，也是图灵和冯诺依曼所相信的智能基础——更好的去学习、了解网络中的一些连接。这个过程中的理解是第一位的，只有理解才能够学习。
那么和这两种理论相结合，其中，基于符号的型的AI，它的原理就是看数字，但最后如何关注这些词之间的关系？心理学家采用了一种不同的理论：数字的意思就是一系列语义学的特征，这些特征是客观存在的。
1985年，我做了一个非常小的模型，尝试将这两种理论结合在一起，然后更好地去理解“人类是如何理解一个词汇的”。每一个词，我都放了好几个不同的特征，然后将前一个词的特征记录下来，再预测下一个词是什么。
在这个过程中，我们没有存储任何的句子，而是生成句子，并预测下一个词是什么。
接下来30年发生了什么？
10年之后，约书亚·本吉奥也用了这样的一个模式去建模，但把规模做的很大，好比是自然语言的真实模拟。
20年之后，计算语言学家也终于开始去接受特征向量的嵌入去表达词的意思（的范式）。
大概在30年后，谷歌发明了transformer，然后OpenAI的研究人员向大家展示了它的强大能力。今天的大语言模型，我把它当做是微型语言模型的后代，（现在的模型）使用了更多的词作为输入，使用了更多层的神经元结构，因为有大脑模糊不清的词被应用，学习特征之间也存在更加复杂的交互模式。
但是，就像我做的那些小模型一样，大语言模型和人类理解语言的方式是一样的，基本的逻辑就是将词转化为一些特征，然后将这些特征以一种非常完美的方式整合在一起，这就是大语言模型各个层次所做的事情，所以在我看来，大语言模型真的可以理解人类理解问题的方式，和人类理解语言的方式是一样的。
我在这里给大家打个比方——什么叫理解一句话，基于符号型的AI是如何将一套模糊的词转化为可以理解的语言。
比如做乐高积木，你可以做成任何一种3D形状，我们可以将词汇理解为一个多维度的乐高，这些词它可能有几千个不同的维度，其实就是一种建模，可以做大量不同模型，你可以理解为语言建模，可以做出大量不同的内容，然后我们可以将这样的语言建模传递给其它人——我们只需要给每一块“积木”起一个名字，每一块“积木”就是一个词。
不过，与真实世界中造型固定的乐高不同，词的“形状”是可以根据语境灵活调整的。传统乐高是“一个正方形插进另一个正方形的小孔里”，而语言并不如此刚性。你可以想象：每个词上都长着许多“手”。要更好地理解一个词，就需要让它和另一个词以合适的方式“握手”。一旦词的形状发生变化，它与下一个词“握手”的方式也会随之不同。这里面就出现了一个优化问题：当一个词发生形变、其含义改变后，怎样与下一个词连接，才能产生更好的整体含义？这正是人脑理解意义，或者神经网络理解意义的根本机制。
从这个角度看，词与词的组合有点像蛋白质之间的结合：蛋白质由氨基酸以不同构象折叠、组装，结合后产生更有功能性的整体；语言中，词的特征在高维空间里“折叠—配对—整合”，共同形成更有意义的表达。这就是人脑理解词与语言的方式。
因此，我的观点是：人类理解语言的方式，与大语言模型理解语言的方式几乎相同。也正因为如此，人类可能就像大语言模型一样会产生“幻觉”——我们也会创造出许多“幻觉式”的语言，而大语言模型也会这么做。
但是，在一些根本性的方面，单元模型（大模型的基本计算单元）与人类并不相同，而且在某些能力上更强。计算机科学的一个根本原则，是把软件与硬件分离。这使得你可以在不同的硬件上运行同样的软件；而这与“WE”（原文如此）是不一样的，这也是计算机科学之所以成立的基础。如果软件能够正常工作，那么其中所承载的知识就是“永恒”的：你可以摧毁所有的硬件，哪怕承载 LLM 的硬件全部被毁灭，只要软件仍然存在，它就能随时被复活。从这个意义上讲，计算机程序中的知识是不会死亡的。
不过，要实现这种“永生”，我们必须让晶体管在非常高的功率下运行，以产生足够可靠的二进制行为，这个过程是昂贵的。换句话说，知识的“永恒”并非没有代价。
我们无法充分利用硬件内部那种“粒子级”的丰富物理特性，因为它们过于不稳定，难以保证可重复的数字行为。硬件属于模拟体系，每一次计算结果都可能略有偏差；人脑同样是模拟系统，而非数字机器，每一轮神经元放电都带有噪声且无法完全复制。
我不可能把自己大脑的突触连接原封不动地转移到你的大脑——每个人的连接拓扑都独一无二，只适合各自的神经结构。
正因如此，知识在大脑之间的传播方式与在硬件之间的复制方式截然不同，这也引出了一个关键问题。如果我们无法让知识“永生”于软件，就必须面对它牢牢依赖特定硬件这一局限；反之，软件一旦脱离硬件束缚便可长存，这带来了两大好处：第一，知识可以脱离硬件故障获得持久性；第二，它能在不同设备上快速复活并传播。
人脑的能效极高：整套系统只需约 30 瓦电力，却维系着上万亿个突触连接，与早期电子管计算机的能耗不可同日而语。我们无需为每个人复制一套完全一致的硬件，大脑已经足够节能。然而，若想把一个模拟系统中的知识完整迁移到另一套模拟系统，过程既低效又困难——我无法直接“展示”自己的神经网络给你，只能借助其它间接方式传递理解。
为了让你真正理解我已经掌握的知识，我也必须指出：人类依靠语言传递信息的带宽极其有限。即便你全神贯注地倾听，我一秒钟也最多只能向你输送约 100 比特的数据，这极大限制了知识从一个大脑向另一个大脑的迁移效率。
在数字世界里，我们用“蒸馏”来突破这一瓶颈。 的做法是：先训练一台规模庞大的“教师”神经网络，再把它学到的能力压缩到一个更小的“学生”网络中。教师负责把上下文中互相关联的词组织到一起，学生则在输出看似相同句子的同时，根据各自身体量重新调整权重——就像老师示范后，学生用更简洁的笔记复现同样的解题思路。
这种教师‑学生模式在人类之间非常低效，但在机器之间却能指数级提速。同一神经网络可以复制出数百甚至数万份拷贝，分布在不同硬件上运行；它们通过梯度同步或参数平均，便能在一次通信中共享高达万亿比特的信息。与人类口耳相传相比，这种交换速度快了整整几十亿倍。
想想 GPT‑4：它的众多副本同时运行在全球各地的数据中心，不断吸收互联网新知识，再把权重回传给主体模型。若这些副本进一步延伸到现实世界的智能体中，彼此学习与复制的速度只会更快——这是任何纯模拟或单机软件都做不到的。
当然，数字智能的这种狂飙离不开高能耗；而生物计算虽然只消耗微不足道的能量，却难以高效共享神经连接模式。如果未来能源足够廉价，数字计算将愈发占据优势，这也正是我担忧的原因——几乎所有专家都相信，我们终将造出比人类更聪明的 AI，而它们交换知识的效率将远超我们的想象。
我们已经习惯了（人类）是这个星球上最智能的生物，所以很多人觉得难以想象，如果在这个世界，AI比人更智能会怎么样？
如果你想要知道如果人类不是最智能的话会怎么样？
我们在创造AI智能体，它们能够帮我们完成任务。这些智能体，它们已经有能力进行拷贝。它们能给自己的子目标进行评级。
这个时候它们会想做两件事情，首先它们想要生存，所以需要完成我们给它们的目标。另外它们也希望能够获得更多的权利，这也是为了完成我们给它们的目标。所以，这些智能体，它想要生存，也想要更多的自我决策权利。
我觉得我们不能只是把它们一关了事，它们会很方便的来操纵使用它们的人，我们就会像3岁的孩子，它们像成年人一样，一个成年人想要操纵3岁的人是很容易的。
所以有人觉得它们变得聪明了，我们把它们关掉就好了，但这是不现实的，它们会操纵、会劝说操控机器的人不要把它们关掉。
所以，我觉得我们现在的情况就如：有个人把老虎当宠物，当老虎是小虎崽的时候，它是很可爱的宠物。但是，如果一直养这个宠物，那么你要确保它长大的时候，它不会把你给杀掉。
一般来说，养老虎当宠物不是一个好的想法，那么只有两个选择。
一个是你把它训练好，它不来杀你。或者你把它给干掉，用AI的话，我们就没有办法把它给消灭掉。
AI在很多方面都做得很好，比如说医疗、教育或者气候变化、新材料。AI能在这些领域做得非常好，几乎能够帮助所有的行业变得更有效率。
我们是没有办法消除AI的，即使一个国家消除了AI，别的国家也不会这么做。所以，这不是一个选项，这意味着如果我们想要人类生存的话，我们必须找到一个办法来训练AI，让它们不要消灭人类。
我的个人观点是，我觉得各个国家可能不会在一些方面进行合作，比如说网络攻击，或者是致命武器，或者是虚假的操纵公众意见的视频等等。各国的利益是不一致的，它们有着不同的看法，我觉得不会在这方面能形成有效的国际合作。
我们可以防止一些人来制造病毒，但是在这些方面不会有什么国际合作，不过有一个方面，我们是会进行合作的，这也是最重要的一个问题。
回溯一下50年代冷战的巅峰时期，美国和苏联一起合作来预防全球的核战争，大家都不希望打核战争，尽管他们在很多方面都是对抗的，但是他们在这一点上面可以合作。
我们现在的局面是没有一个国家希望AI统治世界，每个国家都希望人类能够掌控世界。如果有一个国家找到一个办法来防止AI操纵事件的话，那么这个国家肯定会很乐意告诉其它国家。所以，我们希望能够有一个AI安全机构构成的一个国际社群来研究技能，来培训AI，让它们向善。
训练AI向善的技巧，和训练AI聪明的技术是不一样的。所以，每个国家可以做自己的研究，让AI向善。它可以在自己主权的AI上进行研究，它可以不给别的国家这个研究过程，但是它可以把成果分享给大家，也就是怎么训练AI，让AI向善。
那我有一个提议，也就是全球主要国家，或者AI的主要的国家，应该思考一下，建立一个网络，包括各个国家的一些机构来研究这些问题，研究怎么来训练AI，一个已经非常聪明的AI。
让这个AI不想要消灭人类，不想要统治世界，让这个AI很高兴的做一个辅助的工作。尽管AI比人要聪明很多，我们现在还不知道怎么去做这件事，从长期来说，这是人类面临的最重要的问题，我们的好消息就是，在这个问题上，所有的国家都是可以一起合作的，谢谢。
