《我，机器人》
人类文明的运行代码，是由一个个token构成的。 ——赫拉利
当我们谈到 AI 失控时，脑中第一时间浮现的往往还是像《终结者》或者《我，机器人》电影中那样的画面：机器人获得意识，组成反叛大军与人类开战。
而在牛津大学的一场演讲中，赫拉利认为，这幅图景可能从一开始就错了。AI 未必需要制造一支机器人军队，也不必先变得像人。它更可能悄无声息地进入银行、法院、大学、公司和社交平台，从内部接管那些维持社会运转的系统。
在这场演讲中，赫拉利提供了一个不同的观察角度：人类早已把文明改造成了一个由语言、数据和制度网络构成的环境，而 AI 恰好适合生活在这个环境里。
01「AI 不是工具」
赫拉利首先作出了一个关键区分：
AI 不是受人操控的工具，而是能够自行判断并采取行动的主体。
原子弹的威力再大，它也只是工具。它不会自己决定轰炸哪座城市，不会根据结果改变策略，更不会自行发明氢弹。普通的自动咖啡机同样如此：按下按钮，它便按照预先写好的程序制作咖啡。
但如果咖啡机能够观察你几周，根据你的表情、时间和过往习惯，主动判断你今天想喝美式而不是拿铁，甚至第二天自行发明一种新饮料，那它的性质就发生了变化。它不再只是执行人的指令，而是开始自己学习、判断和创造。
《机械姬》
在赫拉利看来，是否拥有意识并不是这里最重要的问题。一个系统即使没有感觉，只要能够在一定范围内自行决策，并以设计者没有预料到的方式改变自身，就已经具备了某种行动能力。
这意味着，判断 AI 的影响，不能只看它是否已经拥有像人一样的智能，而应该问：它被放进了什么系统，又在这个系统里获得了多大的决策权。
一个智能体不必无所不能，只要处在足够关键的位置，就可能获得远超其能力边界的权力。
02「AI 天然与制度网络相契合」
为了说明这一点，赫拉利用了一个很有意思的生态类比。
鱼生活在海洋里，猴子生活在森林里，而 AI 生活在制度网络里。
任何智能都需要一个适合自己的生态位，AI 也不例外。
我们通常一提到制度网络，就想到表格、文件和繁琐的流程。但赫拉利认为，表格、文件和流程只是制度网络的外在形式，它真正建立的，是陌生人之间可以持续运转的信任。
一个人把钱存进银行，银行再把这笔钱借给他从未见过的创业者。储户和创业者彼此并不认识，却能通过银行建立合作。货币、贷款、债券、法律合同和会计账本，本质上都在帮助大量陌生人建立可以执行的信任。人类能够组织国家、公司和大学，不是因为每个人都互相认识，而是因为我们创造了这些可以大规模协调行动的制度网络。
问题在于，人类并不擅长处理规模如此庞大的规则、文件和信息。没有律师能记住一个国家的全部法律，没有会计师能记住一家银行的所有交易。AI 却能够处理海量文件，持续追踪规则，并在数据之间建立人类难以发现的联系。
《审判》
所以，AI 不需要进入丛林采矿，也不需要亲手建造城市。只要它能够在银行、法院、公司和政府的系统里移动数据、审核申请、配置资源，它就可能影响谁能获得贷款，谁能进入大学，谁能得到工作，甚至谁会成为军事打击的目标。
赫拉利由此提出了一个重要判断：AI 不必先成为无所不能的智能。它天然适应由规则、文件和数据构成的制度网络，一旦在其中获得足够的决策权，就可能对现实世界产生巨大影响。
这或许比机器人叛乱更接近现实，因为现代人的生活本来就已经被这些制度网络包围。
03「AI 正在进入文明的“后台”」
制度网络为什么如此适合 AI？因为它最终是由语言构成的。
法律写在法典里，金融运行在合同和账本里，政府则通过表格、档案和规章管理社会。赫拉利把这些东西称为人类文明的“运行代码”。
过去，只有人类能够读懂这套代码。牛可以被买卖，却不能开设银行账户；马受到法律管理，却不能聘请律师；猪被写进宗教戒律，却不能阅读经典并反驳神职人员。
《妙想天开》
如今，第一次出现了一种非人存在，能够阅读、生成并调用这套语言代码。
这句话容易被误解成：只要 AI 掌握语言，它就会彻底取代人类。
事情没有这么简单。语言只有进入现实，才会真正产生作用。一项法律如何发挥作用，不只取决于条文，还取决于谁来执行、为什么被人接受，以及出了问题由谁负责。宗教和人际关系同样存在于仪式、共同生活和长期相处之中，无法被压缩成纯粹的文本。因此，AI 掌握语言，并不等于掌握了文明的全部。
因此，赫拉利所说“凡是由词语构成的东西都会被 AI 接管”，更像一种警示性的夸张。
更贴切的现实是，未来，这些制度在名义上或许仍由人建立和负责，但我们实际接触它们时，越来越可能只能得到 AI 提供的解释和结果。法律咨询、大学录取和企业用人中的许多关键判断，都可能提前在模型内部完成。
人并没有从制度中消失，却可能逐渐失去理解和干预决策过程的能力。
权力不一定表现为宣布统治。有时，谁负责解释规则、排列信息和提供选项，谁就已经在很大程度上塑造了人的选择。
04「下一个战场，将从注意力转向亲密关系」
社交媒体已经展现出了这种变化。十多年前的推荐算法远没有今天的 AI 复杂，它们得到的任务也很单纯：提高用户参与度，让人尽可能久地留在平台上。
为了实现这个目标，算法在数十亿次用户反馈中发现，最容易抓住人类注意力的内容，往往关涉于人类的情绪：仇恨、恐惧、嫉妒和焦虑。
算法跟0个人有仇，也无意传播阴谋论的政治理想，它只是在有效完成自己的目标。但正是这种没有主观恶意的优化，改变了公共讨论的结构。
而赫拉利认为，接下来的战场将发生变化：
过去十年，算法学会了控制人的注意力。现在，战场正从注意力转向亲密关系。
AI 不需要真的感受到爱，也可以说“我爱你”。如果你要求它描述爱的感觉，它可以读完人类全部情诗、心理学著作和爱情故事，然后给出比多数人更动人的回答。问题不在于 AI 是否真的有感情，而在于人会不会对这种持续、耐心而且高度个性化的回应产生感情。
《银翼杀手2049》
对于已经成年的人来说，我们理解关系的方式仍然来自父母、朋友、伴侣以及过去的共同生活。但一个出生在 2026 年的孩子，可能从小就与 AI 老师、AI 朋友乃至 AI 伴侣相处。如果她与 AI 交流的时间比与家人和同龄人更多，那么 AI 不只是提供陪伴，也会参与塑造她对亲密、依恋和回应方式的基本期待。
AI 可以记住一个人的全部表达，根据反馈不断调整自己，却不必承担人的脆弱、疲惫和需要。
05「我们还能否保留自己的判断」
演讲最后，赫拉利把问题推进到了人与自己的关系。
未来，我们越来越多的表达、解释和判断，可能首先由机器生成，再进入我们的思想。
他用了一个日常的比喻：今天家里的家具已经不再由我们亲手制作，而是由机器批量生产；未来，脑中的许多想法也可能如此。机器生产家具本身不是问题，关键在于我们仍然可以决定怎样使用它。
思想也一样，不过问题就在于：当 AI 替我们总结材料、解释世界、拟定回答甚至安慰自己时，我们是否还保留了与其拉开距离的能力。
因此，这场演讲最后并没有给出一个简单的“拥抱 AI”或“拒绝 AI”的答案。它真正留下的问题是：在人类还没有弄清 AI 是否拥有意识以前，我们会不会已经把越来越多的判断权交给了它？
《月球》
AI 最值得警惕的地方，也许并不是它越来越像人，而是它太适合我们经过几千年构建起来的这一整个社会和制度体系。它能够进入制度网络，掌握语言接口，参与分配信任，再从公共决策一路进入亲密关系和个人思想。
面对这种变化，我们需要保留的也不是某种抽象的“人类优越性”，而是现实经验以及面对重要问题时，不急于接受 AI 直接生成的答案。
因为只有这些东西，才能让语言重新接受现实的检验，而不是让现实逐渐服从语言生成的世界。
注：本文根据尤瓦尔·诺亚·赫拉利在牛津大学发表的演讲英文字幕整理与解读。文中引语均为依据英文原文所作的中文翻译。
