• 元宇宙：本站分享元宇宙相关资讯，资讯仅代表作者观点与平台立场无关,仅供参考.

辛顿的冬与春

  • 2024年11月28日 02:20

一个试图破解万物奥秘的人，却因自己的求索背负了沉重的十字架，直到坟墓中也没卸下。

这是宇宙残酷的小玩笑。

正是在1947年的冬季，伦敦西南的温布尔顿，一个叫做杰弗里·辛顿的小男孩呱呱坠地。

站在辛顿和爱因斯坦的切近，你找不到他们的任何共同点，除了两人都获得了诺贝尔物理学奖。

相隔102年。

但如果退到崖边远眺，你也许会惊奇地目睹：历史的齿轮旋过几代人头顶，经过102年的漫长行进，正再次严丝合缝地啮合在一起。就在那齿轮弹撞的一瞬间，两人靠得很近。

历史的交接，沉默的巨响。

人们抬起头，一切如常。

GeoffreyHinton

最近十年，不特别冷的日子，辛顿都会住在自己的岛上。

没错，是他的岛，一个点缀在加拿大休伦湖畔，完美符合人们对“人工智能教父”名头浪漫想象的岛屿。

他在65岁时买下这座岛。而在65岁以前的任何一天，他恐怕都没幻想自己能这么奢侈地“消费”。

在那之前30年，辛顿只有一个身份：计算机科学教授。

现在人们很自然地把他做的事情称为“人工智能”。但时钟拨回上世纪70年代，这不过是一个只有幻想家和疯子才愿意投身的冷门学科。

甚至研究者本人都觉得“人工智能”这样的词太过艳俗难以说出口，一般称自己搞的是“机器学习”。

而辛顿所投身的，又是机器学习里冷门的一派：神经网络。

简单来说，就是用计算机模拟人类大脑的亿万神经元连接，从而涌现出“智能”。

可具体怎么“涌”？真是鬼知道。

在打长途电话还要人工接线，电脑刚刚开始小型化，出门只能靠纸质地图的Lo-Fi年代，人造神经元之类的话听上去就像梦呓。

1970年生产的IBMSystem3电脑。

GeorgeBoole

1815-1864

布尔妻子的叔叔是地理学家，他的姓氏Everest命名了珠峰；

EthelLilianVoynich

1864-1960

辛顿的曾祖父查尔斯·霍华德·辛顿是数学家兼奇幻作家，发明了“四维立方体”，就是你在《星际穿越》里看到的四维空间；

8岁的辛顿在动物园里和蟒蛇合影。

他懵懂地意识到：生命对环境的反应模式并非完全随机，而是遵循某种“直觉”。

这种直觉既不像数学公式那样简单输出，也不像宗教宣扬的“灵魂”那样不可琢磨。

它有迹可循。

就在小辛顿蹲在爬满冷血动物的大坑旁边的50年代，大洋彼岸的美国心理学家弗兰克·罗森布拉特行动了。

他改造了一台硕大的IBM计算机，模拟出几百个神经元，想让它从识别字母和形状开始，最终成为一个生命。

这就是后来一切“神经网络”的母机——感知机。

BernardWilliams

威廉姆斯是一位道德哲学家，他一生都在跟一个敌人战斗，那就是——还原论。

“还原论”，其实是当时主流科学的一个假设推论：

万事万物，无论多复杂，都可以拆解成一个个边界分明的、有特定功能的“零件”。

这意味着，想要复刻某个系统——包括人和动物——只需找齐所有的零件！

BladeRunner（1982）

给机器强行输入概念和规则，被归为人工智能的“符号主义”流派，它扎根于“还原论”；

而用人造神经系统整体模仿人的学习过程，就归为“神经网络”流派，它源自于“系统论”。

而后几十年，两派势同水火，各不相让，表面上是技术路线之争，实际上却是对世界本质的“押注”。

赌的就是：这个世界究竟是一堆利落的“零件”，还是一坨牵一发动全身的“浓汤”？

这里，我们不妨明晰一下“符号主义”和“神经网络”在方法论上的根本区别：

在“符号主义”的方案里，最小的零件就是“概念”。

例如：食物、酱汁、调味品、甜、味道、红色、番茄、美国、炸薯条、蛋黄酱、芥末，这些都是概念。

所有概念用规则相连，组成一个巨大的渔网。

而新概念，例如“番茄酱”，则可以挂在刚才这些旧概念网眼中的适当位置，成为新的绳结。

新概念无穷无尽，渔网上的网眼也无穷无尽；

旧规则不够精准，也需要用无穷无尽的新规则来完善。

例如：鸟会飞，企鹅是鸟，但企鹅是不会飞的鸟。

“神经网络”比“符号主义”更接近我们大脑的工作方式。

不过没人规定智能必须以类脑的方式实现，你完全可以“抄近路”。

而且造物主绝对是个“反鸡汤者”，因为很多情况下抄近路就是有效的。

1970年代，“符号主义”已经突飞猛进，能做出一些像模像样的推理，可是“神经网络”还停留在智障阶段。

这是一种极强的反馈。很多神经网络学者含恨倒戈，加入了“还原论”的阵营。

但辛顿无法说服自己。和小时候一样，他不能接受有什么东西违背了自己对世界构建的认知模型。

1972年，他进入爱丁堡大学攻读博士，方向就是“神经网络”。

如果别人无法找出原因，他就得自己找出原因。

如无意外，这次找到答案，要比搞懂公交车上硬币爬坡花费更长的时间。

就在博士的第一年，辛顿看到了一个其他人工智能小组做的实验：

一台计算机，连着两个摄像头，系统要自主控制机械臂把积木搭成汽车的形状。

这对于当时的技术来说是地狱难度。因为系统视觉只能靠轮廓识别散落的积木块，一旦堆在一起，它就不认识了。

让辛顿难忘的瞬间出现了：机械臂退后了一点，然后“砰”地一拳把积木堆打散。

如果有人这么干，你会觉得他是因为“做不到”而沮丧。在机器人挥拳猛击积木时，我感到了它有同样的情绪。

辛顿说。

拥有感觉，就是你开始渴望得不到的东西。

LudwigEduard Boltzmann

然而，玻尔兹曼当时遭到了一众科学家的激烈反对，甚至对异教徒似的攻击。

一个重要的理由是：你竟然用“统计数字”、“计算概率”的模糊方法来解释具有确定性的物理世界，这算什么科学？

反对派科学家的愤怒，本质上只有三个字：不承认。

不承认这个宇宙的复杂性超越人类的计算能力；不承认人类拼尽全力也只能以模糊的方式把握这个世界。

但宇宙不会因渺小人类的愤怒而改换它的基本结构。

放弃对“精确”的执念，正是撕开迷雾，找到那座连接“宏观”和“微观”之桥的重要前提。

但这里存在一个问题。

假如，你把各种颜色的墨水混在一起。

它们肯定会经历一个混合的动态过程，最终会完全均匀。（此时每个分子在各种可能状态上的概率是相同的。）

JohnHopfield

要理解霍普菲尔德的洞见，首先要知道“最小化自由能原理”。

无论在什么物理结构中，系统总会尽可能对外做功——就像小球总会往低处滚那样。

滚到相对低位后，系统就达到了“最小化自由能状态”，从而实现稳定。

这张图上方显示了一个“自旋玻璃”，它内部的无序性构成了一种稳态，产生了下方所示的复杂的“能量地形”。

霍普菲尔德的神来之笔是：

他没有用现实世界的原子制造“自旋玻璃”，而是用计算机的0和1不同的电位来替代原子状态，在赛博空间模拟出了“自旋玻璃”。

它也被后来人称为“霍普菲尔德网络”。

与地球不同，霍普菲尔德网络中山脉的最终走向不是大自然创造的，而是人设定的。

设定的方法就是“训练”。

例如，我们用“26个字母的形状”进行训练，最终这个霍普菲尔德网络的“地貌”就会被塑造成特定的样子，并且稳定在这个样子。（因为这个样子它的自由能就是最低的。）

此时，训练完成。

同时从很多个点向下扔小球，他们最终会停留到不同的位置。

比如我们站在这片山脉的上空，按照这样的排列方式扔一些小球：

生物神经元之间信号的强弱，和神经网络节点之间强弱的类比。

在相继登上玻尔兹曼和霍普菲尔德这两个巨人的肩膀之后，镜头从辛顿的脑后缓缓升起，鼓点声由远及近，他面前迷雾散尽，浮现出一座雄伟的大桥。

辛顿瘦削的手臂，接过了人类探索的熊熊火炬。

（四）蛹、汤、蝶

记忆并非智能的终结，它需要理解这些信息，最终用表达给予回应。

有心理学背景的辛顿很快就发现了要害：

也许是为了简便，也许是没有走那么远，总之，霍普菲尔德假设了存储的各项信息之间是完全独立的。

也就是说：霍普菲尔德网络在学字母表时，默认A是A、B是B、C是C。如果输入一个信息，系统或者判定它是A，或者判定它是B，不会判定它介于A和B之间。

这有点儿像硬币分类机，任何硬币都必然会落在某个预定的沟槽内：

这张图展示了词语之间语义关联的程度，颜色越红表示语义关联越大。例如“名字”和“性别”的内在关联就很大。

由此，概念之间不再是孤岛，而是依靠概率建立起了精妙的数学关系，形成了一个“语义空间”：

每个词在语义空间中都有一个坐标。

语义空间不是普通的三维，而是多维空间，也许有几百个，几千个维度。

这张图展示了用50个维度来描绘左边的词。每一个维度上的颜色都可以看作一个“亚概念”的强度。

有了这个“语义空间”，系统得以把概念拆碎，为每一个亚概念的“粉末”找到它的坐标。

举例来说：

普通的“通”和畅通的“通”，就包含某种共同的深层语义，我们能体会其中的亚概念，但却很难描述。

而利用亚概念进行学习，就相当于进入了“盗梦空间”的更深层，一瞬间打通了任督二脉，理解就产生了。

而且，它还可以在深层空间重新整合这些亚概念，吐出和学习资料不同的全新语句，也就是表达。

这正是辛顿要做的。

1983年，辛顿和他的合作者特伦斯·谢诺夫斯基宣布了这个新系统——“玻尔兹曼机”。

玻尔兹曼机：上面是可见层，下面是隐藏层。

玻尔兹曼机的训练，大部分工作其实就是对各种概率的计算，把计算好的参数固定在各个神经元的连接参数里，让这些神经元最终所构成的“地貌”能够逼近训练素材中所隐含的“地貌”。

这时神经元数量已经非常大，每一个神经元在“地貌”中具体起什么作用已经很难说清。

也就是说，人类没有办法对具体的神经元进行直接干预，只能使用某种算法来操作。

辛顿脑海里出现了“反向传播算法”。

你也许读过卡夫卡的《城堡》。

土地测量员K受雇于一个城堡，但当他来到城堡所在的村庄，却无法与真正的权力机构取得联系，但是他又确确实实地被那个高高在上的权力所影响和阻挠。

一个毛毛虫，就是训练神经网络的数据。它会变成蛹，而在蛹里，原来的毛毛虫融化成了汤，从这个汤中最终幻化出一只蝴蝶。

那么，从毛毛虫到蝴蝶到底发生了什么？蝴蝶和之前的毛毛虫还是同一只昆虫吗？

这些答案，如庄周梦蝶一般深刻而浪漫。

1980年代，接连祭出玻尔兹曼机和反向传播算法后，辛顿引起了小圈子的注意，但很快波澜就平息了。

不过他寻找真相的努力，为“神经网络”一派结结实实扳回一局。

辛顿在1990

（五）冬

虽然玻尔兹曼机所暗示的基于“系统论”的神经网络看上去很有王者之气，但要造出一个“能平视人类的AI”，则需要人类的计算力大幅增长。

不是一千倍，不是一万倍，不是十万倍，是十亿倍。

90年代，全球计算机的算力虽然已经起飞。但对于神经网络所需来说，仍如烛火之于太阳。

正如当年爱因斯坦高擎相对论，却因无法验证导致获得诺奖的日子一拖再拖那样尴尬。

辛顿改良了玻尔兹曼机，减少了神经元之间的连接，成为“受限玻尔兹曼机”，以此大大降低了计算量；他还设计了“模型蒸馏法”，可以把大模型中的知识转移到小模型中。

即便如此，所需的计算力还是远超想象。

“渴望而得不到”，这个孩提时代的梦魇突然又回来了。

或者说，它从未远走。

罗莎琳德患有不孕症，他们没办法生下小孩，最终决定收养两个南美洲的孩子。

就在一双儿女刚进家门时，罗莎琳德被确诊了卵巢癌。

治疗不孕症梦魇般的体验，让罗莎琳德对医生的冷漠和无能产生了极强的厌恶。

她拒绝手术和化疗，执拗地在家自己用一种非常冷门的“顺势疗法”，也就是把药物稀释到几乎无法检测的程度，然后输入体内。

“冷门”只是一种客气的说法——这种疗法是无效的。

罗莎琳德的病程发展很快，肿瘤越来越多，精神也越来越崩溃。她固执地相信自己肯定能好，开始寻找更贵的“顺势疗法药物”。直到她流着泪对辛顿说：“我们把房子卖掉吧。”

辛顿看着妻子，看着这个支持自己走过春天的眷侣，说出了此生最残忍的话：“我们不卖房子。如果你死了，我得照顾孩子们，他们要有地方住。”

哪怕30年已经过去，每每回想起这个瞬间，辛顿的心中还是会被各种情绪充满，那是愤怒、内疚、伤心、困惑。

那是一个智能生命面对这个世界的荒谬所迸发出的剧烈反应，那是一种辛顿尚且无法理解的东西。

辛顿站在了一生中自我怀疑的顶峰。

几十年对世界的观察最终都不可避免地滑向残忍的“自我剖析”：

如果人终归只是机器，那么这种滴血的情感，究竟藏在神经网络多么幽深的地方？

如果机器终究能成人，那么制造出一个AI让它终究尝遍人间苦难，意义又是什么？

妻子离开那年，辛顿46岁。他的儿子5岁，女儿3岁。

互联网的蓬勃发展，让全世界陷入了前所未有的算力饥渴。

商业是宇宙中最猛的春药。摩尔定律开足马力，不仅用于科学计算的CPU算力打着滚往上翻，用于图形计算的GPU计算力也在蓬勃发展。

如果用1985年最先进的计算机运行一个计算，不停不息直到此时此刻。换做当下最好的计算机来做同样多的计算，只需要1秒。

最好的预言家也没敢想象：几十年的时光呼啸，算力的烛火真的变成了耀眼的太阳。

离离原上草，只待星星火。

一位出生于北京的女性引燃了火焰。

斯坦福大学教授李飞飞，带领团队用了800个日夜，手工标注了1400万张图片，分成了2万个类别，在2010年创立了ImageNet图像识别挑战赛，鼓励全世界研究者用AI分类出更多的图片。

奖品是——荣誉。

2012年冬天，当年的奖项揭晓，冠军归属于一个叫做AlexNet的系统。

它对图片识别的错误率低到了15.3%，比第二名的错误率彪悍地低了10.8个百分点。

以当时巨头公司手握的计算力，已经足够用神经网络做出实用的AI了！

来自世界各地的收购邀约如雪片般袭来：你们公司报价多少钱？我买！

师徒三人这才意识到——自己应该成立一家公司。

2012年末，草草成立的DNNresearch公司面对四个终极买家：谷歌、微软、DeepMind、百度。

他们决定搞一次拍卖。

瘦骨嶙峋的辛顿躺在出租车后座上前往拍卖地点。他19岁的时候帮妈妈搬暖气伤到了脊椎，几十年病情逐渐恶化，此时他已经没办法坐下，只能站立或躺着。

DeepMind是创业公司，只能用自己手里的股份报价，很快退出了竞争，微软出到2200万美元，也退出竞争。只有谷歌和百度不停地加价，从清晨到午夜，报价还在陡峭攀升，仿佛如果不买到辛顿三人，就要面对世界末日一般。

由于是远程拍卖，辛顿是在酒店里躺在床上和两位学生商量。

第二天早晨，新一轮报价争夺继续，谷歌已经出到了4400万美元。辛顿决定叫停拍卖，65岁的年纪和脆弱的脊椎实在没办法支持他到地球另一端的中国工作。

他决定把公司卖给谷歌。

谷歌花4400万买到的，像是个“空壳”，只有辛顿三人手中的知识产权和他们未来几年在谷歌工作的承诺。

但正如达尔文、哥白尼、加缪、爱因斯坦一样，三人手中所握的，不仅仅是知识产权，更是某种真相。

真相是这个世界上最有尊严的东西，它重若千钧，也理应价值千金。

辛顿建议三人平分股份，各拿33%。两位学生不肯，执意让辛顿收下40%。

休伦湖的乔治亚湾

（七）圆环

杰奎琳对辛顿说：

“我感到很难过。但我知道，必须用剩下的时间好好享受生活，也尽量把你和其他人的一切安排好。”

他们在岛上散步时，偶然发现了一只小船的残骸。杰奎琳找来一些女工，把船整饬一新，成了一只酒红色的独木舟。

“她进行了首航，”辛顿回忆，“然后，就再也没人用过它。”

2017年，已行至生命尾声的杰奎琳见证了辛顿获得了计算机界的最高奖项：图灵奖。

名望大振的辛顿，试图用自己刚拥有的一切从死神手里抢人。

在加拿大政府的支持下，他火速成立了“向量研究所”（VectorInstitute），聚集了全世界顶尖的人工智能人才，第一个项目就是：把AI用于医疗诊断。

但几个月后，杰奎琳离开了世界。

辛顿想起多年以前，那个无法分辨积木的机器人。狂怒的一拳，崩塌的渴望。

他小心翼翼地把照片存在电脑上。

其中一张是他和杰奎琳的婚礼，在邻居家的客厅里交换誓言。那天辛顿荣光焕发，杰奎琳双手握住他的一只手。

还有一张照片，杰奎琳在酒红色的独木舟上凝望着镜头，水面斑驳，微风拂过。

IlyaSutskever&SamAltman

从这里开始，辛顿的人生才与大多数人了解的追光下的戏剧串接在一起。

在OpenAI，苏茨克维尔把玻尔兹曼机发挥到了极致，成为了深度神经网络“大模型”，大模型成为了ChatGPT的基础，也成为了如今一切拥有对话和理解能力的AI的魂灵。

人类第一次制造出能通过图灵测试的AI。

一万年来，人与机器之间的界限，从未如此模糊。

1973年，约翰·迪恩接受调查委员会质证。

从ChatGPT开始，人工智能研究突飞猛进，但研究者一直避免使用一些看上去不科学的词汇，例如“直觉”。

他们试着用各种理论拆解这种整体的直觉，例如“推理”、“计划”、“注意力”之类。但辛顿在很多场合都在高呼：“AI比我们承认的更具有直觉性。”

一旦试图把直觉拆解成细碎的零件，就会走上“还原论”的近路。

符号主义总说我们的本质是推理机器，那完全是胡说八道。我们本质是类比机器。

可能在上面加一点点推理，以便在类比出错误答案的时候注意到并且纠正它们。

辛顿说。

承认自己是直觉机器，代价是高昂的。

这意味着你必须接受自以为对世界的理解本质上只是概率预测；

意味着你必须承认自以为坚实的记忆本质上只是拼凑出的幻觉；

意味着你必须全然放下自己的傲慢，在荒谬的世界里前行，然后接受命运给你的一切。

不是每个人都付得起这个代价。

起初，人只是想了解这个世界；

为了了解世界，我们不得不了解自己；

而为了了解自己，我们创造了另一个自己；

我们创造出另一个自己，证明了我们永远无法了解这个世界。

辛顿一生所做的事情，就是站在这个荒谬的圆环中，指给世人看。

1963年，古巴导弹危机之后的卡斯特罗和赫鲁晓夫。

2023年，伊利亚·苏茨克维尔认为OpenAI的CEO山姆·奥特曼漠视人工智能的安全建设，掀起了一场宫斗。

失败后，他离开了亲手创建的OpenAI，建立了安全超级智能公司（SafeSuperintelligence)。

辛顿公开表达了对弟子的赞许，但他却不确定苏茨克维尔是否能成功。

做出原子弹只需要让它爆炸，但确保某个东西不爆炸，要难得多。

辛顿说。

2023年，辛顿从谷歌辞职，是三人组中最晚的一个，他给出的辞职理由是：这样可以更中立地批评人工智能的危险。

如核威慑纪元一样，新纪元恐怕也会建立在新的威慑平衡之上。

由此我们可以理解辛顿那个奇怪的比喻：把AI视为肿瘤。

如果所有的肿瘤都能切除了事，辛顿的人生为何还要承担那么多悲伤？

与其徒劳幻想切除，不如研究一种更积极的、与之共存的策略。

但这种策略是什么？

“没有人知道答案。”

辛顿叹息。

但这似乎并不是事实。

辛顿的人生所承受的荒谬，和你我一样。而世界上的绝大多数普通人，只能在岁月里前行，承担命运所给予的一切。

没有奖赏。

没有奖赏，直到他们撑到对岸，或没能撑到对岸。

一个诺贝尔奖，挂在辛顿的家族树上，似乎够格，甚至过于够格。

我常常想，我喜欢木工活，去做一名建筑师会不会更快乐？因为我不必强迫自己去做什么。

然而，对于科学，我不得不一直强迫自己，而且因为家族的原因，我必须在科学上取得成功。这些年的科学研究其中当然有快乐，但主要是焦虑。

现在我成功了，这是一种巨大的解脱。

辛顿说。

“我觉得他是那种随时需要人陪的人。”罗斯玛丽温柔地说。

罗斯玛丽给这位“木工老男友”辛顿定了规矩：一个人在岛上时绝对不许砍树，以防把自己胳膊砍掉了没人救他。

在纽约客记者罗斯曼的记录中，有那么一幕：

那天辛顿驾船上岸，等待罗斯玛丽给岛上带来补给。

他去商店里买了个灯泡，出来时，却一闪身扎进了商店门口的绿植中，很快他站起来，手里举着一条黑黄相间的蛇。

它扭动着身子，大概有一米长。

“给你的礼物！”他豪爽地举到罗斯玛丽面前，“我在灌木丛里发现的。”

罗斯玛丽笑了。

他把蛇从左手倒到右手，两只手都黏糊糊的。让罗斯玛丽闻一闻，充满了一种奇特的矿物味道，那是这种蛇所特有的。

“你的衬衫都脏了。”罗斯玛丽说。

“因为我必须抓住它。”辛顿解释。

随后，辛顿把蛇放下，满意地看它钻回草丛。

“今天天气真好，让我们远航吧！”他说。

辛顿又恋爱了。

此时此刻，在岛上的小屋里，那个酒红色的独木舟被透过窗棂撒下的阳光照耀得闪闪发亮。几把椅子摆在它周围，对着远处波光潋滟的湖面，一些杂志散落在一旁的桌子上。

那是一座美丽的小屋。

人的思维终究不只是推理，我们思索着时光，思索着生死，思索着我们曾路过的一切，像引力一样聚集着意义，试着给出最终的回答。

人工智能，也会需要这样一个小屋吗？

驾船穿过迷雾的辛顿，总有一天会和那个终极诘问重逢：如果人的生命布满苦难和离别，制造出更多像人一样的AI，意义是什么？

他也许仍然没有答案。

但至少，在苦难和苦难之间，还有一些其他的东西。

就像在冬天和冬天之间，有春天。

“人是机器。但人是特殊的、美妙的机器。”辛顿说。

辛顿的77岁，错愕地迎来了前所未有的明亮追光，迎来了全世界认识自己、倾听自己的渴望。他任人从身上摘下各种意义，像一颗秋天的树洒落金辉。

但那些意义，终究不是喜爱或无视他的人的自我投射吗？

辛顿只是如此生活了77年，冬天过去，春天到来，春天过去，冬天到来。

为了在残忍的时光里行进，他必须和苦痛作战，而为了和苦痛作战，他变得光辉闪耀。

他和你我一样是一台机器，也和你我一样，怀揣着谜一样的梦想。不知是幸运还是不幸，他的梦想一半走进了春天，一半埋葬在寒冬。

但那也许不重要。

因为所有凝聚起来的东西都会被时间的洪流再次冲散，一如横行的巨兽变成沉默的化石，一如奔涌的泪水消失在雨中。

重要的是，那些曾和他对望的人们，也许有一瞬间会轻轻慨叹：

“呐，是个温柔的人呀。”

元宇宙最新

元宇宙热门

Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM