诺贝尔物理学奖 今年颁给AI教父

诺贝尔奖委员会揭秘：

他们利用了物理学方法来寻找信息的特征，构建了为当今强大的机器学习奠定基础的方法。

Hopfield提出的“Hopfield神经网络”，以相当于物理学中自旋系统能量的方式进行描述。

Hinton提出的“玻尔兹曼机”，则使用了统计物理学中的工具。

后来Hinton在这项工作的基础上，帮助启动了当前机器学习的爆炸性发展，也就是我们熟知的深度学习革命了。

人工神经网络的第一块重要基石

约翰·霍普菲尔德（John Joseph Hopfield）出生于1933年7月15日。

1954年获得斯沃斯莫尔学院物理学学士学位。1958年在康奈尔大学获得博士学位。

他早期聚焦于物理化学和凝聚态领域研究。后来在贝尔实验室工作期间，对分子生物学产生了浓厚兴趣。

从20世纪40年代起，研究人员开始推理大脑神经元和突触网络背后的数学逻辑。

后来，人们便开始尝试利用计算机来模拟大脑网络功能。也就是开始构建人工神经网络。

在这些网络中，大脑的神经元被赋予不同值的节点所模仿，突触由节点之间的连接表示，这些连接可以变得更强或更弱。唐纳德·赫布的假设仍然被用作通过称为训练的过程更新人工网络的基本规则之一。

之后很长一段时间里，学界都在尝试用数学、物理的方法来探索生物神经学。

比如Hopfield，他曾利用他在物理学的背景来探索分子生物学的理论问题。

当他被邀请参加一个关于神经科学的会议时，他遇到了关于大脑结构的研究。他对所学到的东西感到着迷，并开始思考简单神经网络的动态。

当神经元一起作用时，它们可以产生新的和强大的特性，这些特性对于只观察网络单独组件的人来说并不明显。

1980年，Hopfield离开了他在普林斯顿大学的职位，他的研究兴趣已经超出了他在物理学的同事们工作的领域，他跨越大陆搬到了加利福尼亚州帕萨迪纳的加州理工学院（Caltech），那里他可以免费使用计算机资源进行实验，并发展他对神经网络的想法。

然而，他并没有放弃他在物理学方面的基础，并在其中找到了灵感，理解了如何系统地使用许多小组件一起工作可以产生新的和有趣的现象。

他特别受益于对磁性材料的学习，这些材料由于它们的原子自旋——一种使每个原子成为微小磁铁的属性——具有特殊特性。

邻近原子的自旋相互影响；这可以允许形成自旋方向相同的域。他能够通过使用描述材料如何发展的物理学来构建一个具有节点和连接的模型网络，当自旋相互影响时。

大脑的神经网络是由具有先进内部机制的活细胞神经元构成的。它们可以通过突触向彼此发送信号。当我们学习事物时，一些神经元之间的连接变得更强，而其他连接变得更弱。

人工神经网络是由编码有值的节点构建的。节点相互连接，当网络被训练时，同时活跃的节点之间的连接变得更强，否则它们变得更弱。

Hopfield构建的网络节点通过不同强度的连接相互连接。

每个节点可以存储一个单独的值——在Hopfield的第一次工作中，这可以是0或1，就像黑白图片中的像素格一样。

Hopfield用一个属性来描述网络的总体状态，这相当于物理学中自旋系统中的能量；能量是使用一个公式计算的，该公式使用所有节点的值和它们之间所有连接的强度。霍普菲尔德网络通过将图像输入到节点，赋予它们黑色（0）或白色（1）的值来编程。

然后，网络的连接使用能量公式进行调整，以便保存的图像获得低能量。当另一个模式输入到网络时，有一个规则是逐个检查节点，看看如果改变该节点的值，网络的能量是否会降低。

如果发现如果黑色像素是白色，能量会降低，它就会改变颜色。这个过程继续进行，直到无法找到进一步的改进。

当达到这一点时，网络通常已经在它被训练的原始图像上复制了自己。

如果只保存一个模式，这可能看起来并不那么引人注目。

也许你想知道为什么你不只是保存图像本身并与正在测试的另一个图像进行比较，但Hopfield的方法之所以特别，是因为可以同时保存多张图片，网络通常可以在它们之间进行区分。

Hopfield将搜索网络以寻找保存的状态比作在有摩擦减缓其运动的山峰和山谷景观中滚动一个球。

如果球被放在一个特定的位置，它会滚进最近的山谷并在那里停止。如果网络被给予一个接近保存模式之一的模式，它将以同样的方式继续前进，直到它最终到达能量景观中的山谷底部，从而找到记忆中最接近的模式。

Hopfield等人之后更进一步深入研究霍普菲尔德网络，包括可以存储任何值的节点，不仅仅是0或1。

如果将节点视为图片中的像素，它们可以有不同的颜色，不仅仅是黑色或白色。

改进的方法使得保存更多图片成为可能，并且即使它们非常相似，也能区分它们。同样可以识别或重建任何信息，只要它由许多数据点构建。

不过记住一个图像是一回事，解释它所代表的内容是另一回事。

即使是非常小的孩子也可以指向不同的动物，并自信地说它是狗、猫还是松鼠。

他们可能偶尔出错，但是能很快正确分辨。孩子甚至可以在没有看到任何图表或解释物种或哺乳动物等概念的情况下学习这一点。在遇到每种动物的几个例子后，不同的类别在孩子的脑海中形成了。人们通过体验周围的环境来学习识别猫，或理解一个词，或进入一个房间并注意到有些事情已经改变。

当Hopfield发表他的联想记忆文章时，Hinton正在卡内基梅隆大学工作。

他之前在英国和苏格兰学习实验心理学和人工智能，并想知道机器是否能够以类似于人类的方式学习处理模式，为排序和解释信息找到自己的类别。

Hinton：现在是图灵诺贝尔双料得主

Hinton的研究正是建立在霍普菲尔德神经网络之上。

当时Hinton在卡内基梅隆大学工作，他之前曾在英国研究过实验心理学和人工智能，想知道机器是否可以学习，是否可以与人类类似的方式处理信息。

他与同事Terrence Sejnowski一起，利用统计物理学的思想扩展霍普菲尔德网络。

统计物理学描述由许多相似元素组成的系统，例如气体中的分子。

追踪气体中的所有单独分子是困难或不可能的，但可以将它们集中考虑以确定气体的压力或温度等总体特性。

气体分子有许多潜在的方式以各自的速度在其体积中扩散，可以使用统计物理学来分析各个组件可以共同存在的状态，并计算它们发生的概率。

十九世纪物理学家路德维希·玻尔兹曼用方程描述了有些状态比其他状态更有可能发生。

Hinton利用了该方程，提出玻尔兹曼机。

玻尔兹曼机与今天的深度神经网络一样，可以从例子中学习，通过更新网络连接中的值来进行训练。

最初版本的玻尔兹曼机效率相当低，到20世纪90年代，许多研究人员对人工神经网络失去了兴趣，Hinton是少数坚持下来的人。

到2006年，他和同事们一起在玻尔兹曼机的基础上开发了“深度信念网络”（Deep Belief Nets），其中提出了无监督的逐层训练方法，后来成为深度学习的基础。

在最后，诺贝尔奖委员会提到，Hopfield和Hinton两人在80年代的工作为2010年左右开始的机器学习革命奠定了基础。

物理学为机器学习的发展贡献了工具，相应的，现在机器学习也惠及了物理研究。

例如，机器学习长期应用于希格斯粒子发现等诺奖领域，用于处理海量数据;它还可用于减少引力波测量中的噪声，或搜寻系外行星。

近年来，这项技术还开始被用于计算和预测分子及材料的性质，如计算决定蛋白质功能的分子结构，或设计性能更佳、可用于高效太阳能电池的新型材料。

One More Thing

众所周知，作为深度学习三巨头之一的Hinton，也是2018年图灵奖得主。

往前看，在Hinton之前，同样一手诺贝尔奖一手图灵奖的科学家，有且仅有一位。

赫伯特·亚历山大·西蒙（Herbert Alexander Simon，中文名司马贺）。

与Hinton一样，西蒙也是先拿图灵奖，再拿诺贝尔奖——

1975年，西蒙和艾伦·纽厄尔（Allen Newell）因在人工智能、人类心理识别和列表处理等方面进行的基础研究，荣获图灵奖。

（他俩是符号主义的创始人和代表人物，提出了物理符号系统假说）

1978年，西蒙因为“有限理性说”和“决策理论”获诺贝尔经济学奖。

参考链接：

[1]https://www.nobelprize.org/

[2]https://www.cs.toronto.edu/~fritz/absps/ncfast.pdf