近万人围观Hinton最新演讲：前向-前向神经网络训练算法 ...

在 NeurIPS 2022 会议的一场特邀演讲中，图灵奖得主、深度进修先驱 Hinton 在关于深度进修影响计较机构建方式、神经收集算法等方面分享了他的最新概念。

机械之心报道，编辑：杜伟、蛋酱。

NeurIPS 2022 会议正在如火如荼地停止当中，各路专家学者围绕着深度进修、计较机视觉、大范围机械进修、进修理论、优化、稀疏理论等众多细分范畴展开交换与探讨。

会上，图灵奖得主、深度进修先驱 Geoffrey Hinton 被约请颁发演讲，以表彰他十年前与其研讨生 Alex Krizhevsky 和 Ilya Sutskever 配合撰写的论文《ImageNet Classification with Deep Convolutional Neural Networks》，该论文因对该范畴的「庞大影响」而被授与时候检验奖。这项工作颁发于 2012 年，是卷积神经收集初次在 ImageNet 图像识别比赛中表示人类水平的才能，它是启动第三次野生智能浪潮的关键事务。

Hinton 此次演讲的主题为《The Forward-Forward Algorithm for Training Deep Neural Networks》。在演讲中，Geoffrey Hinton 暗示，「机械进修研讨社区在意想到深度进修对计较机构建方式的影响上一向表示缓慢。」他以为，野生智能的机械进修形式将激发计较机系统的变化，这是一种将 AI「放入你的烤面包机」的新型软硬连系。

他继续说到，「我以为我们将看到一种完全分歧的计较机，虽然几年内没法实现。但我们有充实的来由来研讨这类完全分歧的计较机。」

构建完全分歧的新型计较机

迄今为止，一切的数字计较机都被构建为「不朽」（immortal），其中硬件设想很是牢靠，以便不异的软件可以在任何地方运转。「我们可以在分歧的物理硬件上运转不异的法式，常识是不朽的。」

Hinton 暗示，这类设想要求意味着数字计较机已经错过了「硬件的各类可变、随机、不稳定、模拟和不成靠特征」，而这些特征能够对我们很是有用。

在 Hinton 看来，未来的计较机系统将采纳分歧的方式：它们将是「神经形状的」，而且是普通的（mortal）。这意味着每台计较机都将是神经收集软件与混乱无章硬件的慎密连系，在具有模拟而非数字元件的意义上，它可以包括不肯定性身分并随时候推移而成长。

Hinton 诠释到，「现在的替换计划是我们将放弃硬件与软件的分手，但计较机科学家真的不喜好这类做法，由于进犯到了他们的根基原则之一。」

所谓的普通计较（mortal computation），就是系统进修到的常识和硬件是密不成份的。这些普通计较机可以「长大」，摆脱造价高昂的芯片制造厂。

Hinton 指出，假如我们这样做了，便可以利勤奋耗极低的模拟计较，还能利用忆阻器权重来停止万亿次并行处置。这里指的是一种基于非线性电路元件、具稀有十年历史的尝试芯片。此外我们还可以在不领会分歧位硬件的切确行为的精准质量时成长硬件。

可是，Hinton 也暗示，新的普通计较机并不会取代传统的数字计较机，「它不是掌控你的银行账户的计较机，也不会确切晓得你有几多钱。」

这类计较机用于放置（即处置）其他工具，比如它可以利用一美圆将 GPT-3 之类的工具「放入你的烤面包机中」，这样只需几瓦的功率，便可以与自己的烤面包机对话。

合适普通计较硬件的 FF 收集在此次演讲中，Hinton 花了大部分时候议论一种新的神经收集方式，他称之为 Forward-Forward（FF）收集，它取代了几近一切神经收集合利用的反向传布技术。Hinton 提出，通曩昔除反向传布，前向收集能够更公道地接近现实生活中在大脑中发生的情况。

这篇论文草稿被张贴在多伦多大学的 Hinton 主页上：

论文链接：https://www.cs.toronto.edu/~hinton/FFA13.pdf

Hinton 暗示，FF 方式能够更合适普通的计较硬件。「当前假如要实现这样的工作，我们必须有一个将在专属硬件中运转的进修法式，必必要进修操纵该专属硬件的具体属性，而不晓得一切这些属性是什么。但我以为前向算法是一个有潜力的选项。」

他说，建造新的模拟计较机的一个障碍是，人们对在数百万台装备上运转一个软件的牢靠性很重视。「这些手机中的每一部都必须从一个婴儿手机起头取代，而且它必须进修若何成为一部手机，」Hinton 说。「而这是很是疾苦的。」

即使是最擅长相关技术的工程师，也会由于担忧不肯定性，而迟迟不能放弃完善的、不异的不朽计较机的范式。

Hinton 说：「在对模拟计较感爱好的人中，仍有少少数人愿意放弃不朽。这是由于对分歧性、可猜测性的迷恋。但假如你希望模拟硬件每次都做一样的工作，你早晚由于这些混乱的工具碰到实在的题目。」

论文内容

在论文中，Hinton 先容了一种新的神经收集进修法式，并经过尝试证实它在一些小题目上的结果充足好。具体内容以下：

反向传布有什么题目？

曩昔十年，深度进修的成功建立了在大量参数和大量数据的情况下履行随机梯度下降的有用性。梯度凡是是经过反向传布来计较的，这致使人们对大脑能否实现了反向传布或能否有其他方式来获得调剂毗连权重所需的梯度发生了爱好。

作为大脑皮层若何进修的模子，反向传布照旧是不成信的，虽然人们做出了相当大的尽力来让它像实在的神经元一样实施。今朝没有使人佩服的证据表白大脑皮层明白地传布误差导数或贮存神经活动，以便在随后的反向传布中利用。从一个皮层地区到视觉通路中较早的地区的自上而下的毗连并不像预期的那样，即假如在视觉系统中利用反向传布，就会出现自下而上的毗连。相反，它们构成了循环，其中神经活动经过两个地区的大约半打皮质层，然后回到它起头的地方。

经过时代的反向传布作为进修序列的一种方式是出格不靠谱的。为了处置感官输入流而不频仍超时，大脑需要经过感官处置的分歧阶段对感官数据停止 pipeline 处置，它需要一个能「在飞翔中」进修的进修法式。Pipeline 前期阶段的表征能够供给自上而下的信息，在后续的时候步中影响 pipeline 早期阶段的表征，但感知系统需要实时地停止推理和进修，而不需要停止履行反向传布。

反向传布的另一个严重限制是，它需要完全领会在前向传递中停止的计较，以便计较出正确的导数。假如我们在前向传递中插入一个黑匣子，那末就不成能再停止反向传布，除非我们进修了黑匣子的可微分模子。正如我们将看到的，黑匣子底子不会改变 FF 算法的进修法式，由于不需要经过它停止反向传布。

在没有完善的前向传递模子的情况下，也许能乞助于很多形式的强化进修之一。这个想法是对权重或神经活动停止随机扰动，并将这些扰动与收益函数的变化联系起来。但强化进修法式存在高变同性：当很多其他变量同时被扰动时，很丢脸到扰动一个变量的结果。为了均匀化一切其他扰动酿成的乐音，进修率需要与被扰动的变量数目成反比，这意味着强化进修的范围很差，对于包括数百万或数十亿参数的大型收集，没法与反向传布合作。

这篇论文的首要概念是，含有未知非线性的神经收集不需要借助于强化进修。FF 算法的速度与反向传布相当，但它的优点是可以在正向计较的切确细节未知时利用。它的上风还在于可以在经过神经收集对顺序数据停止流水作业时停止进修，而不需要贮存神经活动或停止传布误差导数。

整体来说，FF 算法比反向传布要慢一些，而且在本文研讨的几个 toy problem 上，它的归纳性也不太理想，所以在功率不太受限的利用中，它不太能够取代反向传布。对于在很是大的数据集上练习的很是大的模子，这类摸索将继续利用反向传布。FF 算法在两个方面能够优于反向传布，一是作为大脑皮层的进修模子，二是作为利用很是低功率的模拟硬件而不需要借助于强化进修。

FF 算法

Forward-Forward 算法是一种贪心的多层进修法式，其灵感来自玻尔兹曼机和噪声对照估量。思绪是用两个前向传递取代反向传布的前向和后向传递，这两个前向传递又以完全不异的方式相互运算，但在分歧的数据上，方针也相反。其中，positive 传递在实在数据上运算，并调剂权重以增加每个隐藏层的优点（goodness）；negative 传递在 negative 数据上运算，并调剂权重以削减每个隐藏层中的优点。

在论文中，Hinton 经过在 CIFAR-10 上的尝试展现了 FF 算法的性能。

CIFAR-10 有 50000 幅练习图像，这些图像为 32 x 32 像素巨细，每个像素有三个色彩通道。是以，每幅图像有 3072 个维度。这些图像的布景很复杂，变化很大，在如此有限的练习数据下没法很好地建模。一般来说，有两到三个隐藏层的全毗连收集在用反向传布法练习时，除非隐藏层很是小，否则过拟合结果很差，所以几近一切的报告成果都是卷积收集。

由于 FF 的目标是用于权重同享不成行的收集，所以将它与反向传布收集停止了比力，后者利用部分感受野来限制权重的数目，而不外于限制隐藏单元的数目。其目标只是为了表白，在有大量隐藏单元的情况下，对于包括高度可变布景的图像，FF 的性能与反向传布相当。

表 1 显现了用反向传布和 FF 练习收集的测试性能，这两种方式都利用了权重衰减来削减过拟合。

更多研讨细节，可参考原论文。

参考链接：https://www.zdnet.com/article/we-will-see-a-completely-new-type-of-computer-says-ai-pioneer-geoff-hinton-mortal-computation/"Mortal computation" means analog computers marrying AI closely to hardware will put GPT-3 in your toaster for $1 running on a few watts of power.