深度进修范畴发生的很多工作，都和那场太浩湖畔的竞拍有着某种奇妙的联系。

编者案

野生智能再次成为克日全球本钱市场最为热门的投资主题之一，《纽约时报》著名科技记者凯德·梅茨(Cade Metz)的《深度进修反动》出色而实在地再现了深度进修的成长过程：一群少数派学者，在持久不被支流学术圈认可的情况下，深信深度神经收集会改变天下，经过在黑黑暗的延续摸索，终究鞭策了野生智能技术在语音图像识别、自然说话了解和自动驾驶等诸多范畴获得改变天下的冲破性停顿，而本文作者，地平线开创人兼首席科学家余凯则以自己的亲身介入记录下了这段履历中的底蕴与趣事。

一、一封邮件激发的奥秘竞拍

《深度进修反动》这本书对我小我来说也有特此外意义，由于其开篇的前言报告了 10 年前我亲身鞭策倡议的一场竞拍，也是一段尘封的往事：我给杰夫·辛顿(Geoff Hinton)发出的一封电子邮件，致使了一场发生在美国加州太浩湖畔的奥秘竞拍。

我在这里顺便补充一些布景，关于当初我为什么会发出邮件联系辛顿，进而扣响了深度进修产业变化的发令枪。2012 年4 月，我分开了美国硅谷的 NEC 尝试室，回到北京，加入百度，带领百度新建立的多媒体部，包括语音识别团队和图像识别团队，这也是后来 IDL(Institute of Deep Learning，百度深度进修研讨院)的前身。阿谁时辰，深度进修在中国还是很是小众的研讨偏向，几近没有任何研讨机构关注深度进修。那年 9 月，我专门给百度首席履行官李彦宏演示了我们的一些深度进修项目标停顿，他感应很是震动，没想到现在算法停顿得这么快，这改变了他的认知。我记得，他还专门给全公司的产物司剃头邮件，要大师关注深度进修的最新停顿。

2012年10月，杰夫·辛顿和他的两名门生在 ImageNet 图像识别角逐上拿了冠军，而且颁发论文先容了冠军算法 AlexNet。这件事对于他人能够只是个消息，可是对我来说意义非凡！由于我已经率领 NEC 尝试室的研讨团队于 2010 年拿过第一届 ImageNet 比赛的冠军。我们采用了多层的稀释编码方式——一种非监视的卷积深度进修算法，来提取图像特征，然后用浅层的监视进修方式来做识别。那时，我们也试过监视进修的卷积神经收集，可是练习很难收敛。所以，我应当是天下上最领会辛顿团队用卷积神经收集赢得 ImageNet 比赛这件事的重要意义的人。那时我感应兴奋不已，就像触电了一样，因而立即写电子邮件给辛顿，迫切地表达了要和他深入合作的想法。

二、百度的第一次报价：1200 万美圆

辛顿很快就答复了，说很愿意合作，可是希望百度能供给一些研讨经费。我说没题目，大要需要几多钱？辛顿说，大要 100 万美圆吧。我因而去找首席履行官李彦宏，对他说我希望有充足的经费支持辛顿与百度在深度进修研讨方面展开合作，李彦宏很是支持。因而，我就答复辛顿说没题目，百度很愿意出研讨经费。他一方面暗示感激，一方面很名流地问我，能否介意他也去问一下谷歌的爱好。我那时有点儿后悔，猜我能够回答得太快了，让辛顿意想到了庞大的机遇。可是，我也只能漂亮地说不介意。

成果，他不但问了谷歌，还问了其他一些公司。大要 11 月 的时辰，他告诉我，还有几家公司暗示要和他合作，而且他注册了一家公司，叫 DNNresearch，预备让各家合作者以奥秘竞拍的方式来做团队收买。

我心里想，辛顿真是聪明，不但会做研讨，还很有买卖脑筋。12 月初，我飞往美国旧金山，租了一辆车，开车去了太浩湖，加入一年一度的机械进修顶级盛会 NIPS(Neural Information Processing Systems，神经信息处置系统大会)， 同时在那边与别的三家公司一路竞拍杰夫·辛顿的团队。我时辰与李彦宏以实时任百度投资副总裁的汤和松连结相同，而且代表百度做了第一次报价——1200 万美圆。

三、三家竞拍对手：谷歌、微软和？

我那时百分之百地确信别的三家竞拍对手里一定有谷歌，还有一家我猜大要率是微软，但不是百分之百确信，直到竞拍后，我在从旧金山回北京的航班上碰到微软研讨院的学者邓力博士。我和邓力属于业界很早的一批意想到深度进修重要性的学者，已经是多年的朋友了。我们俩因而在飞机上聊天，借题发挥地想搞清楚对方公司能否是介入了竞拍。虽然我们谁也不说出真相，可是下飞机的时辰，我们俩都已经百分之百确信对方公司是竞拍对手之一。

10 年来，我一向猜不到第三家竞拍对手是谁。我那时感觉能够是 IBM(国际贸易机械公司)大概 Nuance(语音识别技术公司)，可是读了《深度进修反动》以后，我才恍然大悟。《深度进修反动》作者凯德·梅茨采访了介入竞拍的几近一切人，复原了全部事务的全貌。其中一些风趣的细节，连我也是读了这本书才晓得的，由于昔时每个介入竞拍的人都不晓得其他家的底牌。

百度的第三家竞拍对手居然是 DeepMind！它那时还是一家建立仅两年的名不见经传的小型草创公司，居然要出价收买“深度进修之父”杰夫·辛顿的公司，可见昔时 DeepMind 的首席履行官戴姑娘·哈萨比斯(Demis Hassabis)有何其远大的大志和理想，难怪后来 DeepMind 推出了震动天下的 AlphaGo(阿尔法围棋)。比来，DeepMind 又在《自然》杂志上颁发论文，他们用强化进修技术发现了 50 年来最快的矩阵乘法算法。

有些细节表露，让我既感觉风趣，又感慨万千，有的表露令我忍俊不由，比如，由于担忧影响拍卖价格，辛顿和他的两名门生在太浩湖哈拉斯赌场酒店 731 房间内行忙脚乱地袒护老教授那时糟糕的健康状态，而那时我拍门的时辰完全不晓得；再比如，我分开时把背包落在了他们房间里，他们三人还犹豫着要不要翻开我的包，看看我出价的底牌……

四、少数派学者的成功：深度进修突起十年

说了这么多，昔时奥秘竞拍的终极成果还没有告诉大师——谷歌从 4 家合作公司中脱颖而出，以 4400 万美圆的价格成功地收买了杰夫·辛顿和他的两名门生组成的研讨团队。这也随后拉开了百度、谷歌、微软、DeepMind和英伟达等全球高科技公司竞相重度投资深度进修技术研发，并展开剧烈的人材合作的序幕。

而在那次事务之前，深度进修根基上还是在象牙塔里的纯学术研讨，并不被众多科技公司重视。所以，此次奥秘竞拍事务可以说是深度进修鞭策全球科技产业变化的“发令枪”。

在曩昔的 10 年里，深度进修改变了野生智能，也改变了天下。介入那场拍卖的大部分人明天都还活跃在科技的舞台上。2019 年，杰夫·辛顿与约书亚·本吉奥(Yoshua Bengio)、杨立昆(Yann LeCun)配合获得了计较机范畴的最高奖— 图灵奖。

他的两名门生之一伊利亚·萨特斯基弗（(Ilya Sutskever)）——后来与埃隆·马斯克等人结合创建了著名的 OpenAI(野生智能研讨公司)，打造了在强化进修范畴几近与 DeepMind 齐名的研讨机构（OpenAI正是推出ChatGPT的机构）。

辛顿一向都很是感激我，有一次我在加拿大温哥华的一场学术会议上碰到他，他很是热情地请我去餐馆吃饭。

代表微软介入了竞拍的邓力博士，后来成为天下上最大的对冲基金之一— Citadel(城堡投资)的首席野生智能科学家。DeepMind 后来被谷歌收买，公司开辟的 AlphaGo 震动了全天下，激起了无数人对野生智能的热情。

最使我感动的是，履历过那场竞拍的大部分人到明天都在尽力奋斗着，没有人懒惰或躺在功绩簿上，包括我自己，2015 年创建的地平线明天也成为行业里有影响力的科技企业。我们这些人都对野生智能的无穷能够布满着孩童般的猎奇，天天享用着技术改变天下带来的兴趣和满足感，并经过技术和产物让这个天下变得加倍美好。

深度进修范畴发生的很多工作，包括我自己的职业生活和创业履历，都和那场太浩湖畔的竞拍有着某种奇妙的联系。《深度进修反动》这本书并不是偏重在讲一个个研讨功效的技术概念，而是在讲鞭策这些研讨停顿的背后这群人。野生智能范畴比来获得的日新月异的停顿，关键就在于有一群固执、热情和心爱的研讨者。任何巨大的成就，其宝贵之处都在于人的精神。

书名：《深度进修反动：从历史到未来》

作者：凯德·梅茨（Cade Metz）

译者：桂曙光

出书社：中信出书团体

文｜余凯

编辑｜喻舟

（本文内容仅供参考，投资倡议不代表《巴伦周刊》偏向；市场有风险，投资须谨慎。）