“技术是为了人类，为了我们的好处、我们的繁华而存在的，但我们很轻易忘记这一点”
左为肯尼斯·斯坦利（Kenneth Stanley），右为乔尔·雷曼（Joel Lehman）
文｜《财经》记者 郑可书
编辑｜刘以秦
肯尼斯·斯坦利（Kenneth Stanley）不是征询从业者，但近几个月，他的邮箱堆满征询邮件。困惑的人们在邮件里问他：“这一切是什么意义？”
“这一切”，指的是ChatGPT的出现，及其激发的AI高潮。自客岁11月公布以来，全天下的人都在利用它、议论它，试图了解它代表的威胁和机遇。
研发出ChatGPT的公司OpenAI一样成为热门话题。肯尼斯曾在那边工作。已经错过ChatGPT、担忧再次错过新机遇的投资人联系到他，想领会他在做什么，由于“任何与野生智能、与OpenAI有关系的人，都能够在做重要的工作”。
OpenAI另一位前员工乔尔·雷曼（Joel Lehman）则接到了天下各地猎头的询问，包括中国。他与肯尼斯于2020年入职OpenAI，并在ChatGPT公布前几个月分开。在OpenAI，他们配合带领的开放性（Open-Endedness）团队，努力于让算法在没有预定方针的情况下自我进修、创新。
此前，他们曾在大学、AI草创公司多少智能（Geometric Intelligence）、优步（Uber）AI尝试室工作。2022年分开OpenAI后，肯尼斯开办了一家名为Maven的公司，建立开放式、必然性交际收集，而乔尔在AI独角兽Stability旗下的Carper带领开放性研讨团队。
他们已在野生智能行业工作多年，但现在技术停顿之快、论文数目之多，偶然也让他们感应难以跟上。
现在的中国野生智能行业面临类似的焦虑。业界、学界机构担忧错失时会，纷纷公布大模子。5月28日，科技部直属的中国科学技术信息研讨所公布《中国野生智能大模子舆图研讨报告》，称中国10亿级参数范围以上大模子最少有79个。这个数字还在延续增加，合作越来越剧烈，介入者在浪潮中挣扎。多位中国AI创业者告诉《财经》记者，他们今朝最关注的AI议题，是贸易形式、变现才能。
肯尼斯和乔尔已经走过为钱挣扎的阶段，他们给出了完全分歧的回答。肯尼斯最担忧的是，AI会让人阔他人性——机械越来越风趣，以致于人会花更多时候与机械交换，而非与人交往。久而久之，社会纽带将会断裂，政府将会崩溃。而他最初对野生智能发生爱好的缘由，恰正是他想经过领会“智能”来领会人性。
乔尔则关心机械进修如作甚小我、社会的开放式长大做出积极进献。他说，现在的机械进修以一种很是狭隘的方式看待人类，将满足偏好视为促进人类繁华的唯一路子，这催生了信息茧房，增加人与人的隔膜。人类是丰富而复杂的。“我们能够对某些事物上瘾，能够会做违反本身好处的工作；我们具成心志力，但偶然经过挣扎以后，我们才会做自己真正想做的事。”今年2月，他颁发论文《机械之爱（Machine Love）》，摸索机械从更丰富、复杂的维度去“爱”人的能够性。
他们利用AI工具帮助工作，但在一些工作上拒绝AI介入。肯尼斯和孩子一路玩时，即使不借助任何电子装备，也能很高兴；乔尔很少在写作中利用ChatGPT，由于他“不想自动化真正关心的工作”。
创新是他们关心的另一件事。2015年，两人合著的《为什么巨大不能被计划》出书。他们在书中记录多年AI研讨进程中的发现：设定方针，偶然会成为障碍；遵守猎奇心的指引，反而可以处理题目、实现创新。该书中文版于今年出书，激发很多中国科技、教育从业者的会商。
今年5月、6月，《财经》记者别离与肯尼斯、乔尔停止了一次书面交换、一次视频交换。最关注的AI议题之外，他们还谈到OpenAI的工作体验，美国AI行业的创投情况，以及Transformer的缺点、AGI（通用野生智能）的到来等技术题目。 以下是肯尼斯、乔尔和《财经》记者的对话。对话经过整理、删减：
美国投资界的上风在于多样性
《财经》记者：在OpenAI工作是什么体验？
肯尼斯：很兴奋，我们可以体验全新的技术。我在学术、贸易尝试室都工作过，OpenAI和其他研讨机构的明显差别是：其他机构有分歧的研讨小组，小组成员们制定自己的议程，在各自的范畴颁发论文；OpenAI也有小组，但分歧的小组方针分歧：我们共有一个使命，并一路朝着这个使命进步。
乔尔：OpenAI是一个使人兴奋的、快速成长的、务实的、松散的公司。员工可以提早试用模子，让人感受生活在未来。别的，OpenAI有充沛的算力资本，我供职过的其他研讨机构都没有这个条件。我们具有同一种愿景，而这个愿景与其他AI机构大概大都人那时的想法都分歧——OpenAI相信范围化，相信利用更多的数据和算力，就能增强模子的才能。
《财经》记者：ChatGPT公布后，你的工作、生活发生了什么变化？
肯尼斯：我的邮箱忽然接到了大量的征询请求，似乎全天下都对这个范畴感爱好，甚至是恐惧——他们担忧自己被落下，是以寻觅威望人士，询问这一切是什么意义。还有很多投资人联系我，想找到下一个风口。ChatGPT的成功让他们以为，任何与野生智能、与OpenAI有关的人，都能够在做重要的工作。
关于GPT，在某种水平上，它使人惧怕，由于它相当正确地捕捉到了人类认知的某些方面。这不可是科学上的进步，还具有哲学上的重要意义，由于这些认知是将人类与宇宙中的其他一切区分隔来的工具，而它们起头在机械中运转。
乔尔：很多猎头联系我，包括来自中国的。别的，OpenAI如此频仍地出现在消息中，以致于我的怙恃第一次如此领会我地点的公司。这类感受很奇异。 《财经》记者：为什么在2022年下半年、ChatGPT公布前几个月分开OpenAI？
乔尔：我没有预感到ChatGPT会发生如此庞大的影响。OpenAI是一个很棒的做研讨的地方，但它的研讨总是往一个特定的偏向鞭策；而我和肯尼斯作为研讨者，希望介入更根本、更开放的（不限制偏向的）摸干脆研讨。恰好那时，我们都有其他合适的工作机遇，所以我们分开了。
《财经》记者：有概念以为，中国的投资机构过于重视被投公司的贸易形式与盈利才能，不像OpenAI的投资方那样愿意冒险，所以扼制了创新，致使中国没有做出OpenAI和ChatGPT。你怎样看？
肯尼斯：将OpenAI的融资进程解读为“投资人不应当关心钱”，是毛病的。OpenAI的开创团队是天下一流的人材，所以投资人材愿意把赌注放在这里。
《财经》记者：美国AI行业的创投情况是什么样的？
肯尼斯：在美国，有充足多的投资人重视理念和愿景、愿意冒险，也有人只看利润。同一小我的想法也会改变，例如，我投资了一个方针不明白的公司，失利、赔钱了，那末下一次我就会更关心贸易形式和利润。我以为，美国投资界的上风，就在于概念的多样性。这是一个健康的情况。
我对中国的投资界没有深入领会，但多样性对任何地方都是有益的。硅谷的风险投资产业已经很是成熟，而在中国风投这样相对不成熟的情况里——我没有贬低的意义，由于几近没有什么地方会像硅谷那样成熟——我可以设想大师很是关注利润和贸易化。这样也能投出好公司，但它们不会像OpenAI那样具有反动性。
别的，决议投资偏向的不但仅是投资人，还有他们背后的各类机构、基金等。供给科学研讨资金的国家机构应当不怕吃亏，由于科学研讨总是布满风险的；假如没有任何吃亏，那意味着他们现实上没有在做研讨。但我发现，这些机构反而更守旧。这有点嘲讽，他们会问：“研讨方针是什么？”然后评价方针的可行性，再决议能否给钱。反却是市场化的投资人会有分歧的概念。他们把投资视为一个组合，不在意个此外失利，整体的上涨可以填补下跌就行。他们偶然更愿意说：“我不晓得这有什么意义，但它听起来很酷，我要投。” Transformer有缺点，AGI还很悠远
《财经》记者：Transformer以后，会有新的架构出现吗？（注：Transformer是Google 在2017 年提出的一种自然说话处置模子，也是明天AI大模子的根本架构。）
肯尼斯：我不相信Transformer就是我们到达的终极架构，这类概念从研讨角度看，似乎过于悲观了。但我不能解除这类能够性。也答应以不改变架构，只改变练习方式、提醒词（prompt）的长度等其他方面。
提醒词中的文本是有顺序的，神经收集确切看到了这个顺序，只是今朝能输入的提醒词太短了，所以Transformer没法依照时候顺序进修。也许未来会有一些冲破，让提醒词可以长到包括整小我类历史，然后模子便可以在提醒词中进修。这是一个很是希奇的想法，但假如可以实现，也许架构将连结稳定。
另一个身分是硬件，科学家们会想到很是风趣的新架构，但当前的硬件能够没法承载，这就限制了我们尝试某些计划的空间。
乔尔：Transformer确切很是惊人，可以完成很多使命，但从历史经历看，会出现超越它的方式。
今朝Transformer的一个根基缺点是没有“循环（recurrence）”才能。面临题目时，人类会回首经历停止进修，曩昔的某个心理状态可以无穷次地频频再现，是以你想深思某件工作多久，便可以深思多久。Transformer也具有对曩昔的显式记忆，但这类记忆仅延续特定数目的token（注：AI处置文本的数据单元）。这类范式很是强大，足以使模子具有从输入的高低文信息中进修的才能。但它仍不能像人类那样，将记忆永久保存下来。
我想夸大，我并不是说机械进修模子必须像人类大脑一样运作，但今朝的研讨支流途径是这样。
《财经》记者：有人以为，大模子并不具有像人类一样的思考才能，它只是看起来在思考。
乔尔：这个概念很风趣，但从技术角度看，我不认同。Transformer在没有帮助的情况下停止算术运算的才能很是不像人类，它会犯很根本的毛病；可是当你与它交换那些它似乎没打仗过的复杂话题（比如试图将22种奇异的哲学思惟连系在一路），它可以给出相当使人印象深入的回应。是以，我以为现真相况能够处于中心位置。
《财经》记者：若何界说AGI（通用野生智能）？Sam Altman（OpenAI开创人）在中国的演讲中提到，十年内会有很是强大的野生智能系统出现，我们需要从现在起头做应对的预备，你怎样看？ 肯尼斯: 我不太关心 AGI 的切确界说。等我们看到它时，自然会晓得。我感受AGI这个词分离了我们的留意力。实在的题目不在因而否到达AGI，而在于，我们在十年内获得的功效，能否会对社会发生严重影响；假如是的话，那末不管它被称为AGI还是其他名字，我们都要做好预备。
乔尔：我认同。科学成长进程总是非线性的，我不晓得AGI什么时辰会到来，能够很快，也能够很慢。AI很快就会在一些使命上超越人类，某些方面的AGI能够很快就会到来。
这会带来两个题目。“智能”是界说人类的根本，当一个比人类还聪明的工具出现时，人类就处于危险当中。另一件有点可骇的工作是，很多人从工作中获得意义，当AI将工作自动化，我们就需要将人买卖义从工作转向寻觅愉悦、做自己喜好的事。这很好，但改变进程会很是艰难。今朝的证据显现，在美国，人们即使有社会保障，也会因失业沮丧，甚至会滥用药物。面临这类能够的未来，我们还没有做好预备。
《财经》记者：AGI什么时辰会实现？ 肯尼斯：关于这个题目，有很多分歧概念。但现实是，没人能晓得。智能范畴还存在一些尚无明白解法的缺口。
现在比力支流的通往AGI的方式是，基于Transformer，继续增加数据和算力。由于曩昔这类范围化方式很好地填补了先前模子的缝隙，例如从GPT-2到GPT-3、再到GPT-4的升级。基于此，一些人以为我们正处于AGI的临界点——只需要进一步范围化，就能处理题目。
但有些工具是没法经过范围化改良的，比如创新性。今朝的模子没法像人类发现摇滚乐那样，发现一种新的范式。这是一个严重的不敷，由于文化的本质就是创新。存在这个缺点的缘由是，Transformer是经过数据进修，而“创新性”之类的工具并不在数据里。今朝，被输入模子的数据不是按时候顺序重新至尾排列的，而是一全部零丁的数据块。这致使模子缺少时候概念，而创新是与时候顺序亲近相关的。
我们人类始毕生处某个特定的时候点，这个点之前发生了什么、还没有发生什么都是默许的，所以我们能晓得什么是新的、前沿的；但模子没法判按时候点，它将一切这些工具都视为一团庞大的夹杂体：它会看到关于汽车的数据，关于太空飞船的数据，关于大型说话模子的数据，但它们都是同时存在的，没有前后之分。是以，模子没法判定什么是前沿的。
另一个例子是幻觉题目（注：“幻觉”即AI天生的子虚或毛病信息），即说话模子怎样晓得自己晓得什么、不晓得什么？“晓得自己记得什么”不是一个说话进程。假如我问你，你三周前吃了什么？你会说不记得了。但你怎样晓得自己不记得？这个进程没法用言语表达，你不能说，我检查了这个，然后检查了阿谁，所以我晓得我不记得了。这更像是一种隐含的、与生俱来的进程，并不触及说话；假如没有说话，它就不存在于数据中，模子也就没法从数据中获得这个概念。
现在，由于RLHF（Reinforcement Learning from Human Feedback，从人类反应中停止强化进修，即由人类来练习模子，模子做得好就嘉奖，做得欠好就赏罚）的应用，这些不敷也答应以批改。但我以为，只要在模子真正了解它应当晓得什么、不应当晓得什么的情况下，这类方式才能有用；而只要这些常识隐含在数据中时，它才能真正了解。但今朝看来，数据中似乎不存在这类常识。例如，要让模子学会老实，我们可以在它不老实时赏罚它，然后它会变得老实。但这并不意味着它了解了老实的重要性。
这些题目很难经过范围化来处理，有处理法子，但需要更多的复杂性，需要新的洞察和技术冲破，不会轻易实现。所以AGI照旧很悠远。
爱，衰亡和野生智能
《财经》记者：现在，很多业界人士在警告AI的威胁，夸大对AI停止控制和监管。而你研讨的AI开放性，是让AI在没有方针的情况下，发生更多新的、让人意想不到的成果，是关于放松控制的。若何看待其中的冲突？
肯尼斯：好题目。AI作为一门科学，自己就是在追求进一步的发现和创新。我们应当接管对开放性的研讨，依靠它找到平衡——既答应延续发现，又遭到充足的限制。
乔尔：对开放性的研讨在一定水平上很重要，由于它使我们可以科学地处理贯串全部技术史的题目：我们若何从开放性进程中获得最大收益，同时下降风险？一样的开放式科学进程为我们供给了治愈疾病的疫苗和举世飞翔的飞机，也为我们供给了核兵器。缔造力和控制力之间的张力很深，需要大量思考和研讨。
《财经》记者：你现在已经是AI-native的生活状态了吗？
肯尼斯：不是。我确切在工作中利用AI，但生活中很多工作，比如和我的孩子一路玩，即使没有任何电子装备，也会很棒。我适度利用AI，生活就是生活。
乔尔：我用 ChatGPT（带有 GPT-4）了解新的常识范畴，用 Copilot写代码。
可是到今朝为止，我还没有在写作中利用ChatGPT（比如我没有用它往返答你的这些题目）。部分缘由是它还没有融入我的工作流程。比如，我会用特定的文本编辑器，把GPT集成进去很麻烦。而且，我喜好写作的艺术性质。也许在未来，它会变得充足轻易，可以融入工作流程；但我也有些抵牾，由于偶然辰，你不想自动化你真正关心的工作。
《财经》记者：当下，你最关心的一个关于AI的议题是什么？
肯尼斯：我担忧我们与人性越来越冷淡。我8岁时对AI发生爱好。它最吸引我的一点是，它能让我更好地了解人，与人发生更慎密的联系。这能够很难了解，究竟我们这些人看起来只是成天和机械打交道，对人类没有爱好。但了解“智能”的进程，实在就是在了解人性的本质。心理学也在了解智能，可它只研讨运作道理，不研讨构建方式；而我一向感觉，假如我不能构建某样工具，我就没法真正了解它。
用机械取代人的情况令我困惑。这就是我所说的与人性的冷淡——机械变得充足丰富和风趣，以致于你会抽出时候与机械交往，而不是与人交往。我们看到的图像、听到的音乐、读到的故事，已经是人类丰富设想力的产物，现在却越来越多地被机械生产。
我遭到震动的具体时辰，是第一次看到DELL-E（注：OpenAI的图像天生产物）时。忽然间，我意想到艺术可以不是自我表达，它只是艺术。而我一向以为，艺术的心爱之处在于显现人性。那时，我的孩子大约7岁。他喜好画画，而这个机械生产的画作质量远超他。这让我对未来很是困惑——这个冰冷的工具没有实在的体验，却会使人们没法欣赏我孩子的自我表达。我不喜好那样的天下。
像DELL-E这样的技术也可以帮助人类自我表达，但假如走向毛病的偏向，我们将沉溺于没有人性的工具，停止与人类互动，那时，社会纽带会破裂，政府也会崩溃。摆在我们眼前的一个庞大应战是：若何让野生智能支持成心义的人际联系，而非激励隔离与孤独。
乔尔：今朝我最关心说话模子摆设到天下的速度。我担忧制度（如法令、教育、经济、消息媒体和政治制度）更新缓慢，顺应速度跟不上说话模子的成长速度。
在美国，交际媒体、保举引擎等系统占用人们大量时候精神。这些系统具有将我们联系起来的才能，但它们常常只追求用户介入度、逗留时长，而非帮助我们改良生活。
似乎我们的一切制度都在这类方式下酿成赌博。比如，在美国，为了赢得选举，一些政治候选人不再停止老实的辩说，而是针对受众心理特点建立广告，激起他们对其他政党的冤仇。机械进修以很多分歧的方式介入其中，像是本性化保举与信息茧房。这也是我将研讨偏向转到机械进修、哲学穿插范畴的首要缘由之一。我希望我们能以更有益的方式利用机械进修。
《财经》记者：有法子避免这些情况进一步恶化吗？
肯尼斯：一种方式是，激励开辟增强人类才能的AI工具——将人随口唱的曲子建形成完整作品，促进高质量的人际互动，诸如此类。但人类的赋性难以控制。假如与AI交换很愉快，人们就会这样做。这有点像吃糖，甜味让人愉快，但你必须尽力控制，不能过度。
我们也需要国际合作，来建立检查与法令框架，还要肯定具体义务人。这也很难，触及经济题目与国际合作——假如可以实现AI的自力成长，一个国家可以完全鼎新全球经济，获得庞大上风。是以，分歧作是很是有引诱力的。
《财经》记者：很多中国AI创业者为贸易形式、融资忧心，他们想聚集资本，做出中国的OpenAI。你不关心钱的题目吗？
肯尼斯：假如我在一个急需钱的创业期间，我也会重视融资；但我似乎已经过了这个阶段——我现在以为，只要我做正确的工作，就能拿到融资。所以我更关注远景，担忧没有证据来支持我的想法，而不是钱。
我小我感觉，“成为下一个OpenAI” 不是一条明智的门路，由于凡是，你没法再次成为一样的事物。这个事物之所以出色，就是由于它是第一个这么做的、唯一无二的。现在，对话机械人范畴的合作很是剧烈，而我并不以为自己出色到能赢，所以，我更偏向于思考，有什么与OpenAI完全分歧的新工具？
乔尔：我喜好钱。我很荣幸，曾在薪酬丰富的尝试室里工作。但现在，更多的钱并不能让我感受生活更成心义。
《财经》记者：美国公众在关心哪些关于AI的题目？
肯尼斯：有各类百般的担忧，有人关注持久风险，比如人类的灭绝威胁；有人关注短期，比如失业题目。还有人同时担忧一切题目。有人对其他人感应愤慨，以为后者关心的不重要的题目吸引了大量关注，让人们没法聚焦到真正重要的工作上。今朝缺少共鸣。我以为人们正在整理思绪，肯定哪些是当下最重要的、值得我们花费大量时候精神应对的题目。
《财经》记者：论文《机械之爱》的首要内容是什么？
乔尔：“野生智能”是将我们对“智能”的了解植入机械，试图了解智能的本质；“野生生命”是将“生命”停止笼统，并在计较机中模拟生物进化。我尝试将一样的思绪利用到“爱”，将“爱”这个概念停止笼统，使得机械可以表示出“爱”。在理论中，这意味着将机械进修的方式与研讨爱的范畴（如哲学、灵性、心理疗法等）的方式连系。
机械进修的一个题目是，它以一种很是狭隘的方式看待人类，将满足偏好视为促进人类繁华的唯一方式。从这个视角看，交际媒体重视用户介入时长，就变得可了解了：在机械进修的眼中，你是一个完全理性的个体，是以你在交际媒体上花更多的时候，就意味着它供给了有代价的工具。
可是，人类是丰富而复杂的。我们能够对某些事物上瘾，能够会做违反本身好处的工作；我们具成心志力，偶然经过挣扎以后，我们才会做自己真正想做的事。
在这篇论文中，我采用更丰富的人类行为模子（类似于马斯洛需求条理理论），试图操纵说话模子，让机械尊重、促进人类的成长，而不但仅是赐与狭隘的满足。
《财经》记者：这听起来与你现在最关心的AI议题慎密相关。你是在寻觅处理题目标方式吗？
乔尔：我不敢自称有处理计划，但我希望找到一种积极的进步方式。我对人类、人类心理学，以及人类范畴与机械范畴若何可以有用连系很是感爱好。技术是为了人类，为了我们的好处、我们的繁华而存在的，但偶然，我们很轻易忘记这一点。
| 
