关于本书

《人工智能是如何设计的——知乎傅渥成作品》/傅渥成

出品人 周源

策划编辑 梅莹

设计 刘奕含

联系我们 publish@zhihu.com

本电子书版权为北京智者天下科技有限公司所有，未经书面授权，不得在任何地区以任何方式反编译或节录本书内容。

ZHI-BN:8-00XX-0000160120-1

DNA-BN：ECFD-N000000670074

最后修订：2016 年 01 月 20 日

出版：浙江出版集团数字传媒有限公司

浙江 杭州 体育场路 347 号

互联网出版许可证：新出网证（浙）字 10 号

电子邮箱： cb@bookdna.cn

网址： www.bookdna.cn  

本书电子版如有错讹，祈识者指正，以便新版修订。

Zhejiang Publishing United Group Media CO., LTD, 2013

No.347 Tiyuchang Road, Hangzhou 310006 P.R.C.

service@bookdna.net

www.bookdna.net

「一小时」电子书出版序

知乎创始人 周源

感谢你阅读知乎推出的「一小时」系列电子书。

「一小时」系列是什么？

这是一系列短小精炼的电子书。我们邀请了知乎各专业领域的知友在书中分享他们的知识、经验和见解。如果你足够认真，便可以在一个小时内读完一本书。

这里既有日常经济分析，也有人文历史，既有职场经验，也有生活中的科学。这些作者，都是我们精心为你寻找，在各个领域拥有独到见解的专业人士。而我们出版的每一本书，都会解释一个问题，分享一种思路，展开一个视角。

地铁上，入睡前，在这些细碎的时间里，挤出一小时的时间，静下心，读下去。

你很忙，但知识不慌张。

愿你从「一小时」开始，对这个世界，又多了一分认识。

一、就在身边的人工智能

Lavelace 夫人的异议还有另外一种说法，即机器「永远不能真正地创新」（never do anything really new）。…… 这种异议还有另一个稍好些的说法，即机器永远也不能「让我们惊奇」（take us by surprise）。这种说法直截了当，我也能针锋相对地反驳。机器以极高的频率令我吃惊。……

—— 阿兰·图灵（Alan Turing）¹

2016 年 3 月 15 日，备受关注的人机大战以机器的胜利宣告结束，最终  Google 公司旗下 Deep Mind 团队的围棋程序 AlphaGo 以 4:1 的比分战胜²了人类围棋世界冠军李世石。2016 年 12 月 29 日，弈城围棋网出现了一个名为 「Magister」 的「围棋高手」，这位用户此后改名为 「Master」，在横扫了中日韩台等地区的诸多顶尖高手后，于 2017 年 元旦转战野狐围棋网，在与人类高手的较量中³，Master 保持着不败的地位。在实现 59 连胜之后，这一帐号承认其为 AlphaGo，代为执子的是 AlphaGo 团队中的黄士杰博士。在快棋比赛中，AlphaGo 碾压人类的优势给普通公众留下了深刻的印象，无数人开始惊呼：人工智能超越人类智能的时代真的到来了。

这其实已经不是人类第一次「惊呼」了。1997 年，IBM 的超级计算机「深蓝」（Deep Blue）就已在国际象棋领域战胜过人类国际象棋大师卡斯帕罗夫（Garry Kasparov），2011 年，IBM 的超级计算机沃森（Watson）在智力竞猜节目《危机边缘》（Jeopardy！）中战胜了人类的冠军选手，但尽管如此，机器在围棋比赛中的胜利依然有其指标性的重要意义。这是因为围棋有着远远超过其它棋类的复杂性。通常在人类看来，围棋取胜的关键并不在于「计算能力」，而是在于对「形势」的「直觉」，在于「创造性」的「领悟」。然而，AlphaGo 在这些方面常常不按套路行事，许多著名围棋选手甚至认为 AlphaGo 对围棋的理解比人类更深，这些无疑让人类感到极大的压力。在围棋比赛以外，人工智能下一个颠覆我们三观的应用将是什么？在人工智能面前，人类的智能到底还有优势吗？人工智能会为未来的世界带来些什么？在人类的机械性工作被机器人所取代之后，下一步，人类那些抽象的创造性工作也将会被人工智能所取代吗？随着人工智能技术的发展，人类的地位会被威胁吗？

预测贫困：迁移学习

在思考人工智能给人类带来的「威胁」之前，我们不妨首先来考虑考虑人工智能的诸多技术能怎样「让这个世界变得更美好一些」。用一个具体的例子来进行说明，研究者们通过手机网络数据，可以得到用户行为的诸多特征，然而怎样利用这些结果，其实有着两种不同的思路：企业会根据这些信息尝试对用户进行分类，并继续预测用户的行为，并推送不同类型的广告；而经济学研究者则可能会根据用户的手机使用情况，综合其它调查数据，重建出一个地区的人口分布和财富分布⁴。

在上面的例子中，我们很容易发现企业与研究者研究目的上的差异，但我们很少会注意到这种差异背后涉及到的更深刻的问题。企业在利用自身数据时，往往自动地在一个封闭的生态环境中利用「自己的」数据，通过一些有效的算法，对用户行为进行「预测」；而研究者却天然地用到了信息的「整合」，在上面的例子中，研究者们综合利用了调查数据、手机使用情况以及地理信息等多种不同来源的数据。与简单的「预测」相比，研究者天然就偏爱信息的整合，这可以帮助他们讲一个更好的故事。整合可以帮助研究者在两种类型不同的数据间建立起联系（关联关系或因果关系），一旦建立起这种关系，我们就可以将自己在一个熟悉领域的经验「迁移」（transfer）到另一个未知的领域中，类似的方法也正在成长为人工智能领域的一个新的增长点。我们还是通过通过一个例子来说明这种研究思路的应用。

我们都曾经见过城市夜光的卫星照片，在这些照片中，我们可以明显看到中国沿海地区和内陆地区（或者韩国与朝鲜）夜光亮度的差距，这些差距反映出经济发展状况的差距。有许多研究建立起了夜光与地区经济水平（贫穷指数、经济生产率、GDP 等）发展之间的定量关系⁵。这是一种全新的数据收集方法，这些信息可以真实而准确地反映出许多社会问题，为政府和非政府组织的决策可以提供非常重要的参考。

然而，夜光数据有其天然的缺陷，夜光的照片通常分辨率较低，而且一块黑暗的区域既有可能是因为贫困，也可能是因为无人居住，亮度较高的区域也可能是政府的公共设施（例如高速公路），并不反映出相应区域真实的贫困情况。怎样才可以准确地对一个局部区域（例如一个村庄）的经济发展情况进行有效的评估？斯坦福的一个研究团队巧妙地利用了迁移学习（transfer learning）的方法，先用低精度的夜光图片数据作为标记，再训练一个深度卷积神经网络（Convoluational Neural Network, CNN），使得这个网络可以通过白天的高清卫星遥感图像来预测「夜光」的强度。这一预测的目的并不真的是为了预测夜光，而是希望提取白天的卫星遥感图像中的特征，例如可以从图片中识别出有人居住的房屋屋顶、公路、无人居住的河流等特征。然后，再用这些特征作为输入，结合部分采样点的贫困调查数据作为标签，再训练一个神经网络。

（图 1 - 斯坦福的研究小组通过将夜光数据与卫星遥感数据进行整合，对地图上不同区域的贫困程度进行了较高精度的预测。图中展示了这一预测过程的完整流程，这一学习过程分为两部分：（a）根据卫星遥感数据来预测同一区域的夜光强度，从而训练得到了一个可以很好地描述遥感图片特征的 CNN；（b）用经济调查数据作为标签，以遥感图片的特征作为输入，训练一个可以「预测贫困」的神经网络。图片引自 Blumenstock, Science 2016.）

通过迁移学习，最终，科学家们得到了一个这样的神经网络：只要给这个网络某个区域内的卫星遥感图，它就可以准确地对局部贫困程度进行较高精度的预估⁶（如图 1 所示）。这个例子展示了迁移学习巨大的应用前景⁷：如果可以让机器学习的系统首先在那些易于获得的（可能质量相对较低的）小规模数据上进行训练，这些训练的结果有可能可以帮助我们在新环境（或者另一种类型的数据）的学习任务中达到优异的表现；更重要的是，随着卫星遥感、移动互联网、传感器技术等诸多的发展，面对许多复杂的问题，我们开始可以收集到更加丰富而全面的数据，随着这些数据量的不断累积，我们必然需要发展出一些方法处理爆发性增长的大数据。迁移模型正是一种极具可行性的方案，利用旧有的已标记的数据（这些数据可能是另一领域的数据），训练新的模型，这为未来更大规模、更精细的研究提供必要的准备。

来自机器翻译的挑战

2016 年 11 月，Google 在其官方产品博客上宣布⁸，其翻译系统取得了重要的进展，「通过这一次更新，谷歌翻译一次性提升的性能超过了过去十年进步的总和。」事实上，Google 翻译在 2016 年至少取得了两个重大的进展，从用户的角度看，新版的 Google 翻译的确可以给出更准确更流畅的翻译，这种翻译是怎么实现的呢？

（1）神经机器翻译⁹

Google 翻译的第一个突破发生在 2016 年的 9 月，当时，Google 宣布发布了其神经机器翻译（Google Neural Machine Translation, GNMT）系统，称该系统能实现目前为止机器翻译质量的最大提升¹⁰。这种神经机器翻译的方法与传统的基于统计的机器翻译方法有着较大的不同，在这种翻译的过程中是以「句子」作为翻译的基本单位的。在翻译的过程中，首先用用一个编码器（encoder）将输入的 A 语言的句子编码为一个稠密的向量，这个编码器通常采用循环神经网络（Recurrent Neural Network, RNN）来实现，它可以按照句子的顺序将句子转换为一个向量表示，随后再用一个解码器（decoder）从该向量中解码出 B 语言中的句子。之所以我们的语言可以编码为稠密的向量，是因为我们的语言中隐藏着许多逻辑关系，例如仅凭直觉，我们可以感受到：「男」和「女」与「国王」和「王后」之间存在着某种「平行」关系¹¹，而在句子的尺度上，这种编码同样也是有可能的，例如「我爱你」和「狗咬我」有着相同的句式和结构，将句子编码为向量的这种方式可以揭示出语言中隐藏的一些结构。

因此，在神经翻译的过程中，一个重要的关键就在于稠密向量的构建，但在编码时，由于循环神经网络的「记忆」长度是有限的，因此在对长句子进行编码时可能出现一些问题，为了更好地「对齐」两种不同的语言，解码器将重点集中在两种语言中最为相关的那些词的分布上，这种机制称为「注意」（Attention）。Google 所采用的模型由带有 8 个编码器和 8 个解码器的深度长短期记忆人工神经网络（Long-Short Term Memory, LSTM）组成，网络中使用了也使用了「注意」机制¹²。近来，另一种机制也引起了研究者们的注意，这种新的机制不是集中于局部，而是对网络的整体进行改变，这种机制被称为 「Active Memory¹³」，这一机制在很多实际应用的领域都取得了比「注意」更好的效果。

（2）Zero-shot 学习：从大数据到小数据

在「大数据时代」，我们有时候甚至会把机器学习与数据分析等同起来。有趣的是，人类在学习的过程中常常不需要什么数据，当我们读到文学作品中的一些描述，我们常常会有「身临其境」之感，人类似乎自动地就知道怎样把一个领域的知识（文字描述）自动地迁移到另一个领域（图像）。我们当然希望机器也具有这样的能力，例如，我们会希望机器能够从若干张照片中找到符合目击者的描述（性别、身材、其它外貌特征……）的疑犯。这是一个没有学习数据的问题，但人类却可以很好地解决这样的问题。这就启发机器学习的研究者们提出一些算法，来实现人类所能实现的这些智能的行为。这些问题根据数据的多少可以被分为：Zero-shot 学习（通过目击者证言找到凶手），One-shot 学习（通过一张身份证照片，从茫茫人海中找到凶手），Multi-shot 学习（监视器拍到了凶手的若干张照片，希望通过这些照片找到凶手）等。这些领域正是研究者们「各显神通」的领域，目前已经发展出了许多基于「属性」的方法（Attribute-Based）¹⁴。这种方法与我们人类感知世界的方法相似，我们在认识各种物体时，也关注它的一些「属性」，例如形状、颜色、材质等等，这些「属性」也可以被迁移到对其它事物的认识上。

Zero-shot 学习也可以被用到机器翻译领域。例如一个人已经学会了英语和日语、英语和韩语之间的翻译，那么当他在面对日语和韩语之间的翻译时，虽然他没有学习过从日语到韩语之间转换关系的任何语料，但他可以自动地把之前学习到东西自动地「迁移」过来。这种知识的迁移不同于连续进行两次翻译（日语——英语——韩语），而是意味着从语言的翻译中找到了某些类似「属性」的东西。在较早之前，自然语言处理（Natural language processing, NLP）领域的研究者们就发现，人类语言中的词与词的关系中蕴含着某种几何结构¹⁵。而 Google 在 Zero-shot 翻译方面的最新成果¹⁶则说明，在句子与句子的关系间，人类的语言依然蕴含着某种几何结构，这些几何结构暗示了人类语言的深层次特征（如图 2 所示）。在学习的过程中，随着这种几何结构被揭示出来，我们可以认为在这种迁移学习的过程中帮助我们找到了某种「中介语言」（interlingua）。这种「中介语言」展示出人类不同的语言所共有的通用性的特征空间，它可以帮助我们在其它一些没有训练过的语言间建立联系，也可以帮助提高机器翻译的质量。

（图 2 - 机器翻译问题背后隐藏的几何结构，图中的节点表示一些句子在英语、日语、韩语之间来回翻译的情况。（a）整个结构的鸟瞰图，图中，语义相近的句子用相同的颜色代表。（b）将图 a 的局部放大，显示出一系列语义相近的句子。 （c）将图 b 中不同语言的部分进行了区分，图中出现了一些语义上非常接近，但分属于不同语言的节点，这说明这一翻译系统在「句子」的尺度上找到了不同语言间准确的翻译关系。）

（3）对偶学习（Dual Learning）

对偶学习（dual learning）是近来被提出的又一种新的学习范式¹⁷，这种学习的方式看起来就更加神奇了。简要介绍一下这种学习方法的基本思路：假如现在小明只能讲中文， Alice 只会讲英文，他们两个人虽然都不懂对方的语言，但是他们希望可以改进中英文之间的两个翻译模型（中译英，英译中）。怎样可以实现他们的这个目的呢？首先，对于一个英文的句子，Alice 先用翻译工具将其翻译为中文，由于她并不懂中文，于是她直接把句子发给了小明；但小明又不懂英文，于是小明只能按照中文的语言习惯判断这个句子是否通顺，这可以帮助小明判断这个「英译中」的系统是否做得很好，随后，小明把他修改过的句子再用「中译英」的系统翻译成英文，并把英文句子发给 Alice。Alice 虽然不懂中文，但她能比较经过这一大圈的翻译之后，得到的新句子与最初的版本是否相似。这一信息可以帮助判断是否两个翻译模型都表现良好。随着「对偶学习」过程的持续进行，未标注的数据也得到了充分的利用，利用这些信息，可以帮助改进对偶任务中的两个翻译模型。这种对偶学习的想法为进一步改进现有的翻译模型提出了崭新的思路。

模仿游戏：生成对抗网络（GAN）

假设一个城市治安混乱，很快，这个城市里就会出现无数的小偷。在这些小偷中，有的可能是盗窃高手，有的可能毫无技术可言。假如这个城市开始整饬其治安，突然开展一场打击犯罪的「运动」，警察们开始恢复城市中的巡逻，很快，一批「学艺不精」的小偷就被捉住了。之所以捉住的是那些没有技术含量的小偷，是因为警察们的技术也不行了，在捉住一批低端小偷后，城市的治安水平变得怎样倒还不好说，但很明显，城市里小偷们的平均水平已经大大提高了。

警察们开始继续训练自己的破案技术，开始抓住那些越来越狡猾的小偷。随着这些职业惯犯们的落网，警察们也练就了特别的本事，他们能很快能从一群人中发现可疑人员，于是上前盘查，并最终逮捕嫌犯；小偷们的日子也不好过了，因为警察们的水平大大提高，如果还想以前那样表现得鬼鬼祟祟，那么很快就会被警察捉住。为了避免被捕，小偷们努力表现得不那么「可疑」，而魔高一尺、道高一丈，警察也在不断提高自己的水平，争取将小偷和无辜的普通群众区分开。随着警察和小偷之间的这种「交流」与「切磋」，小偷们都变得非常谨慎，他们有着极高的偷窃技巧，表现得跟普通群众一模一样，而警察们都练就了「火眼金睛」，一旦发现可疑人员，就能马上发现并及时控制——最终，我们同时得到了最强的小偷和最强的警察。

在大量场合下，我们只是希望提高识别的准确度，例如从 12306 的验证码中准确分辨出「小狗」，这其实是希望训练出最厉害的「警察」——如果在与此同时，也训练一些「小偷」的话，那么通过不断地训练，最终会出现怎样的情况？理论上来说，我们可以得到我们想要的识别能力超强的的「判别器」，与此同时，我们还得到了一个生成测试数据的「生成器」（这个生成器可以生成各种与 12306 的验证码中的「小狗」类似的图片）。

上面所介绍的内容即为「生成对抗网络」（Generative Adversarial Networks, GAN）算法的基本思路。GAN 的想法最早由 Ian Goodfellow 在 2014 年提出¹⁸，机器学习领域的大师、Facebook 人工智能部门的领导人 Yann LeCun 曾评价 GAN 是 「自切片面包以来最酷的想法¹⁹」，近来，苹果公司首次公开的其人工智能领域的论文也正是关于 GAN 的²⁰。GAN 用对抗的方法，同时训练了一个「生成模型（G）」与一个「判别模型（D）」，在学习的过程中，这两个模型之间的竞争和博弈，逐渐提高模型整体的生成能力和判别能力。生成模型和判别模型可以都是神经网络。生成模型的优化目标是尽可能地去生成伪造的数据，从而获得真实数据的统计分布规律；而判别模型则用于判别给出的一个输入数据到底来源于真实数据还是生成模型。最终，当一个判别模型无法准确分辨生成模型所生成的数据是否为伪造时，则训练结束，此时我们认为判别模型与生成模型都已经提高到了较高的水平，生成模型所生成的数据足以模仿真实世界中的数据。

（图 3 - GAN 的训练集和生成的图片实例；图片来源于 Ian Goodfellow 的 NIPS 2016 Tutorial.）

最早提出这种「模仿」的想法的人是人工智能之父阿兰·图灵，不过他更强调的是机器对人的「模仿游戏」（imitation game），这种模仿我们今天称为「图灵测试」。事实上，「模仿游戏」中的「游戏」我们也可以理解为「博弈」，在这种视角下来看，GAN 对应于博弈论中的二人零和博弈（Zero-Sum Game），博弈双方分别是生成模型和判别模型，在这种博弈中，如果一方有所得，则另一方必有所失，因此双方都必须想尽一切办法「损人利己」。随着这种博弈的不断进行，我们最终得到了两个互相竞争，而且都表现良好的神经网络。

GAN 算法提供了一种非常灵活的算法框架，事实上，对于生成模型和判别模型，我们可以选用不同的各种类型神经网络来进行计算；针对各种不同的任务，我们还可以设计不同的损失函数，在 GAN 的框架下不断进行生成和判别，最终达到学习的效果。GAN 算法可以给出许多神奇的应用²¹，很容易想到，这一模型可以用来生成各种图片。随着算法的不断改进，GAN 算法这方面的潜力正在逐渐被释放出来，目前的一些生成算法甚至已经能生成一些分辨率较高的图片²²；这些生成模型还可以用来还原一些分辨率较低的图片²³；还可以用来根据文字生成其所描述的图片内容²⁴…… 或许就在不久以后，与之类似的一些生成算法也可能会像 AlphaGo 一样做出一些让我们每个人都感到惊奇的事情。

AlphaGo：增强学习

机器学习的诸多算法通常被分为监督学习和无监督学习²⁵。其中，监督学习（supervised learning）根据训练数据集中学习出一个函数，这个函数可以将输入映射到相应的输出（例如一个根据卫星遥感图预测夜光强度的函数），在这一训练过程中，训练集中的目标（例如夜光的强度）是已经被标注的。而无监督学习（unsupervised learning）则面对的是没有标注的原始数据集，一个典型的应用就是根据已有的数据，在没有标签的情况下对数据进行聚类（clustering），在未对图片加标签的情况下，GAN 自己生成各种图片也是一种无监督学习。然而，近年来，在这两类方法以外，强化学习²⁶（Reinforcement learning）算法开始被企业界和学术界越来越多的研究者们注意。

强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种「绩效奖励」非常类似。我们平时也常常用这样的策略来提高自己的游戏水平。DeepMind 团队曾经用这样的方法训练了一个神经网络模型来玩打砖块（Atari Breakout）的游戏，「打砖块」这样一个游戏看起来复杂，但事实上可以对应为一个分类问题，即对于当前的游戏画面，到底应该向左、向右还是保持不动（撞击小球）。如果用监督学习的方法来解决这一问题，那么就是叫来一堆高端玩家，学习他们潜意识中的「分类函数」，但强化学习所采取的策略却并非如此：通过给游戏主体（agent）的不同行为设定恰当的回报（reward），一旦游戏主体采取了恰当的行为，他们马上可以获得正反馈，进而提高自己是游戏技巧。最终，在强化学习程序玩到大约 600 多局时，这个程序学会了一种高明的得分技巧，先在墙的一角打出一个孔洞来，通过这个孔洞把球打到墙的后面去，利用球自己的反弹不断得分。

（图 4 - DeepMind 通过强化学习找出的打砖块游戏得分技巧²⁷。）

在游戏中，怎样设置「正反馈」的规则也是充满技巧的问题，就像我们在金融市场上的投资一样，我们必须仔细分析近期收益和远期收益，我们可以采取类似于利率计算的方法，设置一个合适的回报函数；另一种常用的方法是考虑最大化 Q 函数，Q 函数定义为，在特定局势下，在采取某一特定操作后，游戏结束时可能最大的得分，这种学习的方法叫做 Q 学习（Q-learning）。不过，不管采用怎样的回报函数，如果仅仅简单地进行「正反馈」，在遇到复杂的问题时，这样的方法会不可避免地遇到一个问题：在计算机科学中，与之相关的经典问题通常被称为「多臂老虎机问题」（Multi-armed bandit problem）。假如存在一个有多个摇臂的老虎机，投币就可以摇动这个老虎机的各个摇臂，每个摇臂对应的中奖概率会有所不同。一个赌徒希望使得获得的奖励最大化，那么他必须考虑两方面的问题，其一是「探索」（exploration），他必须尝试各个不同的臂，以得到更多的信息；其二是「利用」（exploitation），如果已经完全了解到了老虎机不同臂的中奖概率，那么选择其中中奖概率最大的臂就是让自己获利最多的一种方案了。但实际的情况是，我们必须在「探索」和「利用」这二者之间取得一个均衡。可怎样才能取得一个最佳的平衡呢？假如现在我们已经完全知道了所有摇臂的中奖概率，那么选中中奖概率最高的摇臂，不停地连续摇这个摇臂，这对应于完全的「利用」状态。而如果我们还不太清楚各个摇臂的中奖概率，想获取尽可能多的信息，那么我们应该尽可能多地去「探索」。正常的情况，我们需要结合「探索」和「利用」两种策略，在尽可能短的时间内，尝试得到最高收益和最多信息。

（图 5 - 多臂老虎机示意图。）

强化学习的方法在许多不同的领域都取得了重要的应用，其中让人印象最为深刻的莫过于 AlphaGo 了²⁸。必须指出的是，AlphaGo 是一个非常系统的工作，它不是单个领域的简单突破。AlphaGo 由策略网络（Policy Network）、估值网络（Value Network）、快速走子（Fast rollout）和蒙特卡罗树搜索（Monte Carlo Tree Search，MCTS）四个部分组成。其中的策略网络和估值网络都用到了强化学习的算法。其中，「策略网络」是用来通过当前的局面，决定下一步的策略的神经网络，在这里采用强化学习，指的是通过进行数百万计的模拟对局，利用这些对局的结果来确定神经网络连接，最终让策略网络在面临不同的局势时，产生恰当的「策略」。而「估值网络」是用来给当前的局面进行一个评估，从当前的局势来判断到底最终是白胜还是黑胜，估值网络可以为强化学习提供恰当的回报，在训练估值网络时，采用强化学习的方法是为了能很好地预测那些在「左右互搏」中的赢家。AlphaGo 的巨大成功给我们每个人都留下了深刻的印象，强化学习的巨大潜力已经清晰地展示在人们面前。

展望未来

在本节中，我简要地介绍了一些人工智能的算法在特定领域中的应用。之所以选择这些应用来进行介绍，其实是想通过这些例子，展示若干个正在蓬勃发展的新方向。这些新的方向也暗示出许多新的机遇，例如一个常见的问题是：随着人工智能技术的发展，小企业还能成功吗？的确，基于数据的学习目前正是许多机器学习算法的关键，不过，大企业的这些优势随着算法技术的发展是否还会继续延续？对小企业来说，「迁移学习」暗示了一些新的可能性，而「生成对抗」又暗示了另一种可能性。

（图 6 - Yann LeCun 蛋糕比喻幻灯片截图。）

「强人工智能」（Strong AI, 或 Artificial General Intelligence）是研究者们长期以来不断尝试实现的梦想。一个具有强人工智能的机器能表现人类的所有智能行为，甚至某些方面可以超越人类。今天，许多科技界人士鼓吹「奇点」的临近²⁹，事实上，在人工智能发展早期，学术界和工业界也曾经对强人工智能的前景持有一种过分乐观的态度，1965 年时，人工智能先驱、图灵奖和诺贝尔经济学奖得主司马贺（Herbert Alexander Simon）曾经预言「20 年之内，机器就能够做到一个人能做到的任何事。」遗憾的是，直到今天，我们仍然没有见到这样的机器。今天的研究者们对人工智能的发展有了一个更为冷静理性的判断，Yann LeCun 用一个比喻说明了现在的人工智能研究者所处的定位³⁰：「如果人工智能是一块蛋糕，那么无监督学习（预测学习）就是蛋糕本身，监督学习是外面的糖霜，强化学习则是蛋糕上的一粒樱桃。目前我们只知道如何制作糖霜和樱桃，却不知如何制作蛋糕本身。」我们怎样才有机会学会怎样做蛋糕？是通过不断增加神经元以及神经元之间连接的数目，还是通过设计出更好的神经网络结构来实现？我们自己的各种学习过程往往是多种不同的「算法」的综合，是否一个强人工智能也会需要在同一个系统内综合性地使用多种不同的算法？我们现在仍然不清楚答案是什么，无数的研究者正沿着不同的方向开始研究这个蛋糕。

尽管人工智能还有很多没能完全解决的问题，但无可否认的是，人工智能的诸多应用在许多不同的行业或领域将会发挥重要的作用。随着大量机器学习算法的发展，在未来，各种人工智能算法将会取得更大的突破，到那时，市场上不但会需要大量设计人工智能算法的专家，或许更需要的是某种「翻译家」，他们在乙方和甲方之间协调，沟通着「人工智能」与「人类的需求」，将企业的需求翻译为能被机器所解决的算法问题。

在未来，高速运算的人工智能会成为所有领域、所有行业乃至人类所有活动的标配，这样的市场很可能带来两个重大的影响：一方面，人工智能产品及服务的价格会降低，面对相同的计算任务，计算所消耗的能源也会降低；但另一方面，随着进入人工智能领域的成本越来越低，大量高能耗、低效率的人工智能项目的重复性建设问题也会逐渐暴露出来，人工智能领域的「产业升级」也将成为一个问题。是否可能把原先只能用于某一问题的人工智能程序加以改造使之更具通用性？这些通用性的程序是否在未来会成为人工智能领域的「公共设施」？这些都可能成为智能时代的人类即将面对的问题。

愚蠢的人类对未来的预言能力其实一直很差，直到未来的预言者真正参与到未来的设计和建设中。福特曾经说「消费者只会希望要有更快的马。」的确，未来是不可以预言的，是好的工程师、设计师、科学家和资本家一起定义了我们的未来。如果有一天，当人工智能已经参与到系统的设计中，我们愿意相信，那时的人工智能将能看到它自己未来的发展前景。

二、智能是什么：来自生物体系的启示

「机器会不会思考」这个问题，相当于问「潜艇会不会游泳」。

—— Edsger W. Dijkstra³¹

在本节中，我们将切换我们的视角，从生物体系的「智能」切入，重新思考各种智能系统实现的可能性。

我们不妨首先抽象地考虑「什么是智能」这样一个问题。我们以「玩游戏」的经验来指导我们的思考。想象我们在玩一个控制小球的游戏，小球受到随机力的驱动，会在跷跷板上向左或者向右移动，你通过触摸屏可以去抵消这种随机力所产生的效果。假设跷跷板的长度是有限的，小球滚到边缘时游戏结束。很容易可以想到，如果跷跷板左倾，这说明小球到了跷跷板的左侧，我们这时必须给小球施加一个向右运动的力，否则游戏就会结束。最安全的游戏策略就是永远想办法让小球稳定在木板的中段。因为这个「游戏」的设定非常简单，所以我们可以较容易地了解到系统演化的全部信息，根据这些信息，我们可以得到合适的驱动力大小，在这种驱动力的作用下，小球可以不断作出「正确」的选择，让游戏不断继续下去。

（图 1 - 控制小球的游戏示意图。当小球运动到跷跷板的边缘时游戏结束。在这样一个游戏的中，正确的策略就是始终让小球位置在跷跷板的中点附近。如果跷跷板发生了左倾，我们需要给小球施加一个向右运动的力保持其平衡。）

在一般的情况下，游戏可能会变得更加复杂。玩家会需要在各种各样的分支中进行选择，错过了一个加速向前跳跃的机会，这局游戏可能就结束了；忘记在某棵树下捡起一件装备，很可能会让自己在最后的对决中失利；过早地让病毒表现出攻击性，很可能让人类更早地开始研发解药……最终的成功者就是能坚持到最后的玩家。各类游戏虽然追求的目标不同，在不同的目标下，「智能」的表现也有所不同。我们在解决不同的难题时可能涉及到完全不同的思维，而一旦开始考虑某些具体的问题，可能会让我们对「智能」的理解过于受限，这样的系统就像是被精心调校的机器，只能解决某些特定问题，而不能解决那些通用性的问题。我们必须受限跳出这种局限的眼光，重新思考在不同的游戏中，我们所选择的策略到底有怎样的共同点。我们发现，在不同的游戏中，我们有时为了吃掉对方的棋，有的是为了从管子之间穿过，有的是为了收集更多的装备、赚到更多的金币……但是这其中有某种共同性的东西——我们所扮演的角色不能在游戏中「死亡」，并且我们不能让自己陷入无可选择的绝境。一个优秀的游戏玩家不能因为这一步当前的选择，陷入到下一步（或者更远的未来）无路可走的境地。从游戏的例子中我们认识到：最「智能」的选择，就是让未来的可能性最多的选择。

在一个实际的体系中，怎样的状态是最「智能」的呢？作为一个最简单的实例，我们不妨考虑在指尖上保持直立的铅笔。很明显，这个系统无法达到稳定的平衡，只有通过不断移动手指的位置，才能很艰难地在很短的时间内让铅笔平衡在竖直的状态。之所以有可能让系统保持在这样的状态，是因为我们的手指本身让许多信息源源不断地流入到这个体系中，让铅笔的演化具有了某种智能的特征。对于任意的实际物理体系，怎样才可以构造一种「力」，使得这种「力」起到我们手指的作用，让系统始终处于「未来可能的选择选择最多」的状态？2013 年，哈佛大学和麻省理工学院工作的 A. D. Wissner-Gross 在他发表的一篇论文³²中提出了一种方案，这种方案构造出一种力的形式，系统在这种力的作用之下，可以被驱动到「选择更多」的位置上，作者将这种力命名为「因果熵力（causal entropic force）」。 

（图 2 - 最简单的智能体系——在指尖上保持直立的铅笔。这样一个系统最「智能」的状态对应于铅笔保持直立的状态。这是因为铅笔直立起来之后，就有了向各个方向倒下的可能性，此时的系统未来的演化有着最多的「可能性」。）

尽管我们可以构造出某种「力」将系统驱动向「最智能」状态，但这种「力」的构造很难推广到多粒子的体系³³。因为每个粒子有着不同的优化目标，例如，当资源有限时，「个人利益」与「公共利益」就会发生矛盾，一旦每个人都希望自己获得最多的可能性，那么就很可能伤害到其他人，这时各种阴谋诡计、勾心斗角就都可能会像宫斗剧的情节般涌现。而如果考虑粒子发生合作的情况，我们要怎样才能集体行为中推广「未来有最多可能性」这一智能的判断标准呢？要解决这一问题，一种思路是考虑将「未来有最多可能性」从单粒子情况推广到多粒子情况，这种思路仍然会遇到个人与集体的选择发生矛盾的问题，怎样才可以协调这种矛盾？更重要的是，就像我们面对的诸多社会问题一样，我们很难描述什么是真正的公共利益。因此，简单地从这样一个角度来尝试推广「智能」的概念是不太能行得通的。

不过，我们可以从其他角度来思考这种智能的状态。首先，对于一根竖立的杆子，我们很容易会发现：这就是这根杆子「最敏感」的状态，一个微小的扰动就可能使这跟杆子倒下。事实上，「敏感」正是「智能」的一种表现——我们常常在夸奖一根人聪明时会夸他「随机应变」「巧妙灵活」，这都暗含了「敏感」的意味。当我们将个体的智能推广到集体时，保持「敏感性」是一个非常重要的考量。一个团体要想表现出「智能」，显然不能表现得过度的有序（例如跳广场舞的大妈们），也不能表现得过度的无序（例如广场上随机行走的其他人），这两种体系都不能维持敏感性。

集体运动中的临界现象

集体行为是科学家们持续关注的问题，最早尝试研究动物集体运动的人是日本的鱼类学家，他们早在六七十年代就提出了鱼类运动中的基本原则，然而因为太过于超前，这些研究并没有得到重视。而到了八十年代，随着计算机技术的发展，动物集体运动的「原则」重新被一位计算机科学家发现了³⁴，这一工作发表在计算机图形学的会议上。我们今天见到的许多动画、电影中的「大场面」，如果是用计算机合成的，通常都采用了类似的方法。基于这些原则所进行的「模拟」固然非常重要，但模拟毕竟是模拟，这些结果未必可以反映出真实集体行为中那些最为核心的特征。

近年来，随着「大数据」的浪潮席卷了科技界，在科学研究领域也涌现出越来越多的「数据驱动」的研究。这些研究与传统的「模拟」研究不同，它们并非基于一个现成的集体运动模型，而是基于真实的观测结果，通过分析这些观测结果中所反映出的信息流和动力学，反推出描述集体运动的模型。近年来，随着实验和观测技术的发展，科学家们对鸟群、细菌、鱼群和昆虫等许多生物的集体行为进行了直接的观测，这些工作让我们对集体行为的理解达到了全新的高度。

集体行为的生物群体到底具有怎样的特征呢？对于在草原上迁徙的羊群、天空中飞翔的鸟群、河流中洄游的鱼群，它们都常常会遇到一个相似的问题——当遇到各种危险时（例如捕食者可能会从各个方向靠近来捕猎群体中的某些个体），整个群体必须保持充分的敏感性。这时，整个群体必须快速做出反应，于是我们看到鸟群在空中不断变换着形状，羊群突然聚集在一起，或者鱼群组合成一条看起来更大的鱼的样子，这种灵活应变的能力体现了生物的某种集体智能。

以鸟群为例，如果一个鸟群过于团结（类似于有序的固体），那么它们将会整齐而盲目地朝着一个方向飞，此时，如果有少数个体注意到前方的障碍物，在其它多数个体没有看到障碍物的情况下，这些少数派将没有足够的影响力以「阻止历史的车轮」，最终，整个群体将撞上障碍物；而如果一个鸟群过于松散（类似于无序的气体），它们又无法办法组织起来完成那些个体无法实现的行为（如一起对抗天敌）。对一个鸟群而言，最智能的状态应该是某种「团结紧张」的状态，这种状态恰好处在某种类似于转变的「临界点」处，此时，我们既可以维系一个群体的稳定性，又能保证个体的信息在群体中有效地传递。

奇妙的是，观测表明：鸟群的确处在这样一个「团结紧张」的高度敏感的状态，这样的状态类似于在指尖保持平衡的铅笔，都处于临界态。意大利物理学家 Andrea Cavagna 等人对鸟群的运动进行了长期的观察，他们用两个摄像机拍摄同一个鸟群，从而重建出鸟运动的三维坐标（这与我们在电影院观看 3D 电影的基本原理类似），他们从这样一个 3D 的影片中算出来在各个时刻群体中的各只鸟分别处在怎样的位置，又根据相邻各帧画面，计算出鸟的速度。Cavagna 等人的研究表明，虽然每个鸟只受到附近较少的几个近邻的影响（近邻的个体必须保持速度的大致同步，否则就可能发生碰撞），但鸟群被成功地组织在一个「临界态」上。此时，群体中一旦有某个鸟的速度如果发生变化（这种变化可能是由于发现了障碍物或者天敌所造成的），这种变化将不只会对这只鸟的邻居们产生影响，还有可能遍及整个群体。鸟群中遍及整个群体的「长程关联」（long-range correlation）正是系统「敏感性」（sensitivity/susceptibility）的来源。这种长程关联可以理解为变强的「影响力」：在一个鸟群中，每个个体都有足以影响整个群体的「影响力」。

（图 3 - Cavagna 等人对鸟群的观察的实验装置及原理图。³⁵）

更有趣的是，在各种不同的生物体系中，这种长程关联竟然也普遍存在³⁶。一种昆虫³⁷的体长不过是毫米级（昆虫之间的距离也大致是这一数量级），但在一个昆虫群体中，虫与虫之间的关联长度却可以达到半米，这是它们体长的数百倍，与昆虫的整个群体的大小尺度大致相同。这种现象暗示了生物体系似乎是在临界点附近被组织起来的，它保证了昆虫群可以适应各种不同的环境，即面对各种来自不同方向的天敌，在整个群体中产生反应。这种在临界点附近的组织形式可以帮助群体在形成组织化结构的同时，可以适应或响应环境的变化。「临界」似乎是生物集体行为的共同选择，许多生物群体都会选择临界点附近工作。

临界的大脑

我们的大脑作为神经元的集合体，其动力学与生物的集体行为也有许多相似之处。在生物体内，大脑的这种「临界性」可以在多种不同的层次上进行表现³⁸：

（1）在小尺度范围内，科学家们观察到了神经的「雪崩现象」。所谓的「雪崩」，指的是某个神经元的兴奋所引发的一系列连锁反应。如果每个神经元只能影响周围的邻居们，那么雪崩的规模应该是一个常数；如果每个神经元都与大脑中的所有其它神经元相连，那么每一次兴奋都会导致全脑的活动，这两种极端的情况都无法让大脑产生丰富多彩的活动模式。2003 年，John Beggs 和 Dietmar Plenz 在实验中观察到了神经信号发放的统计幂律³⁹（power-law distribution），这种现象在大量的神经电路都存在。如果记录一小块区域内的神经信号发放，大多数时候只能观察到局部的激发，但仍然有时候可以观察到一大片的神经元被激活，并且被激活的区域的尺寸统计分布是满足幂律分布的，这种幂律是大脑处在临界态的重要标志。

（2）在大尺度范围内，与临界的鸟群、昆虫群等类似，我们的确可以观察到大脑皮层在时间和空间范围内的长程关联。近年来，随着各种实验技术的发展，我们可以用功能性核磁共振（fMRI）等实验直接测量大脑皮层中神经信号发放之间的关联⁴⁰，与鸟群中遥远的个体间的长程关联类似，大脑皮层中的这种关联也是长程的，并且大脑皮层中距离距离较远的区域的放电情况还可能出现反关联。如图 4 所示，大脑的这种「临界性」与神经网络的拓扑结构有着直接的关系，大脑中的神经元平均来看，恰好维持在特定的分支率附近，这种特定的分支率正是大脑各种复杂功能的决定者。当大脑中的每个神经元都与海量的其它神经元相连时，这时的大脑中的所有的神经元将表现得非常团结和同步，这类似于固体物理中的有序态；而如果每个神经元都表现得非常独立，它们各自有着自己的振荡，这时的大脑类似于理想气体，是某种完全无序的状态。大脑恰好是维持在这种「固体」和「气体」之间的临界态上，这一相变所对应的激发，即为大脑的「智能」。

（图 4 - 不同连接状态的神经网络结构可以分别对应大脑的亚临界、临界和超临界态。⁴¹）

如果我们关注大脑各部分的局部结构，可能会发现，尽管整体上来看，大脑大致处在临界态，然而大脑中各部分可能存在一些微小的差异：某些区域可能更加类似于超临界，某些区域可能更加类似于亚临界。这些差异很可能就是人与人的性格、智力差异甚至神经系统疾病的某种结构基础，例如「癫痫」⁴²（epilepsy）就是一种「超临界态」，癫痫患者会出现大脑神经元突发性异常放电，这可能会导致短暂的大脑功能障碍，其中一类「整体发作」的癫痫在发病时会伴随大脑皮层全范围的放电。引起癫痫的病理性原因有很多，但很明显，如果神经网络的分支率极高，一点微小的刺激可能引发极强的连锁反应，最终导致大脑皮层大范围内的放电。通过这个例子我们不难理解，如果这些分支率的异常引起了疾病，在治疗时，我们可以考虑抑制或者增强相应区域内神经元本身的可兴奋性，或者对神经与神经间的连接（突触受体）进行相应的增强或者抑制。

当我们认识到我们的大脑处在「临界态」的时候，下一个问题马上也就又来了，这种临界是怎样形成和保持的？

首先从网络结构的角度来理解。物理学家们证明，对于那些模块化、层级化的网络结构，系统将不再仅有一个唯一的「临界点」，而是会在相当大的一部分参数取值的区域内出现类似「临界」的「相」。而根据大脑的连接组（connectome）进行分析，我们的神经网络（也包括动物的神经网络，例如线虫等）正是层级化和模块化的，这种典型的网络结构图 5 所示。这种结构的特性使得临界性不再需要进行过于精细调节的优化就可以很自然地实现，即在一个较大的分支率取值范围内都可以形成类似「临界」的效果。这种在模块化、层次化网络中表现出来的类似「临界点」的「相」叫做 Griffiths 相⁴³。

图 5 -  Griffiths 相对应的网络结构。（a）（b）层级化、模块化的网络结构示意图；（c）网络所对应的邻接矩阵的示意图（浅色代表连接，深色代表不存在连接）；（d）（e）是图的拓扑维度的示意图；（f）是对网络结构特征的说明。

我们还可以从动力学的角度来理解这种临界性的维持。如图 6 所示，不妨以一个全连接的网络作为初始结构，这个初始的神经连接结构的分支率对应于发生癫痫的「超临界」态⁴⁴。不过，随着输入信号的变化，相关的神经连接强度不断发生变化（这一过程与人工神经网络的机器学习过程是类似的）。随着神经网络的输入速率（例如观看的影片画面切换的频率）被提高，而神经必须针对输入速率的提高产生相应的「适应」，这就意味着相应的突触活性必须在一定的时间内被抑制。这种抑制是一种负反馈，也是一种自我保护的机制，通过抑制突触的活性，不断「灭火」，防止了神经系统中「森林火灾」的蔓延，这也是正是健康人不会出现光诱发癫痫的原因。而随着突触的抑制，神经网络的结构于是发生了相应的变化，最终网络适应到临界状态。这真是一个很神奇的结论，它告诉我们，即使大脑初始的状态不处在临界态，也可能通过自适应的方式，最终达到（在当前输入水平下的）临界态；而当从一种环境切换到另一种环境时，系统又有能力达到另一种临界态。它给出了大脑中「自组织临界」的一种可能的形成机制。

（图 6 - 临界性形成的简化模型示意图。图中绿色的部分表示的是各个神经元的输入信号，神经网络是全连接的超临界网络，各圆形表示的是神经元，而三角形表示的是突触连接，随着输入频率的增加，突触的活性被抑制，最终神经网络适应性地趋向于临界。）

今天，有越来越多的理论和实验工作都证明，我们的大脑处在「临界态」，这种特性帮助大脑始终保持在最佳的工作状态——稳定性与可塑性的最佳平衡。物理学家与神经科学家们证明，这种临界状态与大脑的信息传输、信息储存和计算能力都是直接有关的⁴⁵。对大脑而言，直观地来理解，这种「稳定性」某种程度上意味着「记忆」，而「可塑性」则对应于对新知识的「学习」。试想，如果一个大脑从某个时刻起，其稳定性远远强于可塑性，这时的大脑可以始终保持旧有的各种记忆，不过它很快将会无法学习新的技能，并且更可怕的是它们无法利用曾经学习的这些知识去解决那些某种意义上相似的问题；可如果大脑的可塑性远远强于稳定性，那么每天起来都觉得自己被「洗脑」了，这样的大脑需要一直进行训练，很难真正掌握某些技能。幸运的是，我们的大脑恰好处在中间，正是处在最具适应性的临界态上。

临界态系统的「特征提取」

在研究有关相变和临界现象有关的问题时，物理学家发展了许多提取物理系统特征的有效方法，这些特征提取的方法不依赖于特定的体系，也不依赖于体系特定的尺寸。图 7 展示了一个典型的物理体系在相变临界点附近出现的构象。图中的各个像素点可以为黑色或者白色，对应于两种不同的状态，在相变的临界点处，这些点既不会全部全是黑色或者白色（低温的情况、有序态、类似于「冰」），也不会在空间中完全无序地排布（高温的情况，无序态、类似于「水蒸气」），而是会形成又有点像有序、又有点像无序的自相似结构。从左到右的四个模拟截图是逐个从前一幅图中截取右下角四分之一的画面放大而形成的。虽然这四张图片是在逐步放大系统的局部结构，但这些图片却看起来非常相似，这种结构通常被叫做分形（fractal）结构或者自相似（self-similarity）结构，这些结构会在相变临界点附近大量涌现。这些结构暗示我们，选用怎样的「尺子」去测量我们所研究的系统固然非常重要，但更重要的却在于这种尺度之间的变换。通过研究这种尺度变换，我们才能找到具有普适性的规律。

（图 7 - 相变临界点处的自相似性质和尺度无关性⁴⁶。）

如果我们不断「放大」我们所研究的系统，我们就可以看到系统中的诸多细节；如果我们不断「缩小」我们所研究的系统，我们对系统的刻画就好像「降低了分辨率」，得到了一张有马赛克的图片，一部分信息在操作时丢失了，但我们却因此得到了对这个系统更为整体化的描述。对于一个物理系统，当我们不断「放大」或「缩小」观测的尺度时，如果能找到某种不变的能量函数形式，我们就发现了一种反映系统本质特征的变换操作。在统计推断问题中，「能量函数」与「概率分布」二者之间有着直接的对应关系，因此，如果找到了在多尺度下描述能量函数的方法，我们也就找到了一个复杂的概率分布的关键特征。这样的变换操作叫做「重正化」（renormalization）。当物理系统在相变的临界点附近时会出现各种自相似的构象，此时，这种重正化可以反复进行。随着这种迭代的不断进行，我们最终将会得到一系列「不动点」，那些不稳定的不动点对应于相变的临界点。

当我们认识世界时，我们也常常会用到与「重正化」类似的思路。人类的大脑正是在用着类似的方法处理这各种纷繁复杂的数据，当我们在人群中认出一张熟悉的面孔，或者从一段语音中提取出有用的信息，又或者是根据经验对市场的整体趋势做出预测，甚至是在文学作品的阅读中感受作者的语言风格时，我们的大脑很快速地从这些体系中提取出了那些最为核心的因素。例如，当我们将一张图片中的物体称为「猫」时，我们摒弃了图片中许许多多的细节：猫的动作、猫的神态，猫的毛色、猫所处的环境……我们抛弃了一个复杂系统中的诸多细节特征，转而提取出其中那些最核心、最关键的因素。这种从大数据中「提取特征」的思路与物理学家探索普适类的思路非常类似。我们虽然很难用语音具体说明「猫」的定义，但在我们的大脑中，已经对猫的形象有了一个准确而精炼的概括，我们不会因为猫的毛色或动态的不同而把猫不当成「猫」。这些经验都提醒我们，这种「特征提取」的方法不但应该是物理学家所关心的问题，它还会是人工智能中的一个重要课题。

深度学习

早年间，「特征提取」常常依赖于算法专家的经验，找到一个好的特征表达，很可能会对问题的解决起到重要的作用。不过如果仅凭专家的经验来选取特征，将会是一件非常耗费时间和精力的事情，有许多的特征包含着「只可意会不可言传」的经验和信息，对这些特征的描述常常会存在诸多的不确定因素，而且针对具体体系人工提取的特征通常也很难推广到其它问题的研究中。怎样才能发展出一套方法，可以很好地从复杂的数据中自动地提取出最关键的信息？加拿大的计算机科学家辛顿（Geoffrey Hinton）发展了在上世纪末曾风靡一时的神经网络算法，设计出一种具有较深的层次结构的神经网络，这种网络的结构与人类视网膜神经连接结构有相似之处，这种拓扑结构有利于研究者从原始信号中逐层「抽象」并提取特征，进而一步一步地向更为高级的层级上迭代。

（图 8 - 深度神经网络的拓扑结构及其在不同层级上对图片所提取的一些特征⁴⁷。）

如图 8 所示，为了解决「人脸识别」这样的问题，科学家们构建起了一个有着较深层级结构的神经网络⁴⁸，这种神经网络即为通常所说的「深度神经网络」（deep neuron network, DNN）。所谓的「深度」指的是神经网络的层级数目，而与所研究的问题本身的难度或深度毫无关系。在这样的一个神经网络上，较为低级的层级首先提取的是图片中一些边缘和界面的特征，随着层级的提高，图片中一些纹理的特征可能会显现，而随着层级继续提高，一些具体的对象将会显现，例如眼睛、鼻子、耳朵等等，再到更高层时，整个人脸的特征也就被提取了出来。这种利用较深的层次结构的神经网络进行机器学习的方法被称为「深度学习」（deep learning）。在一个深度神经网络上，较高层的特征是低层特征的组合，而随着神经网络从低层到高层，其提取的特征也越来越抽象、越来越涉及「整体」的性质。

深度学习在特征学习方面有着极为优秀的能力，目前在图像处理等领域已经取得了非常广泛的应用。特别值得注意的是，深度学习还能以无监督学习的形式出现⁴⁹，因此，它可能与人工智能「蛋糕」本身有关。随着隐藏层数目的增加，深度网络提取到的将是系统中那些更粗糙、更整体的特征，而在上一节中，我们提到，随着重正化操作的进行，我们得到的是物理体系在更大尺度上的粗粒化描述。深度学习中的特征提取与统计物理中的重正化方法的这种相似性目前已经吸引了许多来自不同背景的科学家们的注意，在一些特定的问题中，物理学家已经找到了二者间的对应关系⁵⁰。这种对应关系再次证明了「临界」概念的重要性。

今天，在许多具体的应用问题中，深度神经网络的「深度」已经达到了成百上千层，伴随有上亿个需要确定的参数，这样一个网络是一个巨大的模型。随着计算机硬件方面的巨大进步，深度神经网络目前已经成为了机器学习领域中的某种基础性的架构。Yann LeCun 曾经这样评价深度学习⁵¹：「我最不喜欢的描述是『它像大脑一样工作』。我不喜欢人们这样说的原因是，虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是很危险的，这将导致天花乱坠的宣传，大家在要求一些不切实际的事情。」的确，因为我们太不了解大脑，所以我们很难说深度学习的工作学习与大脑可以建立直接的联系。尽管如此，许多物理学家相信深度学习可能反映了一些非常深刻的机制，深度神经网络和重正化的对应关系暗示我们，在大自然中可能存在着一种类似于特征提取的普适逻辑和通用方法，有的物理学家甚至认为，这种方法甚至可能为我们解决时空的起源的问题提供思路⁵²。

预测机器

在统计推断中，如果我们对系统已经有了一些先验信息（prior information），那么这时我们进行的推断称为贝叶斯推断（Bayesian inference）。例如当我们在设计一个产品时，我们设计了若干种有细微差别的产品模型，如果用户普遍更喜欢其中的某一种或几种，我们对于产品的设计就有了更多的「先验信息」，最终的成品需要考虑这些来自于用户的信息。在物理学中，与贝叶斯推断有关的统计物理问题是自由能的极小化⁵³。近年来，这种与贝叶斯推断有关的「自由能原理」（Free energy principle）被神经科学家们所关注⁵⁴，神经科学家们希望用一套与贝叶斯推断有关的理论来完全描述人类大脑的认知和行为。在这些神经科学家们看来，大脑倾向于将自身维持在某种自身预期的状态。即当面对外界的信息输入时，大脑行动希望可以最小化「意外」出现的概率，也就是说，大脑倾向于不去选择那些充满不确定的行动，而是会大量利用此前的先验信息，让任意的行动所带来的后果都尽可能符合自己的预期，最终选择那些趋于稳态的行动。

在神经科学领域，有一种与「自由能原理」相关的「预测编码（Predictive coding）理论」。预测编码理论描述了这样一种行为的机制：「我们在通过接收外界信息来学习的同时，大脑也在无时无刻地生成自己对外界的模型，在充满不确定性的信息洪流中摸索。⁵⁵」我们在这本电子书的开头部分提到过 GAN 等生成模型的应用，通过不断「生成」对外界真实世界的刻画，计算机很可能在不久后就可以实现与人类的「预测编码」相似的行为。在这一方面，计算机视觉领域的研究者早就已经提出了相关的问题，这一问题被称为「预测视觉」（predictive vision）。我们自己在观看各种影片时，马上就可以判断出影片接下来将发生的事情。最近，MIT 计算机科学和人工智能实验室（CSAIL） 的研究员已经开发了一种算法⁵⁶，能够自动生成视频，它还可以预测出接下来的视频内容。这种「视频预测」的思路同样基于 GAN，也是利用「生成模型」和「判别模型」来进行工作。然而，与前面所提到的生成图片的 GAN 不同，在视频预测中，算法一次性生成 32 帧（1 秒内）的图像，最终判别器对整段视频进行判别。这一研究还可以将一张静态的图片制作为 「Live Photo」，生成非常合理的运动模式，这种方法可以帮助机器预测运动的物体对象，这类计算对于无人机和无人驾驶等问题有着至关重要的作用。

（图 9 - 上图中左侧一栏是相应动作开始前的画面，通过这些画面，机器已经可以预言到出此后将发生的动作（接吻、击掌和拥抱）。⁵⁷）

在第一节中，我们已经提到了 Yann LeCun 关于「蛋糕」的比喻，在 Yann LeCun 看来，作为「蛋糕」的实体本身的「无监督学习」的关键就是「预测学习」，他指出：「我们一直在错过一个关键因素就是预测（或无监督）学习，这是指：机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。⁵⁸」生成模型很可能可以作为一种「预测机器」，让系统在无人监督的情况下学习，同时得到一种预测世界的模型。人工智能领域的这些突飞猛进的成果或许在不久的将来就会与神经科学的预测编码理论发生碰撞，到时候或许会有更多有趣的发现在等待着我们。

记忆和学习

人类的记忆和学习是一个非常复杂的问题。我们每个人或许都思考过大量与之有关的问题⁵⁹：怎样提高记忆力？在睡觉的时候能记忆吗？做梦跟记忆的关系？人类记忆和学习不同的内容时采用了怎样的方法？遗忘在记忆的过程中起到了怎样的作用？人类怎样学习「学习」这件事？……在神经科学领域有着大量跟「记忆」有关的困难问题，在这些问题的回答还不完全明朗情况下，人工智能的研究者早已经进入了与「记忆」有关的领域，并且得到了很多在理论和应用中都非常重要的结果。

（1）Hopfield 网络和联想记忆

我们每个人都有过「联想记忆」（Associative Memory）的体验。当我们看到与某一事物有关的部分信息时（例如听到狗的叫声），我们马上就可能会联想到该事物的其它信息（狗的形态和动作等）或者是与该事物有关的其它事物（例如从「狗」联想到「苟利国家」）。怎样用一个神经网络来描述这种联想记忆？1982 年， Hopfield 提出了一种全连接的神经网络结构，这种网络可以描述与联想记忆有关的许多现象。

Hopfield 所构造的这种神经网络与统计物理的 Ising 模型非常相似，对于 Hopfield 网络，可以引入一个「能量函数」的概念，这个概念来源于统计物理。一旦设定一些动力学规则，那么系统可以朝着能量降低的方向演化。随着能量的降低，系统达到了能量面上一些极小值点，这些极小值点对应于网络的「记忆」，它们储藏着一些信息（例如，手写数字 「6」的像素组成），一旦遇到一些与这一信息相近或相似的其它输入（例如输入的手写数字），系统会演化到与之接近的一些极小值点上，这样，就实现了「联想记忆」。这些能量面上的极小值点似乎在「吸引」着输入的信息，因此这种「记忆」被称为「吸引子」（attractor）。

（图 10 - Hopfield 网络的（a）能量面结构和（b）吸引子的分布。⁶⁰）

（2）LSTM 与长短期记忆⁶¹

长短期记忆网络（LSTM）是另一类可以实现记忆的神经网络，它是一种特殊的循环神经网络（RNN）。顾名思义，「循环」，意味着自我调用，在这样的网络中，隐含层的输出可以进入到下一个时间步骤的隐含层，因此它所以它能够保存信息。标准的 RNN 不能学习长时间尺度的问题，为了解决这一困难，Hochreiter 和 Schmidhuber 在 1997 年提出了 LSTM。LSTM 是一种特殊的循环神经网络，前一个时间步骤的隐藏层状态，一个被送到遗忘门（输入节点），一个被送到输入门，一个被送到输出门。因此，这一网络中有若干个阈值可以用来控制「记忆」被「刷新」的速度。我们在第一节中已经提到了 LSTM 在机器翻译中起到的重要作用，这是因为这种带有记忆的神经网络可以解决在自然语言处理问题中涉及「上下文」的一些问题。一种观点认为：「CNN 更像视觉，天然具有二维整体性；而 LSTM 更像听觉和语音，总是通过串行的方式来理解整体。⁶²」从物理学的角度看，如果说 Hopfield 网络的联想记忆对应的是平衡态统计物理，那么 LSTM 所对应的应该就是非平衡统计物理，在这里仍然可以定义出相应的「能量函数」用来表示「记忆」，但这里的能量函数却是不断随着时间更新的。

（3）元学习（meta-learning）

元学习（meta-learning）是机器学习领域的近期发展的一个热门方向，它可以看成是一类特殊的迁移学习问题。这一算法想要解决的问题是关于「学习」本身的「学习」⁶³。这一领域其实包含着大量不同的问题，例如：怎样针对具体的数据（例如金融市场的波动），选用机器学习的方法选择适当的方法进行预测？又例如，怎样针对具体的学习问题，找到更好的学习规则，使得各种学习算法（例如强化学习）的表现得以提高⁶⁴。

博弈论和信息论视角

说到从生物系统中借鉴实现「智能」的方法，我们往往首先想到的是模仿「大脑」的动力学。然而，我们往往忽视了生命系统中的其它一些机制中也可能蕴含着「智能」的元素。广义地来看，细胞内精细的调控过程、生长发育、免疫系统、集体行为、生命乃至生态系统的进化等问题中同样也蕴含着智能有关的元素。例如，进化很早以来就进入了计算机科学家们的视野，在处理最小化问题时，遗传算法（genetic algorithm）就曾经取得过许多重要的成果。在人工智能领域，随着强化学习等算法的发展，有的计算机科学家也开始将视野投向「进化」，希望在这种框架下重新思考关于机器学习的有关问题⁶⁵。

进化的过程本身是一个非常复杂的动力学过程，这一过程中包含诸多复杂的动力学，而其中，与进化有关的「博弈」是一个特别有趣的问题。2014 年， Jorge Hidalgo 等人的一个工作⁶⁶说明这些博弈机制可能是生物达到「临界」点的一个重要原因。文章的标题翻译成中文是《基于信息的适应性以及生命系统中临界性的起源》。这篇文章介绍了两种可能导致临界性的过程：一种是各种环境因素驱动系统走向临界点，另一种则是许多个体之间相互作用，最终让系统趋向临界。

（1）环境与个体相互作用：我们可以把这个过程理解成「机器学习」。我们不知道真实世界的参数怎样，但我们知道一些真实世界里的可观测量（数据）。现在想象我们有一大堆这样的机器学习系统，每个系统中都有一些它们自己估计的参数，根据这些不同的参数，大家一起来面对不同的环境（真实世界里的许多不同的数据）进行预测，看看谁能预测得最好。这里预测的结果我们用互信息（Kullback–Leibler divergence，K-L 熵）⁶⁷来表示，这类似于对环境进行「模仿」的「模仿游戏」。真实世界里的数据很多，每次预测完，按照一定的概率「杀死」那些预测得最差的，对预测得较好的那些进行遗传（并且加上一些小的突变），最终我们就得到了一堆有前途的预测模型。那么最终存活下来的「有前途」的预测模型是怎样的呢？如果当初始时刻，来自环境的数据如果不够杂乱（大量同质的数据，例如天天学习《人民日报》），那么最后所有的「预测」就变得能够很好地反映环境的数据（例如可以预测明天的新闻主题是「好威武支持有希望了」），但如果来自环境的数据足够杂乱（并非集中在某个特定参数的附近时，类似于学习了各种来源的不同材料时），最终这些预测的系统就达到了临界态。

（2）个体与个体相互作用：如果已经大致了解了上面介绍的「环境与个体相互作用」模型，那么理解个体间的相互作用就不再那么困难了。我们继续用「机器学习」这个比喻，每个机器一开始还是有不同的参数，而在预测的时候我们都让它们进行两两比较（类似于考试的时候对答案），对预测的结果我们计算二者的互信息，如果了解过一些信息论（条件概率）的话，我们会知道  K-L 熵是并不对称的（这其实并不难理解，例如我们可以考虑比较和计算「我是北京群众」和「我是朝阳群众」两句话中的互信息）。因为 K-L 熵是非对称的，所以我们可以按一定的概率去「杀死」那些较差的预测者，并且繁殖变异预测得较好的预测者，随着时间的演化，这些预测的系统也都达到了临界态。但比较不同的一点在于，不管初始的环境数据是不是足够杂乱，系统最终都会达到临界态——这是超乎想象的，用一个极不恰当的比喻来说就是，类似于天天学习《人民日报》语料的一大堆机器翻译系统，随着这种博弈和进化的进行最后变得竟然也能翻译玄幻小说了。当然这个结论之所成立是因为作者他们要学习的问题相对比较简单（Ising 模型的温度估计），而对于高维度的情形（例如我的不恰当的例子），这一结论是否成立则是可疑的。

这几位作者还在这种个体的博弈和信息交换进行了一些新的尝试⁶⁸，例如：每个机器学习的系统不但希望自己能很好地预测他人的结果，还希望他人总是猜不到自己的预测，然而遗憾的是，这样的策略不再能让系统达到集体智慧的临界点。这一结果说明：在一些简单的问题解决中，开放、山寨、模仿和合作似乎是达到临界的最佳策略。总结起来，这种「模仿游戏」最有意思的地方在于，它为我们在各种实际体系中寻找这种「集体智能」提供了一种基于进化和博弈的理解，我们可以追踪随着博弈的进行，每个个体会朝着怎样的方向演化。许多实际的问题（例如鸟群的组织等）也就可以用这一思路很自然地进行探索，这些研究所揭示的机制很可能与大自然真正实现「临界」的方法不尽相同，但这些认识显然加深了我们对于很多简单问题的理解。这种研究的思路很明显与通常基于「联结主义」（connectionism）的机器学习的研究者们有所不同，但这些工作扩充了我们对「智能」及其实现机制的理解，也为机器学习未来的一些发展方向提供了新的可能性。

三、临界的大脑：人类智能的优势何在

从研究的角度来看，我们一直感兴趣的是如何恰当地做好无监督学习。我们现在已经拥有了可以应用到实际的无监督学习技术，只是问题在于，我们只要收集更多数据，有监督学习就能胜过无监督学习。这就是为什么在现阶段的产业中，深度学习的应用基本上都是有监督的。但将来未必是这种方式。 归根结底，在无监督学习方面，大脑远好于我们的模型，这意味着我们的人工智能学习系统对许多生物机理学习的基本原理还没有掌握。 

——Yann LeCun ⁶⁹

人工智能系统的设计通常是由问题驱动的。设计一个机器学习的系统，不是为了尽可能地去模拟人类的大脑，而是为了要能真正解决问题。人类的智能尽管存在一些优势，然而却未必适合解决一些特定的问题。在解决问题时，计算机很可能与人类采用完全不同的解决方法。我们很难评价到底哪一种解决方法「更好」，但我们仍然希望重新对我们自己的「大脑」表现出来的一些优势作一个简单而客观的评价。

更好的通用性和稳定性

（图 1 - 机器学习的分类问题中，欠拟合、恰当拟合、过拟合示意图。）

在机器学习中，过拟合（overfit）是一个经常会遇到的问题。如果我们提出一个过于复杂的模型来解释已有的全部数据，这就可能导致过拟合，在实际的预测中，这样的模型表现反而可能会变得更差。人类自己在思考许多问题时，会存在着一些模糊的规则，我们常常会尽可能地把一些问题简化，这样就恰好避免了出现过拟合的情况，得到的模型也有更好的通用性和稳定性。机器学习中还会遇到「遗忘灾难」的问题（catastrophic forgetting），这种问题大大局限了机器学习的应用。例如，一个能很好地识别人类面部表情的神经网络很可能就无法识别手写数字或者其它物体，我们总需要针对具体的任务去训练一个神经网络，这也导致神经网络缺乏通用性。

我们人类似乎可以很好地解决 one-shot 和 zero-shot 的学习问题，面对小样本，我们是怎样从中学到尽可能多的信息的？我们在一本画册上见到了一张动物的图片（例如大象），将它记在脑海中，一旦到了动物园亲眼见到大象时，我们马上可以认出它来。动物园看到的真实动物与我们见到的图片差异可能非常巨大，但我们从小样本中就已经提取到了很多信息，大脑是怎么实现的？这是一个很值得考虑的问题。不过我们可以换一个角度来思考，假设当时这一本画册选用了另一位摄影师拍摄的大象的图片，我们还能学会认出大象吗？应该还是可以的，这证明我们人类的小样本学习是非常稳定的。这个例子说明，从小样本中学到尽可能多的信息，与从小样本中学到尽可能稳定的信息，这两个问题本身可能是等价的。

「临界」很可能是解决这个问题的的关键，因为在学习的时候，系统会自动地朝着最「通用」的方向去推广这些从较少的数据中学到的东西，但神经怎样可以通过一些局部的相互作用，在较少的时间内完全这样的运算仍然不清楚。

信息整合

信息的协调和整合也是各种人工智能系统设计中的困难所在。我们所设计的许多「智能助手」正是因为缺乏这种整合能力所以才显得特别不智能：例如 Siri 可以给我们报告未来数小时的天气，也可以给我们推荐附近的餐厅，如果 Siri 可以知道晚上会下雨，那么她就不应该给我们推荐附近受到好评的露天餐厅。在通常的程序中，除非已经设计了有关的限制条件（例如在无人驾驶汽车的程序中加入了大量的 if 语句），否则这些系统通常不能自己主动得对这些信息进行综合，这样的系统显然不够智能。

什么才是最强大的信息整合呢？最强大的「整合」并不是说我们在学习的过程中必须找到对输入数据的最恰当描述，而是我们希望我们可以通过一些不同的描述方式，相互交织和碰撞，从而形成更多更完善的描述方式。这种更完善的表达其中蕴含了新的信息。对信息的度量可以用「信息熵」（Shannon entropy⁷⁰）来表示。因此，如果要对「整合性」进行一个定量的描述的话，我们可以考虑对「整合前」「整合后」两种情况下系统的信息熵进行比较，这种比较用「整合信息理论」的创始人之一 Totoni 的话来说就是：「（整合性是）一个系统其机制所产生的，远远超出各个部分独立产生的信息量之和能力的值。」⁷¹在更高级的层次上，「整合性」就是「智能」的表现，对这种整合性的度量用希腊字母 Φ 来表示，这种智能可以看成是广义的「意识」。怎样提高一个人工智能系统的信息整合能力？迁移学习的方法可能为解决这一问题提供了新的思路。根据整合信息理论，我们可以把所有的事物都看成是有意识的（或者有智能的），只是「意识」的程度不同，而整合信息 Φ 就是对「意识」的水平的度量。

更易于训练的神经网络

不是所有的神经网络都易于训练。机器学习的一个重要问题就是要找到某个函数可以与真实的数据最好地吻合，我们需要定义出拟合的函数与实际的数据「吻合的程度」，这种吻合的程度可以用一个损失函数（或者称为能量）来表示。在实际的问题中，这样一个最小化的过程是通过梯度下降（gradient descent methods）的方法来进行「能量（损失）极小化」的，这里的「梯度」是一个求导运算，即每一步都让参数朝着可以让「能量」变得最小的方向上去操作。然而，在运算过程中，很可能会陷入局域极小，此时，继续训练很可能无法进一步减小预测误差，也就无法进一步提升模型性能了。这一度让科学家们认为层级数众多的神经网络是无法训练的。然而，近年来，科学家们却发现，当神经网络足够大时，局部最小点造成的麻烦会小很多⁷²，而且对于一个稳定的网络，大部分局部最小点都反映了模型已学到的一定程度的知识，它们几乎和全局最小点处的情况一致。

（图 2 -  左，一个粗糙的、难以通过梯度下降极小化的能量面；右，一个光滑的、容易通过梯度下降极小化的能量面。⁷³）

易于训练的神经网络与许多生物体系非常相似。不同尺度下的很多生物体系不但能实现这些最小化，并且能很快地实现这些最小化，甚至还可以在有一定的噪声条件下实现这种最小化。这种「在有一定的噪声条件下实现最小化」的特性与近年深度神经网络训练中的「随机梯度下降」有些相似。在 Hinton 等人对深度神经网络无监督的「预训练」中，很可能通过类似于「重正化」的类似机制从而加强了神经网络上那些层次化、模块化连接关系的权重，因此，预训练中被优化的参数很可能因此被优化到了一个接近能量最小值的位置。然而，定量刻画「损失极小化是容易进行的」这一特性不是一个简单的问题，而这却是深度神经网络设计中的一个重要的问题，这将可能为我们设计神经网络（拓扑以及权重）提供重要的指导。这个问题与自旋玻璃以及蛋白质折叠理论有关⁷⁴，一个优化的、容易进行损失极小化的网络很可能对应于阻挫（frustration）最小化的问题。

大脑神经网络结构的自组织

（图 3 - 在有机溶剂中浸泡 10 分钟后，光滑的胶质半球就因为膨胀而形成了与大脑结构类似的沟回结构。⁷⁵）

大脑岂止是「易于训练」，大脑神经网络的形成甚至是自发的。关于大脑的发育过程曾经有许多不确定的地方，不过这个问题随着近年来 3D 打印技术的进步，问题得到了一定程度的解决。一方面，科学家们通过实验和模拟发现，3D 打印的大脑在膨胀的过程中形成的褶皱不仅和真正的大脑沟回形状相似，就连出现的时序也十分符合大脑的发育过程⁷⁶；另一方面，又有文章表明，仅凭借大脑沟回的几何结构，我们就可能重现大脑连接组在大脑不同区域的网络特性（包括平均度、聚集系数路径长度等）⁷⁷。

把这两个研究综合在一起，我们很可能就快要理解大脑的神经网络发育的过程，并可能可以真正理解大脑中模块化、层级化的结构形成的真正原因。如果这样的方法也用到神经网络的设计中，我们很可能可以用很低的成本就可以获得一些具有通用性的神经网络拓扑，这无疑是非常激动人心的。

节能的大脑

通常当我们讨论「人工智能」时，强调的是其「算法」，而不涉及硬件方面的创新。然而近年来人工智能技术的迅猛发展离不开硬件方面的巨大创新（例如 GPU 性能的提高）。当我们进一步提高各种人工智能算法的复杂度（例如增加深度神经网络的深度）时，相应算法的能耗也会相应增加。为了解决这一问题，类脑计算（Brain-like computing）⁷⁸的设想被提出来。这是因为与计算机相比，人类大脑最为显著的优势莫过于其超低的能耗了，人脑的功耗大约只有 20 W，而一台计算机的功率大概是 200~300 W，一台 GPU 服务器的能耗至少是 2000W⁷⁹。从这一角度看起来，人工智能距离人类的大脑还有着遥远的距离，毕竟人类的大脑可是几十亿年自然选择的产物。只有对现有的硬件和计算机架构做出本质的变革，人工智能的性能才有可能真正意义上与人类的大脑接近甚至超过人类的大脑。

众包与人类计算

除了能耗方面的优势，人类的大脑在处理一些特定问题时仍有其特殊的优势。利用「众包」（crowdsourcing）的模式，将人类的智力资源集中起来，解决一些较为困难的问题，这种计算的方式也被称为「人类计算」（human computation）。表面上看起来，「人类计算」是一种与「人工智能」唱反调的计算模式，因为人类在解决某些问题时有着特定的优势，利用这些人类的优势，反而可能达成事半功倍的效果。

最经典的「人类计算」案例莫过于被 Google 收购的 reCAPTCHA 了。这是一个天才的想法，它同时解决了两个重要的问题。一方面，各个网站需要验证码以验证注册的用户是真正的人类；另一方面，一些古籍、旧报刊或杂志需要实现其电子化的存档。Luis von Ahn 天才地想到了将这两个问题结合在一起，当用户在需要输入验证码的场合，他将会看到两个扭曲的文字：一个是光学字符识别（Optical Character Recognition, OCR）无法辨别的词，另一个则是软件能够正确识别的单词。如果用户正确地输入了那些 OCR 软件能正确识别的词，那么可以假设当前的用户的确是一个真人，他并非随便输入随机的字母，输入的两个单词都有相当的可信性，这样就完成了一次 OCR 识别的「人类计算」。

（图 4 - reCAPTCHA 验证码系统工作原理示意图。）

广义地来看，人类在社交网络上的活动也可以看成是一种「人类计算」，这种计算让信息更高效地流动，帮助我们更便捷地获取信息。一篇文章的「点击率」本身就可以看成是利用社交网络进行计算得到的一个结果；社交网络本身也可以视作一个推荐系统，我们每次在微博或朋友圈中分享一篇文章，就是在亲自进行这种推荐的「计算」。知乎的读读日报是一个利用人类进行推荐的产品，黄继新⁸⁰曾经这样回答网友关于读读日报与其它类似产品的「个性化推荐」与「关键词搜索」等推荐方式之间的区别：「产品逻辑和产品所基于的理念不一样。我们相信，如果每个内容后面都是真实的人的推荐，推荐的内容有让人眼前一亮的主题，推荐的人有独特的品位和气质，这对内容的阅读体验来说是一个很大的不同。」

人类计算的另一种重要模式就是通过「游戏」让人类进行计算。因为对于许多复杂的多目标优化问题，人类的经验和直觉很可能比计算机枚举和简单的模式识别强大得多。与传统的「分布式计算」不同，「游戏化」并非是利用大量用户的计算资源来求解复杂的计算问题，而是希望搜集和利用用户的「注意力资源」。从这个意义上来看，游戏化是将以计算机为主体的「分布式计算」转换成为了以用户为主体的「分布式思考」。

在科学研究领域，有大量这种有趣的「游戏」。例如 Phylo⁸¹ 是一个 DNA 序列比对的游戏。序列比对是生物信息学和基因组学中的一个基本问题，因为它可以定量揭示生物之间的进化先后顺序，同时，随着基因组测序的价格变得越来越低，人们越来越关心生物在进化或遗传中的关键突变，而正是这些关键突变导致了一些重要的蛋白质结构和功能的巨大差异，有的很可能与我们的疾病有关。在序列比对方面，尽管目前有大量成熟的的算法，但这些算法并不能真正完美地解决多序列比对的问题。目前多序列比对被归为 NP 问题的一种。在解决这类问题时，人类玩家的「直觉」可能更加有效，在游戏中，四个不同的色块代表了四种构成 DNA 的核苷酸，通过调整这些色块的排列，玩家就可以很轻松愉悦地按照自己心中的标准来匹配多条同源的序列。

图 5 - 如图所示的是 Foldit 游戏的一个截图画面，画面正中显示的即为一个蛋白质分子的结构：（1）画面的左上角显示目前正在对分子结构模型进行怎样的操作；（2）中上部显示的是游戏玩家的得分和排名；（3）右上角显示的是与此同时在玩游戏的其他玩家的用户名和得分情况；（4）在一些简单的例子中，左侧中部还提供了基本教程；（5）左侧下方提供了一些工具，玩家通过这些工具不断调整蛋白质的结构，这些工具可以调整蛋白质的主链结构、侧链结构、增加或者去掉一些约束等等；（6）游戏画面的右下角还有玩家之间互动的聊天工具。

另一个更为困难的问题即为「蛋白质折叠」问题。我们需要将一条多肽链折叠到其能量最低的结构，这会是一个复杂的多目标优化问题。为了解决这样困难的问题，华盛顿大学的科学家们设计了一个有趣的游戏 Foldit⁸²。在 Foldit 游戏中，发生「撞击」（clash）实际上对应于物理学上的体排斥；而存在「空腔」（voids） 则说明这一蛋白质结构还没有被最紧密地堆积，能量仍然有继续下降的余地；而「摇一摇」（wiggle） 操作对应于类似于共轭梯度等方式的能量极小化；「拧一拧」（tweak） 操作则对应于调整蛋白质特定的二级结构中的氢键连接情况，而蛋白质的能量极小化（和相应的「评分函数」）则用玩家在游戏中的「得分」来展示。游戏中的各种操作的方式可以帮助用户对蛋白质的结构形成有效的直觉，而「得分」的变化又能让玩家产生即时的反馈，并产生与其他玩家竞争的想法。这种人类计算的方式已经取得了重要的成果。在 2011 年，在《自然》杂志的《结构和分子生物学》子刊（Nat. Struct. Mol. Biol.）上发表了由 Foldit 玩家所解决的一个困难的问题，长期困扰分子生物学家的一种猴类艾滋病毒的猴子逆转录酶（M-PMV）结构在这个游戏中仅用了十天就得以破解。而另一方面，优秀的游戏玩家在游戏中的选择过程同样也在被统计和分析，这些数据对于未来设计高效解决蛋白质折叠问题的算法有着重要的意义。

其实，想到「众包」和「人类计算」这样的想法并不困难，而收集用户的行为数据更是现在任何的互联网产品都会做的事情，真正困难的问题在于：人类的「注意力」是一种稀缺资源，让用户自己主动参与「计算」与让用户自己产生内容一样都是需要精心设计、策划和运营的。要让用户对解决相应的问题产生足够的兴趣，设置一些奖励机制，让玩家「沉浸」其中，乐此不疲。此外，让原本复杂的计算问题在众包之后能与玩家的直觉建立起联系，这不是一个简单的问题。如果让用户只是抽象地去实现组合优化问题，显然不能让普通玩家产生兴趣，在把具体的计算问题「游戏化」的过程中，很重要的一点是要把复杂的科学概念和方法尽可能转换为玩家仅凭简单的直觉和视觉交互就能理解的一些简单操作。

在目前看起来，「人类智能」与「人工智能」各有其擅长之处，除了不断从人类智能中吸取经验，帮助我们构建更好用的人工智能系统，我们也可以完全走上另一条道路。一些有趣的设想包括：在迁移学习中，设计一些游戏，利用人类的经验为数据提供更为准确的标签；设计游戏（例如 12306 的验证码），让人类在 GAN 中充当「判别模型」；利用人工智能对人类玩家进行评分；用人工智能的方法来组织众包和设计人类计算游戏中的奖励机制等等。或许在不久以后，人工智能和人类智能之间的界限将会越来越模糊，两种计算方法的融合有可能为我们解决那些长期困扰着人类的难题，人类（或者计算机）的文明也将从此走向一个全新的阶段。

作者说

感谢您读到这本书的结尾。在这本小小的电子书中，我简要地介绍了一些近年与「人工智能」和「人类智能」有关的研究，希望这本简单的小册子能让各位朋友对相关领域的一些基础研究产生一些兴趣。

我本人的研究领域是统计物理，主要研究的方向与「临界」相关，与神经科学和机器学习领域的研究者也有一些初步的合作。坦白地说，我本人不能算是人工智能领域的「研究者」，只能算是一个长期的「关注者」。人工智能领域的发展日新月异，这本电子书里的许多讨论也仅能代表一个「关注者」的观点，难免会有贻笑大方之处。如果读者发现书中的介绍或讨论有不妥之处，还请多多指教，非常感谢！

特别知乎的策划，感谢我的好朋友们（赵思家、甄慧玲、李嫣然、董磊、易子立）在选材和写作过程中提供的重要帮助。期待与大家有更多交流，我的知乎主页是：https://www.zhihu.com/people/fuwocheng/ 。

傅渥成

（fuwocheng1024@gmail.com)

2017 年 1 月 13 日

脚注

1. Turing, A.M. (1950). Computing machinery and intelligence. Mind, 59, 433-460. http://www.loebner.net/Prizef/TuringArticle.html，这里我们把原文斜体标出的话的英文原文标注在括号中。

2. 比赛采用中国规则，黑棋贴7.5目，李世石与AlphaGo都有两小时思考时间，以及三次一分钟延长读秒机会（根据维基百科）。

3. Master所进行的60战基本都是3次20秒或30秒读秒的快棋，仅在与聂卫平交战时考虑到聂老年纪大而延长为1分钟（根据维基百科）。

4. Blumenstock J, Cadamuro G, On R. Predicting poverty and wealth from mobile phone metadata[J]. Science, 2015, 350(6264): 1073-1076.

5. Elvidge C D, Sutton P C, Ghosh T, et al. A global poverty map derived from satellite data[J]. Computers & Geosciences, 2009, 35(8): 1652-1660.

Ebener S, Murray C, Tandon A, et al. From wealth to health: modelling the distribution of income per capita at the sub-national level using night-time light imagery[J]. international Journal of health geographics, 2005, 4(1): 1.

Doll C N H, Muller J P, Morley J G. Mapping regional economic activity from night-time light satellite imagery[J]. Ecological Economics, 2006, 57(1): 75-92.

6. Blumenstock J E. Fighting poverty with data[J]. Science, 2016, 353(6301):753-754.

Jean N, Burke M, Xie M, et al. Combining satellite imagery and machine learning to predict poverty.[J]. Science, 2016, 353(6301):790-794.

7. Karl Weiss, Taghi M. Khoshgoftaar and DingDing Wang, Journal of Big Data, (2016) 3:9.

8. Found in translation: More accurate, fluent sentences in Google Translate https://blog.google/products/translate/found-translation-more-accurate-fluent-sentences-google-translate/

9. 参考了：CIPS青工委学术专栏第9期 | 神经机器翻译 http://www.cipsc.org.cn/qngw/?p=953

10. Wu Y, Schuster M, Chen Z, et al. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation[J]. arXiv preprint arXiv:1609.08144, 2016.

11. King - Man + Woman = Queen: The Marvelous Mathematics of Computational Linguistics https://www.technologyreview.com/s/541356/king-man-woman-queen-the-marvelous-mathematics-of-computational-linguistics/

12. 翻译界的重大突破——谷歌翻译整合神经网络，翻译质量接近人工笔译 https://www.huxiu.com/article/165513/1.html

13. Łukasz Kaiser, Samy Bengio, Can Active Memory Replace Attention?, arXiv:1610.08613.

14. Lampert C H, Nickisch H, Harmeling S. Attribute-based classification for zero-shot visual object categorization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(3): 453-465.

15. Mikolov, Tomas; et al. "Efficient Estimation of Word Representations in Vector Space". arXiv:1301.3781Freely accessible.

16. Johnson M, Schuster M, Le Q V, et al. Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation[J]. arXiv preprint arXiv:1611.04558, 2016.

17. Yingce Xia, Di He, Tao Qin, Liwei Wang, Nenghai Yu, Tie-Yan Liu, Wei-Ying Ma, Dual Learning for Machine Translation, https://arxiv.org/abs/1611.00179

中文的介绍参考了：http://www.msra.cn/zh-cn/research/academic-conferences/nips-2016.aspx

18. Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C] Advances in Neural Information Processing Systems. 2014: 2672-2680. （arXiv:1406.2661）

Ian Goodfellow, "NIPS 2016 Tutorial: Generative Adversarial Networks", arXiv:1701.00160

19. “Adversarial training is the coolest thing since sliced bread.” https://www.quora.com/What-are-some-recent-and-potentially-upcoming-breakthroughs-in-unsupervised-learning

20. Shrivastava A, Pfister T, Tuzel O, et al. Learning from Simulated and Unsupervised Images through Adversarial Training[J]. arXiv preprint arXiv:1612.07828, 2016.

21. 以下内容参考了：Ian Goodfellow, "NIPS 2016 Tutorial: Generative Adversarial Networks", arXiv:1701.00160

更详细的中文版介绍可以参考：冯佳时《深度学习新星：GANs的诞生与走向》http://www.leiphone.com/news/201701/Kq6FvnjgbKK8Lh8N.html

元峰《深度学习在计算机视觉领域的前沿进展》

https://zhuanlan.zhihu.com/p/24699780?refer=ml-simple

22. Nguyen, A., Yosinski, J., Bengio, Y., Dosovitskiy, A., and Clune, J. (2016). Plug & play generative networks: Conditional iterative generation of images in latent space. arXiv preprint arXiv:1612.00005 .

23. Ledig, C., Theis, L., Huszar, F., Caballero, J., Aitken, A. P., Tejani, A., Totz, J., Wang, Z., and Shi, W. (2016). Photo-realistic single image super-resolution using a generative adversarial network. CoRR, abs/1609.04802.

24. Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. (2016b). Generative adversarial text to image synthesis. arXiv preprint arXiv:1605.05396 .

25. 还包括结合了这两种方法的「半监督学习」（Semi-supervised learning）。

26. 也常常被译作「增强学习」。

27. Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.

28. Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

关于 AlphaGo 的分析还可以参考田渊栋的知乎专栏：https://zhuanlan.zhihu.com/p/20607684

29. Ray Kurzweil 《奇点临近》。

30. “If intelligence was a cake, unsupervised learning would be the cake, supervised learning would be the icing on the cake, and reinforcement learning would be the cherry on the cake. We know how to make the icing and the cherry, but we don't know how to make the cake. We need to solve the unsupervised learning problem before we can even think of getting to true AI. And that's just an obstacle we know about. What about all the ones we don't know about?”

31. Dijkstra 是荷兰著名计算机科学家，1972 年图灵奖得主。原文：“The question of whether Machines Can Think... is about as relevant as the question of whether Submarines Can Swim.” ——Dijkstra (1984) 

https://en.wikiquote.org/wiki/Edsger_W._Dijkstra

32. 新闻报道包括：”Causal Entropy" Linked to Intelligence ；Intelligent Robots Should Maximize Their Future Options 这篇关于路径熵力的文章可以在作者的个人主页上下载：http://www.alexwg.org/publications/PhysRevLett_110-168702.pdf

33. 对于较少粒子的情况，因果熵力可以证明「合作」和「使用工具」的必要性。相关讨论可以参见原始论文或者我的电子书《写在物理边上》。

34. Reynolds, C. W. (1987). Flocks, herds and schools: A distributed behavioral model. ACM SIGGRAPH Computer Graphics, 21(4), 25-34.

35. Cavagna, A., & Giardina, I. (2014). Bird flocks as condensed matter. Annu. Rev. Condens. Matter Phys., 5(1), 183-207. （本节的图 3 和图 4 均引自这篇文章。）

36. 这部分讨论参考了 Hugues Chaté & Miguel A. Muñoz 发表在《Physics》上的 ’Viewpoint: Insect Swarms Go Critical" 一文

37. Attanasi, A., Cavagna, A., Del Castello, L., Giardina, I., Melillo, S., Parisi, L., ... & Viale, M. (2014). Finite-size scaling as a way to probe near-criticality in natural swarms. Physical review letters, 113(23), 238102.

38. Chialvo, D. R., Balenzuela, P., & Fraiman, D. (2008, July). The Brain: What is Critical About It?. http://arxiv.org/pdf/q-bio/0610041.pdf

除了这里提到的两个不同的尺度以外，这种临界性的特征在行为的层次上也有所表现。对生物体而言，通常适应性行为是爆发性的和不稳定的。例如，2013 年发表在 PNAS 上的一个工作就表明：一个人的情绪健康状态的变化在转变发生（例如出现抑郁症）之前可能存在着一个每种类似于相变临界点附近「临界慢化」（critical slowing down）的现象，在这个阶段，系统从扰动中恢复平衡的时间会更长。（参见：van de Leemput, I. A., Wichers, M., Cramer, A. O., Borsboom, D., Tuerlinckx, F., Kuppens, P., ... & Scheffer, M. (2014). Critical slowing down as early warning for the onset and termination of depression. Proceedings of the National Academy of Sciences, 111(1), 87-92. ）关于本工作的一个中文版的简要说明可以参考：http://www.bioon.com/biology/neuroscience/588052.shtml

39. （1）Beggs, J. M. and D. Plenz (2003). Neuronal avalanches in neocortical circuits. J Neurosci 23(35): 11167-77. 

（2）Beggs, J. M. and D. Plenz (2004). Neuronal avalanches are diverse and precise activity patterns that are stable for many hours in cortical slice cultures. J Neurosci 24(22): 5216-29.

40. A Haimovici et. al., PRL, (2013) 

W. L. Shew et. al. Nat. Phys (2015)

更多关于大脑临界性的讨论可以参考作者的电子书《临界：智能的设计原则》。

41. 图片来自：Chialvo, D. R. (2006). Psychophysics: Are our senses critical?. Nature physics, 2(5), 301-302.

42. Hsu, D., Chen, W., Hsu, M., & Beggs, J. M. (2008). An open hypothesis: is epilepsy learned, and can it be unlearned?. Epilepsy & Behavior, 13(3), 511-522.

43. Moretti, P., & Muñoz, M. A. (2013). Griffiths phases and the stretching of criticality in brain networks. Nature Communications,

44. 图 6 以及这一讨论参考了：Shew, W. L., Clawson, W. P., Pobst, J., Karimipanah, Y., Wright, N. C., & Wessel, R. (2015). Adaptation to sensory input tunes visual cortex to criticality. Nature Physics.

45. (1) Beggs and Plenz, J Neurosci 2003; 

(2) Shew et al, J Neurosci 2011；

(3) Haldeman and Beggs, Phys Rev Lett 2005；

(4) Bertschinger and Natschlager, Neural Computation, 2004;

(5) Kinouchi and Copelli, Nature Physics 2006;

(6) Shew et al, J Neurosci 2009.

这些参考文献参考了 Beggs 演讲的幻灯片。

46. 这一截图是 Ising 模型的模拟结果，来自于视频 https://www.youtube.com/watch?v=PlvisNlAcfo

47. 图片转引自 http://www.rsipvision.com/exploring-deep-learning/

48. 更具体地说，在图像识别问题中更常用的是深度的卷积神经网络（Convoluational Neural Network, CNN）。

49. 例如由多个玻尔兹曼机组合起来的深度置信网（Deep Belief Network，DBN）。

50. Pankaj Mehta, David J. Schwab, An exact mapping between the Variational Renormalization Group and Deep Learning, http://arxiv.org/abs/1410.3831

51. 深度对话Yann LeCun：让深度学习摆脱束缚 http://synchuman.baijia.baidu.com/article/166667

52. G. Evenbly and G. Vidal, Phys. Rev. Lett. 115, 180405 (2015). http://online.kitp.ucsb.edu/online/entangled_c15/vidal/pdf/Vidal_Entangled15Conf_KITP.pdf

53. 对于一个概率分布 P，与之相对应的自由能正比于这一概率分布的对数，即：F = ﹣k log P，而根据自由能的定义： F = U － TS，这里的 U 表示内能，S 是熵，而 T 代表温度。容易发现，在 T 固定的情况下，要想增大概率 P，就要降低自由能 F，而两种可能的方法就是降低内能或者增大熵。

54. Friston K. The free-energy principle: a unified brain theory?[J]. Nature Reviews Neuroscience, 2010, 11(2): 127-138.

https://en.wikipedia.org/wiki/Free_energy_principle

55. 参考了赵思家《大脑无时无刻不在「预测」世界》https://zhuanlan.zhihu.com/p/22557514

56. Finn C, Goodfellow I, Levine S. Unsupervised Learning for Physical Interaction through Video Prediction[J]. arXiv preprint arXiv:1605.07157, 2016.

新闻报道，http://motherboard.vice.com/read/researchers-taught-a-machine-how-to-generate-the-next-frames-in-a-video

57. 图片来源：Teaching machines to predict the future http://news.mit.edu/2016/teaching-machines-to-predict-the-future-0621

58. 参考了：http://www.leiphone.com/news/201612/Tvy4KyCdK3sAXmB6.html

59. 部分问题的讨论可以参考赵思家《大脑使用指南》。

60. 图片引自克劳斯·迈因策尔《复杂性思维：物质、精神和人类的计算动力学》。

61. 参考了 http://colah.github.io/posts/2015-08-Understanding-LSTMs/

这篇文章的中文译文：http://www.voidcn.com/blog/u010900574/article/p-6084885.html

62. http://it.sohu.com/20161227/n477085715.shtml

63. Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas, Learning to learn by gradient descent by gradient descent, https://arxiv.org/abs/1606.04474

64. Jane X Wang, Zeb Kurth-Nelson, Dhruva Tirumala, Hubert Soyer, Joel Z Leibo, Remi Munos, Charles Blundell, Dharshan Kumaran, Matt Botvinick, Learning to reinforcement learn, https://arxiv.org/abs/1611.05763

65. Watson R A, Szathmáry E. How Can Evolution Learn?[J]. Trends in ecology & evolution, 2016, 31(2): 147-157.

文中提到，科学家们找到了「进化」与「机器学习」的诸多理论问题间形式化的一些联系，这些联系的议题包括：（1）贝叶斯学习与有性（无性）繁殖中的选择过程的对应关系；（2）「基因型—表现型」关系与联想学习的对应（associative learning）；（3）基因调控网络的进化与神经网络学习的对应关系；（4）生态学关系的进化与分布式记忆模型（distributed memory models）。

66. Hidalgo, J., Grilli, J., Suweis, S., Muñoz, M. A., Banavar, J. R., & Maritan, A. (2014). Information-based fitness and the emergence of criticality in living systems. Proceedings of the National Academy of Sciences, 111(28), 10095-10100.

67. 参见：https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

68. Jorge Hidalgo, Jacopo Grilli, Samir Suweis, Amos Maritan, Miguel A. Munoz, Cooperation, competition and the emergence of criticality in communities of adaptive systems, https://arxiv.org/abs/1510.05941

69. 参考了：http://spectrum.ieee.org/automaton/robotics/artificial-intelligence/facebook-ai-director-yann-lecun-on-deep-learning 中文翻译稿：http://www.huxiu.com/article/109035

70. 参见：https://en.wikipedia.org/wiki/Entropy_(information_theory)

71. 这一译文是参考了：http://article.yeeyan.org/view/190971/365312，这篇文章的英文版发表于《纽约客》杂志：“How Much Consciousness Does an iPhone Have?”，http://www.newyorker.com/tech/elements/how-much-consciousness-does-an-iphone-have

72. Yoshua Bengio，深度学习：人工智能的复兴《环球科学》2016年第7期

73. 图片来自：http://www1.lsbu.ac.uk/water/protein_denatured.html，原文用于介绍水环境中的蛋白质容易折叠。

74. Anna Choromanska, Mikael Henaff, Michael Mathieu, Gérard Ben Arous, Yann LeCun, The Loss Surfaces of Multilayer Networks, https://arxiv.org/abs/1412.0233

75. Tallinen, T., Chung, J. Y., Biggins, J. S., & Mahadevan, L. (2014). Gyrification from constrained cortical expansion. Proceedings of the National Academy of Sciences, 111(35), 12667-12672.

76. Tallinen, T., Chung, J. Y., Rousseau, F., Girard, N., Lefèvre, J., & Mahadevan, L. (2016). On the growth and form of cortical convolutions. Nature Physics. 

中文的介绍以及相关的动画可以参考：http://www.guokr.com/article/441200/

77. Henderson J A, Robinson P A. Relations between the geometry of cortical gyrification and white-matter network architecture[J]. Brain connectivity, 2014, 4(2): 112-130. 

Roberts J A, Perry A, Lord A R, et al. The contribution of geometry to the human connectome[J]. Neuroimage, 2016, 124: 379-393.

78. IBM 甚至在 2016 年发布了一款用于深度学习的类脑超级计算平台 IBM TrueNorth，这一计算平台已经可以处理一些简单的模式识别问题。

79. 这一估算的数据来源于：http://www.ia.cas.cn/xwzx/ttxw/201604/t20160422_4589346.html

80. 来源：女神风波放一边，知乎联合创始人黄继新登陆 MindTalk 线场谈读读日报 http://www.ifanr.com/610984

81. Phylo 官网： http://phylo.cs.mcgill.ca/

82. Foldit 官网：https://fold.it/portal/