编者按：deep learning曾被《纽约时报》头版报道：“深度学习让机器执行人类的活动，如看、听和思考，可以模式识别提供了可能性，促进了人工智能技术的进步。” 但是也不免有人笑谈，Hinton已建立了一个很好的梯子，但这个梯子并不一定能带你到月球。而这里，Leo或许可以带给你不一样的想法。

近期Nature杂志刊登了Lecun、Bengio、Hinton的深度学习(deep learning)文章，是对最近深度学习火爆进展的总结，也是对他们三十年专注突破精神的最佳肯定。

深度学习火到什么程度呢？据我所知，在工业界，Google、facebook、微软、百度、腾讯以及其它创业公司，都想用深度学习的算法，意图达到顶级的智能识别实用精度（语音识别、人像识别等）。

深 度学习的广泛应用，让它载入史册，可以比肩最近人工智能领域的图灵奖工作--哈佛教授 Leslie Valiant的可学习性理论（2010年图灵奖，90年代初在此思想下诞生了著名的 Boosting 算法)、 UCLA教授 Judea Pearl 的基于概率推断的人工智能（2011年图灵奖，90年代末开始基于此思想的图模型风靡学术界）。 

Harvard教授 Leslie Valiant 

UCLA教授 Judea Pearl

我时常和业内人士交流 ，包括硅谷的工程师、研究员（图像分类、广告推荐等），风险投资者，美国学术界的教授，还有在创业公司的和在学校实验室做研究的清华、交大学生。大家对深度学习的历史背景缺乏全面细腻的了解，甚至有些盲从。

在我创业前，深度学习还没“火”，我在Yann Lecun的实验室呆了一年，研究图模型和深度学习的关系——当时对两个体系都深刻理解的人几乎没有。而在本该功利的创业环境里，到目前为止，我们团队还 未使用深度学习，显得有些“另类”甚至“落伍”，所以带着这样熟悉又陌生的心情，今天想分享一下自己的体会，算是对深度学习以及Hinton和Lecun 的三十年创新之路的致敬。

首先，来介绍下Deep Learning的主要人物背景：

Geoff Hinton是深度学习学派的祖师爷，老爷子腰椎不好，经常得站着写代码到夜里一点，不能坐飞机，得坐火车从东边到西边去开会。

Geoff Hinton，deep learning 学派创始人之一

Yann Lecun 是 Geoff Hinton 三十年前的弟子。最近深度学习应用于智能理解特别广泛的模型是卷积神经网（ConvNet），就是 Yann Lecun 发明的 / 命名的。在学术上，这和传统的深度学习其他的模型有显著性差异 —— 我甚至认为这是思想性的巨大差异（世界可学性的假设）。

图右为Yann Lecun，卷积神经网的发明者，Geoff Hinton的弟子

Andrew Ng 是 Michale Jordan（ Berkeley 教授，图模型的泰斗）的明星弟子，Andrew 独立后，在Stanford,、Google 和 Baidu 做的 反而是deep learning （有点武当弟子学了少林，或者少林弟子学了武当的意味）。后来做了网络公开课程Coursera后名声大噪，意义大大超越了其学术界的地位和范畴。

吴恩达（Andrew Ng），百度首席科学家，在线教育平台coursera的创始人

历史究竟发生了什么? 深度学习为什么突然火了？

标志性事件发生在2012年，两个“小毛孩”打败了业界神话。

2012 年底，Geoff Hinton 的博士生 Alex Krizhevsky、Ilya Sutskever（他们研究深度学习时间并不长）在图片分类的竞赛 ImageNet上，在识别结果拿了第一名。其实类似的比赛每年有很多，而这个事件的意义在于，Google 团队也在这个数据集上做了测试（非公开的，Google没有显式参加学术界的“竞赛”），用的也是深度学习，但识别精度比Geoff Hinton的团队差了很多，这下工业界振奋了：

同样用深度学习的算法，大神级别的Google团队，居然会在识别精度上差这么多！

先 来谈谈“Google团队”是干什么的。它是特殊的，因为它不同于其他Google团队，并且这个项目受到Google公司足够的战略级重视，有着世界级 的明星领导者，其中包括 Andrew Ng、Google 神人 Jeff Dean（他们在深度学习领域已投入很多，并到处宣讲他们的战果）以及业界无法企及的硬件和数据资源的支持。

我想，如果没有这样巨大的反差，深度学习还不会得到这么快的传播和认可。因为当时的学术界还不知道Google内部的测试成绩，只知道Geoff Hinton得了第一，击败了另一个学术界顶级的Oxford团队。甚至今天，很多人还不知道这段历史。

两个“小毛孩”让业界神话陷入低沉：Google投入产出并不具有说服力，甚至，是可耻的。但是，工业界似乎不需要、也不该关心面子。

紧接着，巨头的垄断游戏开始了。