夏乙 栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI

神经网络寒冬

吴恩达：在神经网络的寒冬里，你也还是在坚持这个研究方向，这是一种什么感觉？

LeCun：我在某些方面坚持了，有的方面也没坚持。

我始终相信这些技术最终会复兴，人们会想清楚怎么把它投入实际应用。这个想法始终在我脑海中。

但是1996年AT&T拆分之后，数字识别也没法继续做了，我升了职，成了一个部门主管。这个时候，我得思考这个部门接下来要干什么。

当时互联网刚刚兴起，我觉得互联网带来了一个巨大问题，就是怎样将之前保存在纸上的海量知识搬到数字世界里。

于是我搞了个叫DjVu的项目，压缩扫描图片的体积，方便通过互联网分发。

这个项目很好玩，也算取得了一些成功，但是AT&T没想出来该用它干什么。

（DjVu的主页：http://yann.lecun.com/ex/djvu/）

吴恩达：我记得这个，当时用来在线分享论文。

LeCun：对，我们扫描了整本的NIPS论文集，把它放到网上，来展示这项技术。一张高分辨率图片能压缩到只有几kb大小。

复兴

吴恩达：你早期的工作已经占领了整个计算机视觉领域，甚至还扩展到了其他领域。你怎么看待这个进程？

LeCun：哈哈哈我早知道会这样。

首先，我始终相信这种方法有用，它需要快速的计算机和大量的数据，但我始终相信这是正确的方法。

最开始我还在贝尔实验室的时候，我认为它会随着机器变得更强，持续沿着某个方向发展下去，我们当时甚至在设计专门运行卷积神经网络的芯片。

所以你看，我们以为人们会逐渐对这个东西感兴趣，它会持续发展。

但实际上人们对神经网络的热情在20世纪90年代完全熄灭了，从1995年到大概2002年，有六七年的黑暗期，没人研究这个。

其实也有一点点研究，2000年左右，微软在研究用卷积神经网络来识别汉字。还有一些人脸检测之类的小研究。

我最近发现，在我们发表第一篇CNN论文之后，还有一些团队独立发展出了和卷积神经网路类似的方法，用在医疗影像的识别上。但他们没和我们一样去发表，也没进入专业研究的视野中。

就在最黑暗的几年里，有些人和我们有着同样的想法。

2012年ImageNet之后，人们对卷积神经网络的兴趣飞速提升，其实让我有点惊讶。

（Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton组成的SuperVision队，在ImageNet ILSVRC2012的分类和定位任务中夺冠，这个夺冠的卷积神经网络就是AlexNet，论文：Classification with Deep Convolutional Neural Networks）

2012年在佛罗伦萨的那届ECCV上，ImageNet的Workshop很有意思。现在大家都知道，那年Geoff Hinton的团队在ImageNet比赛中遥遥领先，Workshop上所有人都在等他的学生Alex Krizhevsky演讲。

不过那个时候，很多搞计算机视觉的人都不知道卷积神经网络是什么。他们应该听我讲过，2000年我还在CVPR上讲过一回，但是大多数人都没怎么注意到。

岁数大一点的人知道卷积神经网络，年轻人嘛，就完全没概念了。

Krizhevsky讲的时候，完全没解释卷积神经网络是什么，直接就开始说你们看这儿，这些东西都是连接起来的，我们怎么转换数据，怎么得到这个结果……

他是搞机器学习的，以为所有人都知道这个东西。很多人听着就非常惊讶，在他演讲的过程中，你都能从大家的脸上看到他们想法的变化。

吴恩达：所以，你认为那个Workshop是让计算机视觉界转变观念的决定性时刻？

Lecun：对，就是在那儿发生的。

FAIR

吴恩达：现在你在NYU任教，同时还领导着FAIR，Facebook AI Research。我听说你对于企业应该怎样做研究有着独特的观点，愿意谈一谈吗？

LeCun：过去4年里，我在Facebook感觉最美好的一件事，就是我有很大的自由，能够按我认为最合适的方式来建立FAIR。

这是他们第一个研究院。Facebook是一家以工程为中心的公司，它已经10岁了，IPO也很成功，但是至今主要专注于生存，或者短期的事情。扎克伯格要思考下一个十年，对Facebook来说什么会很重要。公司的生存已经不再是个问题，终于有能力考虑下一个十年。

马克和他的团队认为在连接人类这件事上，AI是一项关键的技术。他们在内部建立了一个小组，用卷积神经网络在人脸识别等方面取得了不错的成绩，于是对这个方向更有兴趣了。

于是他们尝试了很多种方法，比如说雇一群年轻的研究员，收购AI公司，最后决定在这个领域雇个长者，建立一个研究机构。

最开始还有一些文化冲突。

因为研究院和工程团队的运行方式完全不同，研究院有着更长的时间表、更宽的视野，科研人员对工作地点的选择又非常保守。

我在最开始的时候就决定，研究需要是开放的，要鼓励研究员们发表论文，甚至必须发表论文，研究成果要有一致的衡量标准。

马克和CTO迈克（Mike Schroepfer）就说，Facebook是个非常开放的公司，我们在开源领域有不少贡献，CTO来自Mozilla，是开源领域出来的，公司还有不少人以前是搞开源的，开放就刻在公司的DNA里，他们很自信能设立一个开放的研究机构。

Facebook对知识产权不像某些公司那么强迫症，于是和高校合作就更容易，让研究员们可以一脚踩在学术界，一脚踩在工业界。

如果你去看我过去四年发表的论文，大部分是和我在NYU的学生们一起完成的。在Facebook，我做的事情主要是组织实验室、招人、定科研方向、做顾问等等。但是，我没什么机会参与到某个研究项目里，把名字留在论文上。

你知道，我现在也不怎么在乎把名字留在论文上了，但是……

给年轻人的建议

吴恩达：对于想进入AI领域的人，你有什么建议？

LeCun：这个领域和我刚进入的时候，已经是两个完全不同的世界了。

我认为现在有一点非常好，人们想在某种程度上参与进来很容易了，工具很多、很好用，比如TensorFlow、PyTorch等等。你只需要一台不算贵的电脑，坐在卧室里，就能训练你的卷积神经网络、循环神经网络来做任何事情了。

你也可以用线上的学习资料学很多东西，也不是很麻烦。

所以现在连高中生都在搞神经网络了，我觉得很好，学生群体对机器学习和AI的热情在增长，看到年轻人参与进来，很一颗赛艇。

我的建议是，如果你想进入这个领域，让你自己有用，比如说去为开源项目做贡献。比如说你找不到某个算法的代码，可以自己实现，分享给其他人，找一篇你认为很重要的论文，实现其中的算法，开源出来。或者你也可以去为现有的那些开源项目做贡献。

如果你写的东西很有趣、很有用，人们就会注意到你，可能就会找到一份自己想要的工作，或者申请到最想读的PhD。

吴恩达：谢谢Yann，这些故事的细节今天听起来还是很有意思。

LeCun：有很多这样的故事，发生的时候，你根本不知道它们十到二十年后显示出怎样的重要性。

访谈视频

这段访谈视频，现在可以在YouTube上查看。

我们也搬运了一份到国内，如果你不想翻墙，可以在量子位后台回复“对话”两个字，即可获得所有相关地址。

— 完 —

原文出处