在2020年的2月份，吴恩达，这位深度学习领域的知名学者，众多深度学习从业者的引路人，前百度IDL领头羊，接受了Lexpodcast的专访，谈论了关于人工智能，在线教育以及真实世界AI的一些观点，其中很多都对我产生了很大的影响，差不多一个半小时的采访，前前后后看了四五遍。其实，最近刚复工，而且工作压力也比较大，本没有太多空闲时间来观看这部比普通电影还要长的专访，或许是由于自己住的离单位较远，坐在地铁上又闲来无事，处于打发时间的考虑，反正闲着也是闲着，微博水木刷累了，就看点科技类的视频，也还是不错的。
或许是正因为住的远了，在地铁上就有了一点独处的时间。我记得在一篇散文中看到过一段话，具体作者临时忘了，大概的意思就是他喜欢每周坐一次环城公交，靠在车窗外，什么也不错，什么也不想，就贴着车窗玻璃，任由光怪陆离的世界从眼前闪过，成为记忆。独处的时间不是孤独的，而是自由的。最近一两年，在地铁上我看了三遍乔布斯传，更确切地说是听了三遍有声书，看了两遍红楼梦，学习一些TED的视频，有段时间还迷上了BBC的Six Minutes，二倍速播放当天最新的节目。可惜，都没有养成习惯。在吴恩达的专访中，Lex问他对深度学习研究者有什么建议，特别是那些打算读博或者做科研的人来说，学习论文方面有什么经验。吴恩达这样回答，每周其实并不需要看太多论文，选择两篇优秀的论文来学习就行，关键是要养成一种习惯，坚持每周都收获两篇，一年下来也有一百多篇论文，这是一个不小的成就。可惜的是，我之前做的这些，都没有养成习惯，反而是玩游戏却成了一种瘾，之前住的近的时候，每天起床之前总要开黑若干局，说是若干其实是不固定，顺风的时候玩个一两局可能就撤了，逆风的时候总想捞回来，就刹不住车了。这种瘾厉害到什么程度呢，有时候甚至玩到了第二天，有时候在电梯里也要继续。好在这次戒瘾已超半年，半年来从未染指一次。
在采访中，Lex还问到吴恩达是什么时候开始对计算机对人工智能产生兴趣的。果然，大牛的童年就是不一样，在我们都还在穿开裆裤玩过家家的时候，五岁的吴恩达就开始照着书本上面的程序敲代码了，而且还饶有兴趣地主动去学习其他东西，特别是后来中学的时候去新加坡做交换生，也拓宽了自己的眼界和思路。培养了严谨的习惯和良好的兴趣，这一点特别是在后来吴恩达教书授课的时候，在大多数人都普遍采用PPT的情况下，还依然坚持板书，后来的深度学习网课，也依然对着写字板一步一步地推到梯度下降等深度学习算法，在吴恩达看来，只有这样，才能更好地理解算法原理，因为数学公式本身就是一步一步推导出来的，这样也比直接打出一屏幕的公式，更易于初学者理解。而对于为什么热衷于在线教育，吴恩达也有自己的想法。在开始创办coursera之前，吴恩达是斯坦福大学的教授，每年授课，尽管接触到的是新的学生，但是自己不得不重复讲同样的笑话，而且课堂授课，座位有限学生的数量也就有限，但是转战在线教育就不同了，全世界各地的人都可以同时学习，而且可以根据自己的喜好随时随地地学习，你可以快速播放，也可以循环播放。为了准备coursera上面的课程，吴恩达一般都会在晚上十点到第二天凌晨三四点的时候，独自在学校的办公室中录制，利用自己的业余时间，整个课程的录制周期前后花了大概16周。看到现在深度学习课程的受众超过百万，而且依然在持续增加，吴恩达的说自己很欣慰，也很感激对他的信任，但也有遗憾，就是在推出在线课程的时候，没有出版配套的书籍。
而对于目前AI热潮，Lex也问到，进行深度学习技术研发，是不是一定需要博士学位。这一点，吴恩达博士也有自己的看法。首先，他对当前从事人工智能行业的人员进行分类，有些人是做学术研究的，但是大多数人则是从事开发的工作。其实，如果不是去高校和研究所做学术研究，博士学位也不是必须的。他特别提到目前的中国大陆，很多AI从业人员其实都是程序开发人员，很大一部分人都没有硕士或者博士学历。就像现在很多人看书，但是写书的人不多，吴恩达认为，在未来，也将会是这个现象，真正做AI底层算法开发的人不会很多，大多数人都是在上面进行开发。其实这个在目前来看，也是差不多，深度学习的框架，包括TensorFlow，caffe，pytorch以及百度和阿里自己的框架，很多人都只是采用这些框架而已。但是这样下去，其实不好，因为一直从事芯片行业，也了解到我国的一些实际情况，我们却芯片设计人员，但是更缺操作系统编译器工具链等软件人员，我记得前些年上课的时候一个做操作系统的老师，国内能够进行操作系统底层开发的人员，不到100人。
就像我们的程序开发人员都在用java，但是开发java底层的却都是外国人。开发一个深度学习框架，的确费时费力，在国内的大背景下，一切都是向快钱看齐，哪些来的快，就做哪些。做芯片的也一样，这几年AI芯片比较火，就出现了众多的AI创业公司，但是真正成功的却没几个，深鉴科技算一个。但是，以色列的AI芯片初创企业，好几个基本上不到两年就以十几几十亿美元被英特尔/微软等大公司收购，国内大部分的则依然靠着资本运作续命。当然，对这一块不熟悉，也就不再讨论。不过，这两天的一个新闻，着实让人感到兴奋，谷歌受制于美国政府的限制，去年决定不再支持华为手机使用GMS服务，但是华为自己研发了HMS服务，谷歌一看不行了，就向美国政府申请想重新向华为提供GMS服务，这一点可以看出，不是我们做不出来高科技，只不过有便宜的可以用，人都是有惰性的，只有在毫无退路的时候，才会破釜沉舟。
还有一个问题，是关于目前AI算法和传统算法研究的不同之处，吴恩达的见解也让我受益匪浅。熟悉目前基于深度学习的AI系统，其性能评估都有一个数据集作为参考，比如imagenet，比如coco等，谁的算法性能好，谁的论文水平高，唯一的评价标准就是谁在这些数据集上面的准确率更高。但是，这就存在一个问题，数据集本身就有局限性，数据集并不能代表真实世界，他只是真实世界的一个子集，或者是依着葫芦画出来的瓢，很多时候你在数据集上面得到了很高的评分，准确率很高，但是在实际场景下却不能使用。一个常见的例子就是清华大学的学者之前发表的一篇论文，对于一个图像识别算法，在数据集上面的识别准确率基本上达到了99%，但是加入我们在图像上稍微加一点噪声，论文中举的例子是阿尔卑斯山，加了噪声之后，人是很容易就能看出来依然是阿尔卑斯山的，但是这个算法却识别成了一只狗。
这也就是为什么吴恩达现在在做科研的时候，并没有只采用深度学习技术来完成功能，而是多种方法同步展开，特别是现在一直在推崇真实世界人工智能，也就是Real-world AI。李飞飞课题组也在机器人领域展开相应的研究，叫长时间SLAM导航定位，一个机器人要既能够在白天进行导航，也能够在晚上进行导航，既能够在春暖花开的季节使用，也要能够在绿树成荫或者白雪皑皑的时候使用，这样的机器人才是真实的，使用场景不能局限于某一特定环境下。当然这有很长的路要走。当我们在谈论算法性能的时候，不要说你算法的准确率针对数据集提升了百分之零点几，而是它能够多大程度上解决实际问题。就像今年AAAI的图灵奖论坛上面Yann LeCun说，目前的无人驾驶算法在数据集上面效果都不错，但是距离真正的上路，还有很多工作要做。
最后，其实也不是吴恩达专访的最后，这篇短文呢也没有按照专访的顺序整理。对于AI创业公司，或者大公司刚组建项目团队，如果开展研究工作，如果制定一个切实的目标，吴恩达以自己在谷歌和百度的经验告诉我们，切勿贪多妄大，一定要实事求是。就像之前开展谷歌大脑项目时候，就没有在一开始就定下一个模拟完整人类大脑的目标，而是一步一步迭代升级。而对于AI创业公司而言，做的项目，一定要有实际意义，而不是为了追求科技水平的高低，因为只有有人愿意为你的产品买账，才能说明你的项目是成功的，否则即使科技水平世界前列，也依然无济于事，至少对于创业公司来说是失败的。
很多人可能对于做产品和做科研不太容易分的开，因为现在大多数的创业人员都是由科研背景的，总是喜欢拿之前做项目发论文的思路开展产品设计，其实这两者之间存在很大的差别，这也是为什么很多公司在考察科研项目的时候，都非常谨慎，因为实验室的结果很好，并不能够说明在实际中能够很好地解决问题，而实验室成果距离产品上线，依然存在鸿沟。通常发论文，你可以使用一些tricks来规避一些corner case来达到预期目标，但是做产品则不一样，你需要考虑到所有的corner case提前演练推导，否则用户就会帮你找bug，不过那个代价就无法估量了。所以，在我们芯片行业，即使你的测试用例100%通过，各种覆盖率也达到100%，你依然不敢保证芯片流片回来不会是一堆无用的石头，“再怎么验证都不为过”，绝对的至理名言。
在采访中，对于人工智能何时可以赶上人类甚至超越人类，Lex也问了一下吴恩达，其实这就像是美剧《西部世界》中的Host一样，可以长生不老。之前在接受央视采访的时候，向老师问过同样的问题，问我人类能不能长生不老，我迟疑了一下之后给出了肯定的答案，但是向老师说给个期限的时候，我就说不好了。对于这个问题，吴恩达说，可能50年，可能100年，也可能500年。现在的人工智能技术也才仅仅60多年，而人类对长生不老的追求却数千年。而我们的技术能不能够像《西部世界》中幻想的那样，把一个人的意识保留下来，存储到机器中，这个技术多久能够实现，可能都是一个未知的问题。
