智源导读：杨植麟，循环智能创始人、智源青年科学家。如今仅28岁的他，曾于2011年至2015年在清华计算机系就读，本科期间师从唐杰教授；随后去往CMU读博，师从苹果AI研究负责人Ruslan Salakhutdinov 和谷歌首席科学家 William Cohen。在此期间先后以一作身份，发表了影响广泛的成果 Transformer-XL 和 XLNet，对自然语言处理带来了极大的影响。
在最近由“青源会”组织的青源Talk中，杨植麟博士分享了《从学习的角度看NLP的现状与未来》的报告。在此之后，智源社区邀请主持人张家俊研究员与杨植麟博士，就其科研及创业经验进行了深度对话。
下面智源社区从对话中选出部分观点内容，分享给读者。
作者：贾伟
张家俊：中国科学院自动化研究所模式识别国家重点实验室研究员、博士生导师，智源青年科学家，研究方向为机器翻译和自然语言处理等。
杨植麟：循环智能创始人，智源青年科学家，NLP 领域知名青年学者，其作为第一作者发明的 XLNet 在20项任务上超越 BERT；其发明的 Transformer-XL 成为首个全面超越 RNN 的注意力语言模型。
01
科研三经验
张家俊：你从大二大三就开始跟着唐杰老师做科研，并且发了不少顶级论文；随后又在国外师从 Ruslan 和 Cohen 读博。在这段时间里，你有哪些比较深刻地经验？
杨植麟：我觉得有三点。第一，我们应该更倾向去做简单的 Idea。因为越简单的 Idea，反而越本质。
如果你去看历史，就会发现所有有影响力的方法，或者最后真的能沉淀下来的技术，都是非常简单的东西，只有简单的东西才能持久。反而是那些复杂的，例如以前大家做 QA，去搭各种非常复杂的架构，可能都不太本质，因为它太复杂，它的动机可能也比较奇怪。
我们经常会看到有人写论文时会写 “Simple Yet Effective”，其实正确的说法应该是 “Simple And Effective”，因为这两个目标能够同时满足，也是我们的最终目标。
所以我觉得简单很重要，而且是个优点，没有必要在论文里面专门把它写得很复杂。简单就是简单，简单是个优点。
第二，我们做科研，应当去对你定义一个 High-level 的或者Long-term 的Research Agenda，然后拆解这个问题，做到研究的每一步都确定自己到底要去解决这个问题中的哪个部分。
这是我从 Jason Weston（注：Facebook研究科学家、纽约大学客座教授） 身上学到的，他们整个组目前都是这样。从好几年前他就想去解决对话问题，然后他把对话问题拆解成很多子问题，然后每年去解决其中的一部分，最后拼起来就是一个比较好的系统。
我觉得这种研究方式就是长期思维，并不是这个 Idea 碰一下，那个 Idea 碰一下，最后靠运气来获得成果；而是形成一种体系化的研究路径，然后有计划地进行研究。当然中间可能会有很多新的灵感，但这些灵感也都是计划中的一部分。
第三，要始终认识到，最好的东西都还没做出来。之前我一直以为好的工作都已经被别人做出来了，已经没有机会做出好的工作了。当时我刚开始做NLP，Word Embedding、Memory 网络、Attention 等都出来了，站在那个时间点去看，好像没有什么东西可以做了。但事实上真正的好戏才刚刚开始呢，例如2017年就出现了 Transformer，2018年之后出现了各种预训练，今年有GPT-3等。所以其实最好的东西还没有到来。
这个是 Quoc V. Le（注：Quoc Le 为 seq2seq，AutoML 等工作的作者） 教给我的，他是我在 Google 的导师。在13、14年的时候，当时他发现，AlexNet 有了，LSTM 有了，Word Embedding 也有了，他就想是不是已经没有好东西可以做了。但后来发现并非如此，后面有更多好的东西出来。
站在今天来看，大家依然会提出许多很尖锐的问题，而且通过预训练的方法很难解决。这就说明还有很多问题值得做。所以千万不要想着说，现在已经没东西做了，因为最好的东西永远都在接下来的时刻。
02
四年 CMU 博毕的秘诀：快速迭代
张家俊：我们了解到，你只花了四年就从 CMU 博士毕业了；而 CMU，特别是语言技术研究所，学生的毕业年限基本上都在六七年以上。你是怎么做到的，以及当时是怎么规划你博士生涯的？
杨植麟：首先，我觉得基本面上还是运气比较好，赶上了一个 NLP 发展非常迅速的时代，正好有很多 Open 的问题可以去解决。解决了这些问题，相应的就会有一些成果。所以我觉得时代背景非常重要。
其次，我觉得最为重要的一点是，要快速迭代。我们做科研，其实并不是每个想法都正确，我们的 Idea 总会出错，而且大多数人的大多数 Idea 都是不 Work 的。我之前有个规律，就是把我的所有结果都写到Google Spreadsheet 里面，然后就发现每当写四五百行或者1000行，就会有一个 Positive 的结果。所以这就意味着，产出结果的速度，取决于你迭代的速度，你要迭代的足够快，才有可能快速地出结果。所以我觉得这是一个很重要的经验。
至于具体的规划。第一，可能因为当时我在本科阶段奠定一些基础，所以到CMU之后基本上就可以直接开始做研究了，这节省了一些时间。第二，在规划上是这样：读博士的前一两年，我去探索了几个不同的方向；后面两年则主要专注在一个方向上，然后把它做到极致。
03
XLNet提出的精髓：序列问题驱动
张家俊：你在博士期间，在语言模型上有两个非常好的工作，一个是 Transformer-XL，一个是 XLNet 。我看你之前的一些访谈说，你是在 Transformer-XL 失败之后，才想怎么去深入的思考语言模型这件事情，然后提出了 XLNet。但我在读 XLNet 这篇文章时，就有一个疑惑，整个模型你们是怎么凭空把它想出来的，你能不能介绍一下？
杨植麟：我觉得是这样，一般想到一个新的东西，可能会有几种不同的方式。
一种是从问题出发，然后一步一步去想怎么解决这个问题。这时，就会把这个问题拆分成子问题，然后再继续去解决子问题。
另一种则是从方法出发，有了现有的方法，怎么去做组合。技术的本质就是对方法做组合，把小的技术组合成大的技术，把老的技术组合成新的技术。
这两种方案一个是自下而上，问题驱动；一个是自上而下，方法驱动。
我们在做XLNet这个事情的过程中，更多的是一个问题驱动的方式。做的方式就是先看到有一个问题，然后我去工具集驱找有哪些东西可以解决这个问题；但在解决这个问题的过程中，我发现它会带来新的问题，然后我就再去找新的工具来解决这个新问题，大概是这样。
我们一开始想解决的问题是自回归和自编码。它们都有自己的优势，我们想让它们的有点统一起来。基于这个动机，我们想到之前看到过一些基于 Permutation 的思路，就想是不是可以把它拿来用。但拿来之后我们发现一个新的问题，就是虽然可以做 Permutation，但中间会有一些 Ambiguity 存在，然后我就去解决 Ambiguity。解决完之后发现还不够，又有新的问题，我们就提出了双流的 Attention 机制。所以它其实是一步一步的，通过这种序列的问题解决，最后形成了现在这样一个结果。
所以如果不去考虑中间的动机，可能就会觉得非常奇怪；但如果去推理中间的每一步，就发现非常合理。这也是问题驱动和方法驱动的区别。方法驱动的结果看起来就会非常合理。
04
GPT-4 会做什么？
张家俊：请你预测一下 GPT-4 会做什么？
杨植麟：我觉得会有一些不同的方向。
一方面，我们当然可以把它变得更大；另一方面可以去做 Multi-model 的预训练；再一方面，可以去改变它的架构，加入更多、更好、更可扩展的架构，或者用一个泛化能力更强的目标函数，把它显式地加到预训练中。
我觉得都是一些可行的方向。
05
NLP 独角兽成长之路的两大基本原则：年费 + 标准化
张家俊：你现在循环智能的联合创始人。在真实的应用场景中也做了一些非常成功的落地工作。我跟工业界的人交流时就发现，有人说 NLP 创业很难出现独角兽企业。你同意这个观点吗？如果你不同意，怎么样才能成为一个独角兽？譬如说循环智能怎么样成为独角兽，或者如果你有一些其他的不同的看法？
杨植麟：首先我觉得这个命题本身确实值得商榷，因为要看怎么去定义NLP独角兽。如果去看纯做NLP的厂商，会发现在美国有很多对标的公司，它实际上已经是独角兽或者马上成为独角兽，比如 Asapp、People.ai、Chorus.ai、Gong.io等，它们都是以 NLP 为核心的一些初创企业，但估值已经非常高了。我觉得中国肯定也会诞生一些这样的企业，我觉得完全是有机会的。
我们从国内来看，其实已经有很多公司做得非常好了。如果我们把定义稍微放宽松一点，不只看纯做 NLP 的公司，可以看 NLP 加语音或者 NLP 加结构化数据，其实已经有非常多的公司做得非常好了，包括上市的也有很多。
所以市场的情况我觉得其实还是挺好，所以我觉得肯定可以产生独角兽。如果我们放宽一点定义，实际上已经产生了很多独角兽。
但为什么大家会形成这样的一个印象呢？我觉得其实这里面主要会有几块，做 NLP 既有一些与 to B 共通的地方，又有一些自己独特的难点。
首先，与 to B 共通的地方就在于说，在当前中国的商业环境下，你能不能用坚持用年费加标准化交付的方式去做。美国 SaaS （注：Software-as-a-Service，软件即服务）商业模式成功的一个前提是必须年费，必须标准化，不然 PS 或者 PE 就非常低。所以我觉得只有去坚持这两个东西。
现在我觉得中国其实 to B 可能面临的整体问题就是，怎么在一个特定行业里面去找到这样的机会，能够去做年费加标准化的产品。当然现在其实市面，很多人已经找到了这个方式，所以我觉得剩下的只是一个时间的问题。
其次，NLP 自己独有的一些难题，最核心的便是场景的碎片化。如果我做语音识别引擎，我只需要即插即用，基本没有新的边际成本；但如果是 NLP 的话，由于它跟业务绑定非常近，需要考虑业务的具体定义，然后才能真正落地产生价值，这里面的交付边际成本在早期会比较高。不过以后，我相信以预训练为核心。通过更大规模的预训练，可以降低它的交付成本，来缓解这个困难。
但另一方面，NLP 这种场景的碎片化，也正是它商业模型的一个优点。譬如如果直接做 ASR（注：自动语音识别）把语音转成文本，这是不产生业务价值的；必须在上面做一层 NLP 才行，因为 NLP 才是跟业务价值绑定的。在很多场景下，AI 产生最终价值的最后一英里，必须用到 NLP 的技术才能真正落地。所以，我觉得这也是 NLP 商业落地非常核心的东西。
所以我觉得既要看到好的一面，也要看到不足的一面。NLP 离用户近，能够产生最终的价值；而边际成本高，这是它的缺点，但这可以用预训练等方法来提升它的标准化程度。
综上来说，年费加标准化产品，我觉得坚持这两个原则，中国必然会产生 NLP 的独角兽企业。
点击左下角“阅读原文”，了解更多！
转载：https://blog.csdn.net/BAAIBeijing/article/details/111602669