曾创造 XLNet 的团队宣布新计划：打造面向产业落地的超大规模中文预训练语言模型

由 XLNet 作者杨植麟联合创立的循环智能，在造一个面向产业应用的、超大规模的中文预训练语言模型。

最近，如果你看过，智源研究院联合七家单位发布超大规模新型预训练模型“悟道·文汇”的新闻，会发现循环智能（Recurrent AI）是七家单位之一，其他六家是：阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗和智谱.AI。这个模型的参数规模超过 100 亿，用于自动生成图片、文字以及视频，可具有初级认知能力。

语言大模型的价值仍需要朝多种方向进行持续研究和探索。除了继续参与“悟道·文汇”模型的后续打造，循环智能将启动 NLP Moonshot 计划，面向产业落地的方向，训练超大规模的中文预训练语言模型。以期在银行、保险、教育等众多行业的实际落地中，最大化 NLP 产业应用的价值。

为什么是我们？

计算资源

众所周知，训练超大规模模型也需要价值不菲的计算资源。在计算资源方面，循环智能已经与一家大型云服务企业达成合作，数千枚 AI 芯片计算资源已就位。双方合作的详情，后续将随该项目的首期研发成果一起公布。

团队实力

循环智能团队曾创造 state of the art 模型 XLNet 和 Transformer-XL（联合创始人杨植麟博士是两个模型的第一作者），具有在数千块 TPU 上训练超大规模模型的大量实践，对预训练有丰富经验。

项目前景

研发中的超大规模预训练语言模型面向产业落地，循环智能已服务和即将服务多家银行、保险、房产、教育等行业的头部客户，具备企业线上线下沟通智能化和人员效率提升等方面的丰富落地应用场景。

“超大规模模型是最大化价值的基础，NLP Moonshot 计划不会停留在学术研究层面，而是推动技术边界、落地产业价值。”循环智能的联合创始人，也是该计划的负责人杨植麟博士这样介绍该计划的使命。

“‘大模型’的落地应用，可以加速循环智能规模化发展的进程，让我们更有效率地服务众多中大型客户，与客户一起创造更大的价值。”循环智能联合创始人&CEO陈麒聪表示。

欢迎加入 NLP Moonshot 计划

目前循环智能的 NLP Moonshot 小组仍需要新成员加入，如果你对大规模预训练模型非常感兴趣，曾经在 AI 顶会发表过论文或者正在从事相关的前沿研究，具备十足的创新能力，欢迎你的加入。

你的核心工作内容将包括：

• 分布式模型训练和调优

• 结合落地场景的大模型应用

• 通用算法优化和创新

循环智能资深算法总监陈虞君、资深算法总监杜羽伦和算法工程师徐瀚伟表示，“我们有top团队和massive算力去做前沿的NLP研究，也有丰富的垂直领域数据和商业化场景去大试牛刀。欢迎跟我们一起踏上‘探月’之旅。”

循环智能将为优秀人才提供有竞争力的薪水和期权，为卓越人才提供百万+年薪和有吸引力的期权。