---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办，承办单位为中国科学院大学学生会，协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会，百度为支持单位，读芯术、PaperWeekly为合作自媒体。“AI未来说·青年学术论坛”第九期“个性化内容推荐”专场已于2019年9月22日下午在中科院举行。人民大学赵鑫为大家带来报告《基于知识与推理的序列化推荐技术研究》。

赵鑫全场报告视频

赵鑫，中国人民大学信息学院副教授，博士生导师。近五年内在国内外著名学术期刊与会议上以主要作者身份发表论文60余篇。所发表的学术论文取得了一定的关注度，据Google Scholar统计，已发表论文共计被引用2800余次，其中以第一作者发表的《Comparing Twitter and Traditional Media Using Topic Models》被引用1100余次。担任多个重要的国际会议或者期刊评审，入选第二届CCF青年人才发展计划。曾获得CIKM 2017最佳短文候选以及AIRS 2017最佳论文奖。

报告内容：推荐系统一直是工业界和学术界的研究热点。传统序列化推荐算法已经取得了非常不错的实战效果，但是这些已有算法对于可解释性关注不够，所采用的模型大部分只能刻画用户行为的序列性。本次报告主要借鉴最近几年深度学习模型在推理机制方面和知识融入方面的进展，提出了能够同时刻画序列性和可解释性的推荐算法。为了加强推理能力、改善可解释性，在推荐算法中引入了外部知识信息。经过实验验证，所提出算法在推荐准确率以及可解释性两个方面均有提升。

基于知识与推理的序列化推荐技术研究

赵鑫老师首先简单概括了报告的内容，报告内容与知识图谱和序列化推荐相关，但是集中于序列化推荐这个点上，并简要介绍了学术界和工业界做推荐的差异。

然后先讲了序列化推荐系统的整体概览，在推荐系统中，用户的采纳行为是一个序列决策过程，包括next-basket和next-item的推荐。然后介绍了推荐系统中的常用方法，大致可分为经典方法和主流方法两类。

其中，经典方法包括基于频率的马尔可夫模型和基于频率的个性化马尔可夫模型，前者主要是基于转移矩阵，项目之间存在转移，比如项目A后大概率是项目B，项目B后大概率是项目C，但是所有人共享这样的转移矩阵显然不是特别合理的，所以后者在前者的基础上进行了改进，使用个性化的分解模型，使下一个物品和上一个物品的表示，和当前的用户表示是有关系的，该模型也可以计算出当前候选物品的得分。

在介绍主流方法之前，先介绍了基本的RNN模型。其中，主流方法包括个性化推荐的层级RNN模型和基于注意力的RNN模型。层级RNN模型可以更好地从层次化和个性化方面建模推荐系统，而基于注意力的RNN模型则把注意力集中于最需要关注的事物上，对一些对相应的推荐作用比较小的事物具有一定的过滤作用，对于长序列的建模很重要。

对于推荐系统来说，上下文是很重要的，而且很多种类的非结构化信息是可以获得的，因此基于上下文的推荐系统也是很常用的。其常见的方法有因子分解机（Factorization Machine，FM）和具有上下文意识（Context-aware）的RNN模型。

接着，又介绍了链接知识库的推荐系统。由于知识库包含的实体拥有丰富的属性和关系信息，因而对于推荐系统来说有辅助的作用。然后讲到了自己所在团队提出的一个大的公共的链接知识库推荐系统的KB4Rec数据集，并介绍了数据集的数据格式和相关的统计信息。此外，进一步介绍了现有的基于知识库的推荐系统方法，如协同知识库嵌入（Colloborative Knowledge base Embedding）模型、深度知识意识的网络（Deep Knowledge-aware Network）模型和连锁网络（Ripple Network）模型。

在介绍完现有的典型的方法之后，赵鑫老师又介绍了自己所在团队提出的三类方法，分别为基于属性的记忆网络的知识整合模型（SIGIR 2018）、基于分类记忆网络的知识整合模型（WSDM 2019）和基于元路径的协同注意力网络的知识整合模型（SIGKDD 2018）。

现有的基于RNN的方法仍存在一些问题：1）很难进行解释，比如任何事物都是被嵌入表达的；2）有限制的模型建模能力，如长时序依赖和弱的推理能力。而基于属性的记忆网络知识整合模型可以解决这些问题。该模型由知识图谱、GRU网络和键-值记忆网络（Key-Value Memory Network）组成，通过连接推荐系统中的项目实体和知识图谱中存在的实体，来增强键-值记忆网络的语义表达能力。其中，GRU网络用于捕捉序列的偏好，而键-值记忆网络用于捕捉基于属性的偏好。

在介绍基于分类记忆网络的知识整合模型之前，先介绍了先前的基于多跳推理推荐方法存在的一些问题，比如对于每一跳缺乏必要的解释，典型的实例为连锁网络（Ripple Net）。而基于分类记忆网络的知识整合模型使用了分类结构进行多跳推理对齐的方法，可以解决这些问题，该模型由GRU网络和层级多跳记忆网络组成，可以根据不同级别的项目类别层级地学习多个细粒度的喜好表达，而且可以在项目选择的过程中捕捉用户喜好的演化和改进。

在介绍基于元路径的协同注意力网络的知识整合模型之前，先介绍了异质信息网路和元路径的定义，并列举了元路径的实例。该模型是为了寻找更灵活的结构来表示知识。现有的基于异质信息网络（HIN-based）的方法主要存在两类：1）基于路径的语义关联作为推荐特征的方法，如OptRank和SemRec；2）基于路径的增强用户或项目表达的相似度的方法，如HeteRec、FMG和NeuACF。其缺点包括：1）很少显示地表达推荐的路径或元路径；2）集中于两通路的用户和项目的交互，没有考虑用户、项目和路径之间的相互的影响。针对这些问题，赵鑫老师所在的团队提出了相应的解决方法：1）学习基于元路径的上下文剪枝的用于推荐的显式表达；2）描述一个三通路的交互<用户、元路径、项目>。

最后，赵鑫老师对报告的内容进行了总结：1）知识库对于提高序列推荐系统的性能是很有用的；2）知识可以被有效地融合于潜在的神经网络的推理架构中；3）记忆网络可以在长时间内存储知识和有用信息。

 

AI未来说*青年学术论坛

第一期 数据挖掘专场

1. 李国杰院士：理性认识人工智能的“头雁”作用

2. 百度熊辉教授：大数据智能化人才管理

3. 清华唐杰教授：网络表示学习理论及应用

4. 瑞莱智慧刘强博士：深度学习时代的个性化推荐

5. 清华柴成亮博士：基于人机协作的数据管理

第二期 自然语言处理专场

1. 中科院张家俊：面向自然语言生成的同步双向推断模型

2. 北邮李蕾：关于自动文本摘要的分析与讨论

3. 百度孙珂：对话技术的产业化应用与问题探讨

4. 阿里谭继伟：基于序列到序列模型的文本摘要及淘宝的实践

5. 哈工大刘一佳：通过句法分析看上下文相关词向量

第三期 计算机视觉专场

1. 北大彭宇新：跨媒体智能分析与应用

2. 清华鲁继文：深度强化学习与视觉内容理解

3. 百度李颖超：百度增强现实技术及应⽤

4. 中科院张士峰：基于深度学习的通用物体检测算法对比探索

5. 港中文李弘扬 ：物体检测最新进展

第四期 语音技术专场

1. 

2. 

3. 

4. 

5. 

第五期 量子计算专场

1. 

2. 

3. 

4. 

5. 

第六期 机器学习专场

1. 中科院张文生：健康医疗大数据时代的认知计算

2. 中科院庄福振：基于知识共享的机器学习算法研究及应用

3. 百度胡晓光：飞桨（PaddlePaddle）核心技术与应用实践

4. 清华大学王奕森：Adversarial Machine Learning: Attack and Defence

5. 南京大学赵申宜：SCOPE - Scalable Composite Optimization for Learning

第七期 自动驾驶专场

1. 北京大学查红彬：基于数据流处理的SLAM技术

2. 清华大学邓志东：自动驾驶的“感”与“知” - 挑战与机遇

3. 百度朱帆：开放时代的自动驾驶 - 百度Apollo计划

4. 北理宋文杰：时空域下智能车辆未知区域自主导航技术

第八期 深度学习专场

1. 中科院文新：深度学习入门基础与学习资源

2. 中科院陈智能：计算机视觉经典——深度学习与目标检测

3. 中科院付鹏：深度学习与机器阅读