1 / 13
文档名称:

知识增强的图神经网络序列推荐算法研究 李盼.pdf

格式:pdf   大小:994KB   页数:13页
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

知识增强的图神经网络序列推荐算法研究 李盼.pdf

上传人:惜春文档 11/30/2022 文件大小:994 KB

下载得到文件列表

知识增强的图神经网络序列推荐算法研究 李盼.pdf

相关文档

文档介绍

文档介绍:该【知识增强的图神经网络序列推荐算法研究 李盼 】是由【惜春文档】上传分享,文档一共【13】页,该文档可以免费在线阅读,需要了解更多关于【知识增强的图神经网络序列推荐算法研究 李盼 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您编辑和打印。:.
计算机工程
ComputerEngineering
ISSN1000-3428,CN31-1289/TP
《计算机工程》网络首发论文
题目:知识增强的图神经网络序列推荐算法研究
作者:李盼,解庆,李琳,刘永坚
DOI:.1000-
网络首发日期:2022-07-20
引用格式:李盼,解庆,李琳,[J/OL].计
:///-
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
:.
췸싧쫗랢쪱볤ꎺ2022-07-2008:57:13
췸싧쫗랢뗘횷ꎺ.
计算机工程
ComputerEngineering
知识增强的图神经网络序列推荐算法研究
李盼1,2,解庆1,2,李琳1,刘永坚1,2
(,计算机与人工智能学院,武汉430070;,重庆401135)
摘要:现有的基于图神经网络的序列推荐算法大多仅关注用户与项目交互的结构性信息,序列偏好的学****仅涉及项目交互
顺序,缺乏项目自身的内容信息以及用户信息的有效利用,也没有挖掘项目之间更深层的语义关系。针对这一情况,提出知
识增强的图神经网络序列推荐模型。首先引入知识图谱,结合用户交互数据构建协同知识图谱,学****得到项目语义关联辅助
信息以及用户关联辅助信息;然后将交互序列构建成有向序列图,利用门控图神经网络以及用户关联辅助信息学****序列中项
目节点的结构性信息;通过注意力机制组合项目向量作为全局序列偏好,将最近交互的项目作为当前兴趣偏好,融合二者形
成最终序列偏好,并结合项目语义关联辅助信息进行模型预测。在Amazon-Book、Last-FM、Yelp2018三个公开数据集上的
实验结果表明,辅助信息能有效提升序列推荐的准确度,算法在命中率(******@K)和归一化折损累计增益(******@K)两
个指标上相较于基线最优算法均有显著提升。评估指标K值选取10时,其指标******@%、%、
%,******@%、%、%。
关键词:序列推荐;图神经网络;知识图谱;推荐系统;用户行为;深度学****br/>开放科学(资源服务)标志码(OSID):
Knowledge-EnhancedGraphNeuralNetworkforSequential
Recommendation
LIPan1,2,XIEQing1,2,LILin1,LIUYongjian1,2
(,WuhanUniversityofTechnology,Wuhan430070,China;
,Chongqing401135,China)
【Abstract】Mostoftheexistingsequentialrecommendationalgorithmsbasedongraphneuralnetworkonlyfocusonthestructural
informationofuser’sinteractionwithitems,andthelearningofsequencepreferenceonlyinvolvesthesequenceofinteractiveitems,
whichlacksthecontentinformationoftheitemsthemselvesandtheeffectiveutilizationofuser’sinformation,anddoesnotminethe
,thispaperproposesasequentialrecommendationmodelbasedon
knowledge-,knowledgegraphisintroducedandiscombinedwithuser’sinteractiondatato
constructcollaborativeknowledgegraph,whichcanobtainitem’ssemanticrelevantauxiliaryinformationanduser’srelevantauxiliary
,thealgorithmusesgatedgraphneuralnetworkand
user’
items’vectorsastheglobalsequencepreferencebyusingattentionmechanism,andtherecentlyinteractiveitemistakenasthecurrent
’ssemantic
,whichareAmazon-Book,
Last-FMandYelp2018,
algorithminhitrate(******@K)andnormalizeddiscountedcumulativegain(******@K)metricsaresignificantlyimprovedcompared
,******@%,%and
%******@%,%%respectively.
【Keywords】sequentialrecommendation;graphneuralnetwork;knowledgegraph;recommendationsystem;userbehavior;deep
learning
————————————
基金项目:重庆市自然科学基金(cstc2021jcyj-msxmX1013);湖北省重点研发计划项目(2021BAA030)
作者简介:李盼(1997-),女,硕士研究生,主研方向为推荐算法;解庆(通信作者),博士,副教授;李琳,博士,教授;
刘永坚,学士,教授。E-mail:li_******@
:.
计算机工程
DOI:.1000-
0概述基于CNN的序列推荐不能有效地捕获长期依赖关
系,这限制了基于卷积神经网络的序列推荐的研究
在信息爆炸时代,推荐系统被广泛用于各个领进展。
域,帮助用户从海量信息中发现可能感兴趣的内容。推荐算法的一大挑战是从用户/项目的交互中
传统推荐,以静态的方式对用户行为进行建模,只学****有效的用户/项目嵌入表示,由于用户/项目交互
能捕获用户的静态偏好。然而在现实世界,用户的信息本质上具有图结构,而近年来,图神经网络
偏好随时间动态变化,用户与项目的交互存在一定(GNN)技术在表示学****中的优势引起了人们的广
的序列关联,因此,序列推荐将用户和项目的交互泛兴趣,因此在推荐系统中利用图神经网络的方法
视为一个动态序列,并将序列相关性考虑在内,以正在蓬勃发展。GNN可以捕获项目的复杂转换,而
捕获用户最近的偏好,获得更准确的推荐[1]。
以前的常规序列方法很难揭示这些转换。文献[8]提
早期的序列推荐,采用频繁模式挖掘或者马尔出SR-GNN模型,该模型为每个会话序列构造有向
可夫链方法。近年来,深度学****在图像处理、自然会话图,在两个连续点击的项目之间存在有向边,
语言处理和语音识别等领域取得了突破性进展,已并在序列图上通过GNN方法捕获序列知识。文献[9]
经成为人工智能的一个热潮,为推荐系统的研究带提出GC-SAN模型,采用与SR-GNN相同的图构造
来了新的机遇[2]。循环神经网络(RNN)具有序列
和信息传播策略,并且使用自注意力机制来生成会
建模的天然优势,因此在序列推荐中经常使用RNN话表示,该会话表示可以捕获序列中项目之间的更
的两种变体,即长短期记忆网络(LSTM)和门控循多交互。文献[10]考虑用户的重复交互行为,除利用
环单元(GRU)。文献[3]将GRU应用于基于会话的会话序列图的有向结构信息外,同时利用其无向结
推荐,该模型将用户点击序列依次输入GRU模型构信息,并引入注意力机制,以达到更准确的推荐。
中,预测下一个点击的项目。文献[4]利用数据增强基于GNN的序列推荐虽然在一定程度上提高
和一种解决输入数据分布变化的方法,进一步改进了推荐的准确性,但该模型仅关注项目的序列相关
了基于RNN的模型。性,项目序列偏好由交互顺序学****得到,并没有关
在序列推荐中,用户的短期偏好和长期偏好都注项目本身内容,也没有挖掘项目之间更深层的语
非常重要,而现有方法通常忽略了一个事实,即用义关系。其次,大部分模型在捕获序列偏好时,仅
户的长期偏好会随着时间的推移而不断发展变化,关注项目信息,忽略了用户的影响力。将用户信息
将用户长期偏好建模为静态表征,可能无法充分反整合到序列模型中,有利于进行个性化推荐。
映动态特征,因此通常将RNN结合注意力机制来更基于上述分析,本文提出了一种知识增强的图
准确地描述长期序列偏好。文献[5]提出了一种改进神经网络序列推荐方法。该方法将知识图谱引入到
的神经编码器-解码器体系结构,通过将注意力机制序列推荐模型,知识图谱和用户交互数据整合成协
整合到RNN中,同时捕获用户在当前会话中的序列同知识图谱,从中学****得到项目辅助信息和用户辅
行为和主要目的。助信息;图神经网络学****得到交互结构的序列相关
基于RNN的序列推荐模型有两方面的缺点:,利用项目辅助信息进行内容相关性的补充,利
由于过分假设序列中的任何相邻交互都相关,因此用用户辅助信息表示用户影响力,实现个性化推荐。
很容易产生假依赖关系,因为现实世界中的序列通
1相关工作
常存在不相关或嘈杂的交互;
点级依赖关系,而忽略集体依赖关系,
目共同影响下一个动作。文献[6]提出了基于卷积神深度神经网络具有天然能力,可以对不同事物
经网络(CNN)的序列推荐模型Caser,按时间和潜(如用户、项目、交互)之间的综合关系进行捕获
在维度将最近的动作建模为“图像”,并使用卷积滤和序列建模,因此在过去几年中,深度神经网络几
波器学****序列模式,采用水平和垂直卷积来捕获点乎成为了序列推荐领域的主流研究方法。
级、集体序列模式和跳过某些嘈杂项目的序列模式。随着深度学****的发展,研究人员从循环神经网
文献[7]对Caser进行改进,提出的模型网络体系结络、卷积神经网络以及自动编码器等思想中得到启
构由一堆空洞卷积层组成,可以有效地在不依赖于发,设计了能处理图数据的神经网络结构,即图神
池化操作的情况下增加感受场,并使用残差网络通经网络(GNN)。GNN利用节点之间的消息传递机
过残差块包装卷积层。但由于滤波器大小的限制,制,来捕获图结构的依赖关系,其核心是如何迭代
:.
计算机工程
地聚合来自邻居节点的特征信息,以及将当前节点层的语义相关性,即仅关注结构相关性忽略内容相
表示和其邻域信息进行集成。关性;其次,以往大部分模型仅利用项目序列建模,
在过去几年中,已经提出了许多基于图神经网将项目序列学****得到的序列偏好隐式作为用户表
络的推荐系统。将图神经网络方法应用于推荐系统征,缺乏对用户信息的有效利用。
主要以下原因:
图结构;GNN技术在捕获节点之间的连接和图形数知识图谱(KG)是一个有向图,它的每一个节
据表示学****方面非常强大。从图结构的角度看,如点代表一个实体,节点与节点之间的边表示实体之
果用户点击或购买某些项目,可看作用户和项目之间的关系。KG可以视为三元组(h,r,t)的集合,其含义
间存在一种关系,将用户和项目均视作节点,交互是头实体h和尾实体t间存在关系r,其中h∈E,r
关系视为边,则用户和项目的交互可以表示为用户-∈R,t∈E,E和R分别是实体和关系的集合。
项目二部图。对于序列推荐,同样将项目视为节点,知识图谱富含丰富的信息,可为推荐系统提供
项目按照时间顺序连接,每个项目与其后续一个项潜在的辅助信息,因此,将知识图谱引入到推荐系
目产生一条有向边,便可将一系列项目转换为序列统获得越来越多的关注。通过知识图谱表示学****br/>图,序列图可为项目间的关联性提供更大的灵活性。不仅可以快速计算两个实体间的语义相似性[15],发
在各种GNN框架中,图注意力网络(GAT),现项目之间的深层联系,而且有助于理解用户的兴
图卷积网络(GCN),门控图神经网络(GGNN)等趣,提供可解释性。
被广泛采用[11]。其中,GAT是将注意力机制应用将KG集成到推荐中大致可以分为两类:基于
于图结构,在聚合特征信息时,使用注意力机制确嵌入的方法和基于路径的方法[16]。基于嵌入的方法,
定节点邻域信息的权重;GCN是将卷积运算从图像采用知识图谱嵌入(KGE)方法,如TransE和TransR
领域推广到图数据,可以分为两大类,基于谱的方等,在保持原始图结构或语义信息的同时,为每个
法和基于空间的方法。这两种方法常用于静态推荐。实体和关系学****得到一个低维向量。基于路径的方
文献[12]开发了一种图卷积网络算法PinSage,该算法,引入了称为元路径的连接模式,元路径被定义
法结合了高效的随机游动和图卷积,以生成结合图为实体类型的序列,利用用户和项目的连接相似性
结构和节点特征信息的节点嵌入,可扩展到具有大来增强推荐。
规模的推荐任务。文献[13]对图卷积网络进行了简知识图谱本身是一种自然的图结构,因此图神
化,仅包含GCN中最重要的组件,即邻域聚合,用经网络的一些技术也能应用到知识图谱上,比如
于协同过滤,使其更适合推荐。GGNN是将循环神GCN、GAT等。文献[17]提出用于推荐系统的知识
经网络推广到图结构,使用邻接矩阵存储图节点之图谱卷积网络KGCN,利用用户特定的关系感知图
间的连接信息,利用GRU机制确定来自邻居的哪些神经网络以汇总邻域中实体的信息,它均匀采样每
信息需要传播以及需要维护的当前节点的信息,主个实体的固定大小的邻居作为其接收域,邻居根据
要用于序列推荐领域。除SR-GNN与GC-SAN模型连接关系和特定用户的分数加权。文献[18]将用户节
采用GGNN外,文献[14]也利用GGNN提出目标注点视为知识图谱中的一种实体,并将用户与项目之
意力图神经网络(TAGNN)模型,在TAGNN中,间的交互视为一种关系,与知识图谱集成为一个图,
针对不同目标项目的目标感知注意力可以激活不同采用GAT机制来充分利用实体之间的关系,通过递
的用户兴趣。归传播其邻居的嵌入来学****每个节点的嵌入,用户
在序列推荐中使用图神经网络,需要解决一些偏好的表示也通过交互项目进行迭代更新。
主要问题:,将序列数据转换为序列图;知识图谱同样能够应用于序列推荐领域。文献
,需要设计一种有效的传播机制来捕获[19]提出一种基于知识图谱的新的项目嵌入方法,获
转换模式;,对序列表示进行集成。得项目的新表示,然后设计两个LSTM分别学****用
大部分基于图神经网络的序列模型都集中于从户的长短期偏好。文献[20]将交互记录转换为知识转
序列本身推断用户偏好,建模时仅关注项目彼此之移交互序列,基于特定的关系注意力网络进一步递
间的交互顺序,忽略项目内容含义以及项目间更深归地聚合知识图中的信息,并引入知识感知的
:.
计算机工程
GRU,以自动探索项目之间的序列和语义相关性。通过在协同知识图谱上挖掘节点之间的关联属
文献[21]在KGAT的基础上,首先通过KGAT学****性来捕获节点之间的相关性。具体包括以下步骤:
得到包含丰富辅助语义信息的项目嵌入,按序列顺嵌入层,将节点参数化为向量表示;信息传递,在
序输入RNN网络中,以捕获动态的用户序列偏好。图结构上进行高阶传播;辅助信息生成,得到用户
信息和项目信息。
2模型框架

。不
在介绍模型之前,首先详细介绍涉及的一些基同于TransE、TransH将实体和关系映射到同一个语
本概念和符号。义空间,TransR在不同的实体空间和关系空间内构
令表示一组用户,建实体和关系嵌入[22]。
Uuuu{,,...,}12||U
表示一组项目,其中|U|和|I|分别表存在三元组(h,r,t),将头实体h和尾实体t分别
Iiii{,,...,}12||I
示用户数和项目数。将交互数据构建为用户-项目二映射到关系空间,得到与,在两个投影间构建
hrtr
部图GupiuUiI{(,,)|,},p表示交互关转移关系,要求满足条件。
1,uihrtrr
系,如果用户u和项目i进行了交互,则p1,,,分别表示h,t,r的嵌入向量。
ui,eeht,derm
否则p0。因此,对于给定的一个三元组(h,r,t),有如下公式:
ui,
KG的三元组集合记为
fhrtWeeWe(,,)||||rhrrt(1)2222
GhrthtErR{(,,)|,,},其中E是实体的
2其中是d维实体空间到m维关系空间
集合,R是关系r的集合,每个三元组表示从头实Wrmd
的映射矩阵。如果(h,r,t)是真实三元组的可能性越
体h到尾实体t存在关系r。
大,f(h,r,t)分数越低,反之越高。
基于项目实体对齐集,将用户项目二部图G和
1损失函数定义如下:
知识图谱G合成一个统一的协同知识图谱(CKG):
2(2)
GhrthtErR{(,,)|,,},其中EEU,LfhrtfhrtKGln((,,)(,,))
(,,,)hrtt
RRp{}。用来估量模型的预测值与真实值的不一致程
对于一个用户u,按时间戳排列交互项目,其交
度,其中{(,,,)|(,,),(,,)}hrtthrtGhrtG,
互序列作为输入,预测用户交互的
SiiiuS[,,...,]12||u是sigmoid函数。
()
下一个项目。
i||1Su

KGGNN方法模型框架如图1所示,将用户的更新当前节点,递归进行此步骤,可以捕获图结构
交互数据与知识图谱集成为一个统一的协同知识图的高阶连通性。采用图注意力网络来捕获用户与项
谱,通过图注意力网络学****得到用户和项目的向量目关系和项目与项目关系。图注意力网络在基于空
表示,以利用知识图谱不同实体之间的深层语义相间域的图神经网络中引入注意力机制,每个节点仅
关性和高阶依赖性;对于每个用户,基于其交互序需关心与之相连的邻居节点,无需关心整张图,邻
列,构建序列有向图,在两个连续点击的项目之间居节点的信息权重由注意力机制决定。
存在有向边,然后通过门控图神经网络获得序列中对于一个实体h,其相连的三元组集合可定义
节点的向量表示,并利用从协同知识图谱中获得的为NhrthrtG{(,,)|(,,)},N可表示为:
hh
用户辅助信息进行补充;通过注意力机制组合节点(3)
ehrteNth(,,)hrtN(,,)
向量作为全局序列偏好,然后融合本序列的当前兴h
趣表示以及用户向量表示,形成最后的统一序列偏其中(,,)hrt表示邻居节点t在边(h,r,t)上传播
好表示。最后,利用项目辅助信息,模型预测每个的衰减因子,表示从实体t到实体h由关系r传播的
项目成为下一个点击项目的概率。信息量。通过关系注意力机制实现(,,)hrt:

:.
(3)
(2)
*
(1)
e
(0)
(0)
e

i
LinearTransformation
ee
i
e
(3)
e
i
Attentionembeddingi

y
propagation
i(2)
i
(1)
*
(0)e
u
(0)
LinearTransformation
e*
u
e
e
eu
e
Attentionembedding
u
Unified
propagationue
u
Representation
u
u
s
i
i
GatedGraphNeuralNetwork
gLinearTransformation
5
AttentionNetwork
1
s
i
iiiiiiii
ii
12343254
l
3
...
...
24
...
计算机工程
图1KGGNN的总体框架

(,,)()tanh(())hrtWeWee(T4)eee(0)()||...||l(9)
rtrhrkkk
其中||是级联运算,ed,
(5)k
(,,)hrtexp((,,))hrt。使用一个全连接层:
exp((,,))dddd(0)(1)()hrt...l
(,,)hrtN
h(10)
eeWbkkss
其中,tanh是激活函数,公式(5)是对实体h与
其中Wsdds,bsds,ds是序列建模时
其每个相邻实体之间相关得分的归一化,用来区分
的维度。
邻居的重要性。
通过多次嵌入传播,将用户-项目关系以及项目
对实体表示eh和其邻域表示e进行合并,作
Nh-项目关系注入到表示学****过程中,获得一个新的实
为下一层实体h的新表示:
体嵌入集Eeee{,...,},从而获得用户和项目
12||E
eWeeLeakyRelu(())(6)的新表示eu和ei,即用户辅助信息向量和项目辅助
hhN1h
LeakyRelu(())Wee2信息向量。hNh
其中,LeakyRelu是激活函数,dd(1)
WW12,
可训练的权重矩阵,⊙表示元素对应相乘。门控图神经网络是基于门控循环神经网络的空
以上是进行一次传播时实体的一阶表示。进行间域信息传播模型,天然适合挖掘单元之间的复杂
多次传播探索高阶连接信息,收集从高跳邻居传播过渡。采用类似GRU的更新,合并来自其它相邻节
的信息。第l次传播后,实体h的l阶表示定义为:点以及前一个时间步的自身节点信息,以更新当前
时间步节点的向量表示。
eWeehhN()()(1)()llllLeakyRelu(())(7)1
对于每条交互序列,将其转换为有向图,在两h
LeakyRelu(())Wee2()(1)()lllhN
个连续点击的项目之间存在有向边。假设存在h如图
实体h的l阶邻域信息表示为:2(a)所示的序列,则可以表示
iiiii12324
(8)为图2(b)的序列图。该图的连接信息可存储为由出
ehrteNt()(1)llh(,,)
(,,)hrtNh
度邻接矩阵Aout和入度邻接矩阵Ain组成的邻接矩
其中e(1)l是实体h相关联的实体t的l1阶表
t阵A,如图2(c)。由于序列中可能出现多个重复点
示。
击的项目,所以需要给每条边的权值进行权重分配。

vk表示通过门控图神经网络学****到的关于项目
在经过l次传播操作后,获得节点的多阶表示,[23,24]
ik的隐含向量。在门控图神经网络的节点更新
对于用户节点有(1)()l,对于项目节点有
{,...,}eeuu基础上进行改进,利用从协同知识图谱获得的其对
(1)()l。
{,...,}eeii应的用户辅助信息向量,从而加入个性化信息。
对于每个节点,采用聚合机制将多阶表示连接eu*
对于序列图中的节点ik,节点向量的更新如公式
为一个向量,如下所示:
:.
ii
iiiiii
33
124124
i
in
iiiii
i
112324
1
1
iout
(a)交互序列
i
2A
1/21/21/21