文档介绍：第 ４２ 卷 第 ２ 期 大 连 交 通 大 学 学 报 Ｖｏｌ． ４２ Ｎｏ． ２
２０２１ 年 ４ 月 ＪＯＵＲＮＡＬ ＯＦ ＤＡＬＩＡＮ ＪＩＡＯＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ Ａｐｒ． ２０２１
文章编号：１６７３- ９５９０（２０２１）０２- ０１０９- ０５
注意力孪生网络在生物医学文本相似性上的应用
安宏达１，李正光１，２，吴镝１，郑巍１
（１． 大连交通大学 软件学院，辽宁 大连 １１６０２８；２． 大连理工大学 计算机科学与技术学院，辽宁 大连
１１６０２３ ）*
摘 要：将注意力机制引入到孪生网络中，利用注意力机制提取词的权重并影响孪生网络输出的语义特
征，降低输入序列的噪音，而加强了两个序列的相互关系，从而提高改进孪生网络的性能． 在两个生物医
学文本相似性语料上（ＳＩＣＫ 和 ＤＢＭＩ）的实验结果表明，注意力机制的孪生网络对评估文本相似性的性
能有大幅度的提升（在 ＳＩＣＫ 和 ＤＢＭＩ 数据集上，皮尔森相关系数相对于基线分别提升了 ０． ２３ 和 ０． ７）．
关键词：文本相似性；孪生网络；注意力机制；词嵌入
文献标识码：Ａ ＤＯＩ：１０． １３２９１ ／ ｊ． ｃｎｋｉ． ｄｊｄｘａｃ． ２０２１． ０２． ０２１
近年来，随着医学信息的快速发展积累了越 虽然优于信息检索和词频共现的方法，但是它仍
来越多的医学文本，然而在这些庞大的数据中 有很大的提升空间． 注意力机制可以对孪生网络
经常会有很多语义相近但文本描述却截然不同 输出的两个语义特征再次加工，将与语义相关的
的句子，这无疑给医学研究带来很多不必要的 特征放大，把无关的噪音缩小，这无疑可以提高预
麻烦． 文本语义相似性评估成为解决这一问题 测的准确率． 注意力机制主要可分为自注意力机
［５］
的主要技术． 制 和交互式注意力机制． 自注意力机制可以将
文本相似性，指的是对文本或句子之间相似 自身文本中有用的部分扩大，无用的部分缩小，以
程度的评价． 最早的评估方法主要利用信息检索 此让模型快速学****到有用的特征，其主要应用在
［１］ ［６］
技术 等从文档中抽取文本结构，然后预测文本 文本分类 、命名实体识别等任务． 交互式注意
相似性． 除此之外，还有词频共现自动评估算 力机制则是增强两个句子间的相关语义特征，以
［２］
法 、单词（或字）与文本混合评估、短文本语义 提高两个句子间语义相似的部分．
［３］
相似性抽取 等方法． 这些方法都是通过检索或
者神经网络的方法分别抽取两个句子的相似特征 １ 实验方法
进行比较，但是这些方法只是单独抽取每个句子 本文提出了一种基于注意力机制的孪生网
的相似特征，在抽取特征时没有考虑到两个句子 络，网络结构如图 １ 所示． 整个网络结构可分为输
间的影响． 入层、嵌入层、孪生网络层、注意力层和语义距离