文档介绍：网络天地一未斤七全渗己图书佗官 2007 年第 5期残析潜在语义合析的原理众其应用王宁(安徽行政学院图书馆) 【摘要】潜在语义分析(Ls A)是一种自动实现知识提取和表征的理论和方法论文着重介绍了LS A的基本思想特点实现方法主要应用和研究前景【关键词1 潜在语义分析向量空间模型奇异值分解【 Ab tra川 h S m i A al yi(LS A) 1 m vl l y tomatith 巧 d m th d fth qiii an dre pre tai f k wld g Th i p p itro d h b iidas hara i m pl m ati m th d m i P pl i ati an drearc hfore脚 d fLS A 【挽 yw dl La s m iA al yi(LS A) v to s p Mdl(V SM) S i, lar Val D m p ii (S VD) 潜在语义分析简介自 1990年有学者提出了潜在语义分析(La tentSe mantic An街 sis 缩写为LS A) 这一自然语言处理的方法后在自然语言理解文本分析信息过滤情报检索等领域得到了广泛的应用潜在语义分析(LS A)是一种关于知识归纳和知识表征的新理论也是分析文本语料库确定词汇意义与短文意义之间相似度的一种方法通过对大量出自原有的语料库或高维度的语义空间的机读语言样本的处理LS A能对所使用词汇词串(包括句子段落或短文)做出表征通过收集包含或不包含所给出词汇的词汇语境得出一整套共同的约束原则从而可以在很大程度上确定词汇间和词串间的相似度 11 LS A的基本思想潜在语义分析的出发点就是文本中的词与词之间存在着某种联系即存在着某种潜在的语义结构这种潜在的语义结构隐含在文本中词语的上下文使用模式中因此可以采用统计计算的方法对大量的文本集进行分析来寻找这种潜在的语义结构它不需要确定的语义编码仅依赖于上下文中事物的联系并用语义结构来表示词和文本达到消除词之间的相关性简化文本向量的目的通过LS A表征词汇意义和段落意义LS A能够模拟人类认知现象潜在语义分析为贯穿段落和语境的词汇之间的相互关系采取了预处理措施它通过对词在段中重要性的评估给每个词的出现频率加权从而了解一个词所能提供的段落信息 12 巧 A的深层含义作为一种词义表征的实际方法LS A是测量词一词词一段段一段之间关系的重要尺度在与联想或词义相似度有关的人类认知现象中这些非常紧密的关系表明LS A所提取的信息与人们对所读到的东西和所听到的东西的意义表征之间存在着很大的相似度即存在着LS A所提取的信息与人们在写作时对词汇的选择意义表征之间的相似度作为这种相似度的一个实际结果LS A使人类能够对词义之间的相似度进行判断能客观地预测基于词汇的段落之间的相似度并对篇章加工过程做出评估 LS A具体表现在两个方面首先LS A使用的原始数据不是临近出现的两个词或三个词而是基于意义的大量文本(句子或段落)中出现的词汇所表现出来的详尽模式这些句子或段落被视作为一个整体其次LS A表示的是出现在所有段落中一个词的意义的平均意义或者一个段落中包含的所有词意的平均意义巧 A能否同时表示这两种相关意义依赖于所使用的数学方法LS A认为同时表征所有词汇语境关系的维数选择是非常重要的通过减缩观察数据的维