文档介绍：XXX硕士研究生学位论文
题目:结合语义相似度的链接分析
姓名:
学号:
院系:信息科学技术学院
专业:计算机软件与理论
研究方向:计算机网络与分布式系统
导师: 教授
2006 年 5 月
版权声明
任何收存和保管本论文各种版本的单位和个人,未经本论文作者同意,不得将本论文转借他人,亦不得随意复制、抄录、拍照或以任何方式传播。否则,引起有碍作者著作权之问题,将可能承担法律责任。
摘要
链接分析技术作为文本分析和日志挖掘技术的有效补充,被广泛应用在主题提取、网页分类、资源发现等诸多Web信息处理任务和服务中。由于Web的巨大、动态变化和复杂,给链接分析技术带来了很大的挑战。
链接表达了网页间复杂而隐蔽的关系。为了更有效的进行链接分析,需要细致的考察并区分对待不同的链接关系(后面如何体现???)。在本文中我们研究了链接网页间多种属性,包括网页的入度、出度分布,内容相似度和链接相似度等,并且引入了语义相似度的概念。语义相似度描述了网页表达的潜在主题间的相似程度。它与内容相似度和链接相似度相关却又有很大差别。它更精确的刻画了链接网页间语义上的关联程度。
我们用语义相似度作为区分链接权重的标准,并将它应用在PageRank的改进中。在PageRank的基本框架下,我们提出了如下假设:浏览者在选择链接浏览下一网页时,他以更大的概率选择与当前网页主题相似的网页链接;并且网页间的语义相似度恰好刻画了网页间主题间的这种相似程度。
直接计算网页间的语义相似度是困难的。为此我们计算了链接网页间的内容相似度和链接相似度,并结合当前的研究成果探索了三者间的联系。我们发现CWT100g链接网页间的内容相似度和链接相似度的Pearson ,并且在实验中使用不同的函数来模拟语义相似度和内容相似度之间的关系。实验证明,改进后的PageRank排序在主题提取任务中优于改进前的PageRank排序。
关键词:万维网,搜索引擎,链接分析,语义相似度,PageRank
Abstract
Techniques for hyperlink analysis are widely applied to various Web information processing tasks ranging from topic distillation, web page clustering, to resource discovery. Because of Web’s immensity, dynamics plexity, it’s a great challenge to conduct effective hyperlink analysis.
Hyperlinks plex and latent relationships between web pages. It would bring great efficiency promotion if we take serious considerations to these relationships. In this paper, we study various features of hyperlinked web pages including indegree and outdegree distribution, content similarity, link similarity and etc. And we introduce the concept of semantic similarity which describes the likeness of the latent topics behind web pages in semantics. Semantic similarity is related to content similarity and link similarity, but more precisely describes the semantic relationship between hyperlinked web pages.
We use semantic similarity as the criterion of hyperlink weight and apply it to the improvement of PageRank. Our hypothesizes are when a surfer traverses a hyperlink from the current web page he is reading, the probability of