文档介绍：北京大学信息科学技术学院·网络实验室硕士学位论文
北京大学
硕士研究生学位论文
题目:海量文档高速检索系统的设计与实现
姓名: 谢翰
学号: 10280040
系别: 信息科学技术学院
专业: 计算机软件与理论
研究方向: 网络与分布式系统
导师: 李晓明教授
二零零五年六月
1
北京大学信息科学技术学院·网络实验室硕士学位论文
版权声明
任何收存和保管论文各种版本的单位和个人,未经本论
文作者授权,不得将本论文转借他人,亦不得随意复印、抄
录、拍照或以任何方式传播。否则,引起有碍作者著作权益
之问题,将可能承担法律责任。
1
北京大学信息科学技术学院·网络实验室硕士学位论文
摘要
搜索引擎的检索效率是评价搜索引擎质量的一个重要指标,面对互联网上信
息量的不断增加以及搜索引擎网页库的不断增大,对检索系统性能要求也越来越
高。本文详细介绍了一个搜索引擎检索系统的设计与实现,针对搜索引擎检索系
统的性能问题进行了研究,讨论了影响检索性能的几个因素,并分别提出改进的
方法和途径。这些方法包括设计出结构更加良好的倒排文件结构,改进整数压缩
编码,引入倒排文件 cache,预先计算关键词与文档相关度,减少关键词相对位
置计算开销,改进站点聚类算法等。
另外,论文还阐述了系统中使用的新的相关度计算方法,这个算法使得在最
终的结果排序上比原有系统有了一些改进。论文的组织形式以实际系统中各模块
为主线,这些模块包括倒排文件结构,底层数据接口,查询,计分和站点聚类等。
在论文最后给出了系统的综合测试结果,指出系统中还存在的不足,并对后续工
作提出了一些建议。
关键词:搜索引擎,检索系统,倒排文件,检索效率,相关度计算
2
北京大学信息科学技术学院·网络实验室硕士学位论文
The Design and Implementation of a High
Performance Retrieval System
XIE puter Software and Theory)
Directed by LI Xiaoming
Abstract
The performance of retrieving is crucial for modern search engine. This article
introduces the design and implementation of a retrieval system for web search engine.
Especially, we will discuss the factors that affect retrieval performance, and give the
solutions for each of them, such as designing a new format for inverted file and a new
encoding algorithm for integers, introducing cache for the index, puting the
similarity of terms and documents, and designing a better site grouping algorithm. A
new ranking algorithm used in the system will be discussed too. The article is
organized by modules, including inverted file, data interface, query, scoring and site
grouping. In the last chapter we will make an overall evolution, and some advices for
its further improvement will be given.
Keywords: search engine, retrieval system, inverted file, performance, ranking.
3
北京大学信息科学技术学院·网络实验室硕士学位论文
目录
第 1 章绪论..........................................................