文档介绍：北京工业大学
硕士学位论文
基于石河子大学校园网的搜索引擎系统的设计与实现
姓名:杜文军
申请学位级别:硕士
专业:软件工程
指导教师:朱青;陈卫东
20090401
摘要互联网的迅速发展使信息检索的环境发生了重大变化,搜索引擎的出现改变了人们对信息的使用习惯,提高了信息的使用效能,成为一个新的研究、开发领域。但面对大多数校园网是内网的情况,大型通用搜索引擎往往处理不到,校园网搜索引擎服务已经成为高校校园内最重要的服务之一。本文在研究阉饕娴幕驹怼⒑诵募际鹾痛砹鞒痰幕∩希岷校园网搜索引擎的个性化需求,搭建了石河子大学校园网搜索引擎系统。不仅完成了整个搜索引擎框架的设计,而且基本上完成了所有的开发工作。本文论述了系统开发的背景和国内外搜索引擎技术发展现状,详细阐述了该系统的开发过程和方法,并分析、讨论了影响搜索引擎检索性能的相关技术。通过对搜索引擎中常用排序算法的比较分析,结合校园网的特点和用户需求,提出了/胍趁姘媸胶屯巢愦沃导尤ㄇ蠛偷耐诚喙囟人惴āW詈蠖韵低辰了综合测试和评价,达到了较好的预期效果。与传统搜索引擎相比,在校园网内部,检索效率得到优化,并有效控制了搜索过程中“主题漂移”的现象。为迸一步学习、研究和应用搜索引擎、文本挖掘等技术起到积极作用。关键词搜索引擎;网络爬虫;排序算法;相关度
籖籥甌琖..篠;疭.,,琒,’瓸瑃甎.,瑃./,,瑃‘‘’’。..
导师虢塞耄陲如期:独创性声明关于论文使用授权的说明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名:本人完全了解北京工业大学有关保留、使用学位论文的规定,即:学校有权保留送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部或部分内容,可以采用影印、缩印或其他复制手段保存论文。日期:
第滦髀国内外搜索引擎发展现状搜索引擎是伴随姆⒄苟杆俜⒄沟囊恢旨际酢K砸欢ǖ牟呗栽纤鸭头⑾中畔ⅲ诙孕畔⒔写砗妥橹螅S没峁￤信息查随着互联网的发展,互联网中网页信息量随之增加,互联网上各种搜索引擎也比较多,但最出色的有如下几个:、、等。目前搜索引擎已经成为继笕嗣怯玫米疃嗟耐闲畔⒎裣低常加ヒ陨系用户利用阉饕嫒ゲ檠疻上的有用信,息K阉饕嬉成为一个新的研究、开发领域,了解、研究、应用搜索引擎具有广阔的发展空间。因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术,所以具有综合性和挑战性。又由于搜索引擎有大量的用户,有很好的经济价值,所以引起了世界各国计算机科学界和信息产业界的高度关注,目前的研究、开发十分活跃,并出现了很多值得注意的动向。目前搜索引擎领域的商业开发非常活跃,各大搜索引擎公司都在投巨资研制搜索引擎系统,同时也不断地涌现出新的具有鲜明特色的搜索引擎产品,搜索引擎已经成为信息领域的产业之一。在这种情况下,对搜索引擎技术相关领域的学术研究得到了大学和科研机构的重视。如大学在其数字图书馆项目中开发了搜索引擎,在畔⒌母咝阉鳌⑽牡档南喙囟绕兰邸⒋蠊婺K引等方面作了深入的研究,取得了很好的成果。拦芯克腟年在《自然》和《科学》杂志上撰文对搜索引擎技术的研究进行评述。著名的信息检索会议也从年开始增加了翁猓钥疾靪文档与其它类型文档在检索性质上的不同之处,并将测试在大规模的如字节辖行畔⒓焖鞯乃惴ㄐ阅堋由美国公司主办的搜索引擎国际会议从年开始,每年举行一次,对搜索引擎技术进行总结、讨论和展望,参加者有著名的搜索引擎公司、大学和研究机构的学者,对搜索引擎技术起到了很好的推动作用。另外像拦缙偷缱庸こ淌π主办的国际万维网会议、人机交互会议已有越来越多关于搜索引擎技术研究的文章发表。搜索引擎窃谝蛱赝占暗拇蟊尘跋掠υ硕忠焉透到各个行业:成为继笕嗣怯玫米疃嗟耐闲畔⒎裣低常凰阉饕娴询服务。和甃年和年连续两
系统开发背景界各国计算机科学界和信息产业界的高度关注;成为一个新的研究、开发领域。了解、研究、应用搜索引擎具有广阔的发展空间。随着窦际醯难杆俜展,一些卤曜己托录际醯玫搅巳诤希缫贫国内的搜索引擎起源于“中国教育科研网”这项工程的子项目。中文搜索引擎作为国家重点科研建设项目其基础理论研究工作起步较晚,从世纪末爿‘真币丌始立项。但是发展速度很快,理论水平己基本上赶上。另外,由于中文构词法与英文等语言相异,必须采用相应的分词程序,而国内的科研机构和商业团体在这方面的研究有着得天独厚的优势。因此国内对搜索引擎的研究工大学、国