文档介绍：东南大学
硕士学位论文
基于查询扩展的主题搜索引擎系统的设计与实现
姓名:李仁勇
申请学位级别:硕士
专业:计算机软件与理论
指导教师:邓建明
20070608
摘要本文使了开源的系统作为格式化趁媸莸乃饕骱图焖髌鳎诿患浦本文设计了一个主题爬虫效果实验和一个主题搜索引擎系统仿真实验并完成了这两个实验。为了解决搜索引擎中的语义不匹配问题,本文在总结信息检索中奔询扩展技术基础上,。由于主题搜索引擎处理的是趁集,主题词库的人,汗菇ǚ瞥@眩疚牟捎肳挖掘技术自动构建选定的主题领域的词序并使构建出来的主题词序进行查询扩展。要构建主题词库,就需要挖掘出网站中蕴含的层次结构信息。为此本文提出了二种网站层次化方法来完成此项鹤鳌H址椒ǚ直鹗腔谟蛎掷嗵逑档耐静愦位椒ā⒒⊥站文件目录体系的网站层次化方法和基丁二语义块识别和模板提取与过滤技术的网站层次化方法。第二种方法的实现过程要利用前两种方法,该方法能够获得网站中各趁娴挠义块之间的层次结构表示。此外,本文设计了一个专用爬虫自动完成对网站的层次化,然后从网站的层次结构中抽取出主题检索词之间的上下层次关系和共现关系,构建山主题词库,以供夯洵扩展使用。主题爬虫模块是整个主题搜索引擎系统的核心。为了提高主题搜索引擎系统的卉全率汞夯准率,本文对现有的主题爬虫模块进行了如下改进:捎迷K阉骷际趵刺岣咧肿友≡,引入了语义块提取和网页模板过滤等技术米预测闹魈庀喙匦裕在对谋窘行表示时,采舜昵┤ㄖ氐南蛄靠占淠P停提供了主题搜索系统中的隧道穿越问题的解决方法。题搜索引擎系统时,为用户查询代理模块添加了查询扩展功能。为了检验本文方法的有效性,实验结果表明本文的主题爬虫相对于基于瓼惴ǖ闹魈馀莱嬖谛阅苌匣竦昧艘欢的提高;基于本文构建词库的查询扩展的主题搜索引擎,在赉全率和查准率方面总体上要优‘笻渌谎┱辜际趸虿皇褂貌檠┱辜际醯闹魈馑阉饕妗总体来说,本文所设计的系统基本达到了预期的设计目标。关键词:主题搜索引擎查询扩展主题词库构建网站层次化
.....,.瓵..,
签名:垄堡望日期:至独创性声明及使用授权说明东南大学学位论文一、学位论文独创性声明二、关于学位论文使用授权说明签名:本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送存论文。本人电子文档的内容和纸质论文的内容相一致。。交学位论文的复印件和电子文档,可以采用影印、缩印或其他复制手段保保密论文外,允许论文被查阅和借阅,可以公布ǹ论文的全部
第一章引言研究背景和意义随着的高速发展,网上信息迅速膨胀。目前,世界上绝人多数国家和地区已也越来越丰富,而且很多服务都采了幽形化界面并予以集成,以方便户的使已逐渐成为上最重要的信息发布和交互方式。从户的观点看,且桓鋈菽筛髦掷嘈托畔⒌募希庑┬畔⑼烈R訦狙联网行业继续年上半年快速发展的态势。其中网民人数、上网计算机数达剑了总数达剑了个,。招生就业信息、科研项目和成果介绍;可以检索图书情报机构的服务功能、目录索引、电的格式,并按类型或学科进行分类,便于检索、便于利用。上的网络信息具有以经开通了,它已成为在全球范围内传播和交流科技信息,教育信息、商业乘缁嵝息的展主要的渠道,成为人们鹤鳌⒀昂蜕钪胁豢扇鄙俚男畔⒒袢:具。另一方面,上的府川服务纾篧服务、远拜登录、文俐:传输、电子彳,5。而全称万维网,裨诙兰途攀甏衅谝院蟮剑迅速发展,系膚服务器以每年翻儿番的速度增加】。袷悄壳奥閩展为胺旱腎瘢芄辉贗戏奖憧旖莸劁篮痛ǖ莘植加谕绺鞔Φ奈字、图像、卢音和谋拘畔ⅲ捎谄渲惫郏虻ァ⒏咝У氖褂梅绞胶头岣坏谋泶锬芰Γ编写的文本形式,分布在世界各地的衿魃希ü唇咏黤O灯鹄础户使用专娜砑翠篮徒馐蚖文本,经浏览器解释后的谋疽砸趁娴男问较允驹屏幕上。本文研究的是对系恼庑￤超文本资源的处理。谥泄姆⒄顾俣纫彩志H恕8軨泄チM缧畔⒅行年月日在北京发布的最新的《中国互联网络发展状况统计报告》,统计报告显示:中国互万人、万台,%;中国域名总数达剑,个,其中卜⒉岬挠蛎锏。觯肴ツ晖谙啾龋龀ち%;中国嘲站目前,各类机构和个人纷纷建立荆蛏缁岱⒉即筌毙畔ⅲ髦址穸肌甞现山网络化的趋势。户可以通过它们去了解各个公