文档介绍：万方数据
:
万方数据
学位论文作者签名:圣逊论文作者签名:%鹫型际η┟憾痴大连海事大学学位论文原创性声明和使用授权说明不保密/朐谝陨戏娇蚰诖颉啊蹋密口在——年解密后适用本授权书。原创性声明学位论文版权使用授权书日期:撰写成硕士学位论文基王圈终爬虫的圈站焦星墨塞堇盔婴塞:。除论文中已经本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学つ闕『月,本人郑重声明:本论文是在导师的指导下,独立进行研究工作所取得的成果,注明引用的内容外,对论文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或未公开发表的成果。本声明的法律责任由本人承担。位论文的规定,即:大连海事大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版,允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕士学位论文全文数据库》泄跗诳光盘版缱釉又旧、《中国学位论文全文数据库》泄蒲Ъ际跣畔⒀芯克等数据库中,并以电子出版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。本学位论文属于:保
万方数据
摘要为用户提供多种形式的信息,例如文本、音频、视频等。随着时间的推移,互联各行各业优秀代表人物,因而开始受到越来越多的关注。因此本文提出运用一定迪郑涸鹜瓿啥阅勘暾镜愕耐巢杉恍畔⒊槿∈腔贘和关键词:信息采集;信息抽取;网络爬虫;随着互联网的迅速普及发展,它已经逐渐融入人们日常生活的方方面面。其中侨嗣窃诨チM匣ハ喙低ā⒒袢⊥饨缧畔⒌闹匾M揪丁W魑R桓龊苡屑值的信息来源,窘杵渲惫郾憷氖褂梅绞揭约***岣坏哪谌荼泶锬芰Γ梢网的信息规模及其用户群体规模也在快速增长。互联网用户的需求正在变得越发多样化,如何为用户快速地提供其所感兴趣的信息是目前的一大难题。如今自媒体已经在互联上逐渐开始兴起,并且其规模越来也庞大,其中不乏的技术手段实现对百度百家这一自媒体平台完成采集其站点内的文章内容。然后对所采集的文章内容进行重新组织,以利于对这些内容的二次利用。围绕这一目标,本文提出了基于网络爬虫的网站信息采集技术的整合方案的设计与实现。本文提出的基于网络爬虫的网站信息采集技术的整合方案包括信息采集、信息抽取、信息检索这三部分。其中信息采集是基于爬虫的扩展岷际跛迪郑涸鹜瓿纱油持谐槿∥恼滦畔⒈4嬷潦菘庵校ǚ墙峁够信息转化成结构化信息:信息检索是基于索引工具以及架构所实现,负责向呈现所采集的文章信息,便于用户浏览。中文摘要
万方数据
.,瑅瑆甌,,瑂琲琤英文摘要琲瓵,,.,篿,,;;籋’琱甌.,,.
万方数据
目录第滦髀邸课题背景及研究意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯杉际跹芯肯肿础畔⒊槿〖际跸肿础本文研究的主要内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯论文结构安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第峦拘畔⒉杉喙丶际跹芯俊网络爬虫相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.缗莱娼樯堋樯堋介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..网页信息抽取相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..趁婀钩山樯堋鹘樯堋馕銎鹘樯堋文件索引相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...募焖骷际踅樯堋介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..系统开发相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..蚣芙樯堋框架介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.蚣芙樯堋技术介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..第禄谂莱娴耐拘畔⒉杉际跽仙杓啤网站信息采集技术整合设计概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..针对爬虫的扩展设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯爬虫的技术难点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..贖呐莱胬┱股杓啤基于目墒踊畔⒊槿∩」嬖蚨ㄒ濉.
万方数据
.贚隨男畔⒓┱」⒊槿≈葱猩杓啤基于和的信息检索设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.体系整合策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯体系整合设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯体系整合特点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.杉畔⑹菘馍杓啤本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第禄谂莱娴耐拘畔⒉杉际跽鲜迪帧网站信息采集技术整合应用开发环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一