文档介绍：搜索引擎技术
随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找自己所需的信息，就象大海捞针一样，搜寻引擎技术恰好解决了这一难题。搜寻引擎是指互联网上特地供应检索服务的一类网站，这些站点的服务器通过网络搜寻软件或网络登搜索引擎技术
随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找自己所需的信息，就象大海捞针一样，搜寻引擎技术恰好解决了这一难题。搜寻引擎是指互联网上特地供应检索服务的一类网站，这些站点的服务器通过网络搜寻软件或网络登录等方式，将Intemet 上大量网站的页面信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索作出响应，供应用户所需的信息或相关指针。用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特别信息的检索。下面以网络搜寻机器人为例来说明搜寻引擎技术。
1．网络机器人技术
网络机器人(Robot)又被称作Spider、Worm或Random，核心目的是为获得Internet上的信息。一般定义为“一个在网络上检索文件且自动跟踪该文件的超文本结构并循环检索被参照的全部文件的软件”。机器人利用主页中的超文本链接遍历WWW，通过U趾引用从一个HTML文档爬行到另一个HTML文档。网上机器人收集到的信息可有多种用途，如建立索引、HIML文件合法性的验证、uRL链接点验证与确认、监控与获得更新信息、站点镜像等。机器人安在网上爬行，因此须要建立一个URL列表来记录访问的轨迹。它运用超文本，指向其他文档的URL是隐藏在文档中，须要从中分析提取URL，机器人一般都用于生成索引数据库。全部WWW的搜寻程序都有如下的工作步骤：
(1)机器人从起始URL列表中取出URL并从网上读取其指向的内容；
(2)从每一个文档中提取某些信息(如关键字)并放入索引数据库中；
(3)从文档中提取指向其他文档的URL，并加入到URL列表中；
(4)重复上述3个步骤，直到再没