文档介绍：搜索引擎技术介绍目录一、搜索引擎总体介绍二、爬虫技术介绍三、中文分词和排序算法介绍四、查询/存储技术、CacheServer介绍五、内部、外部监控系统介绍六、移动通信运营商搜索引擎独特优势一、搜索引擎总体介绍(一)搜索引擎定义“搜索引擎”技术,完全来源于历史悠久的全文检索技术。 “搜索引擎”从字面上可拆分为“搜”、“索”、“引擎”三个含义。“搜”就是大量信息的抓取,抓取回来后的信息进行智能提取、排重、质量分析等处理。“索”就是大量处理后信息的存储、信息排序、快速查询等。“引擎”就是指系统不但能存储亿级的数据,而且还能有巨大的并发处理能力,这样的系统才有资格被叫着“引擎”。一、搜索引擎总体介绍(二)搜索引擎和移动搜索引擎搜索引擎也可以看成为“专家系统”,通过把数百亿互联网网页所提供的信息,作为其庞大的“知识库”,通过用户的输入词,找到相关信息。从技术上来讲,基于手机的移动搜索引擎,在其技术上和搜索引擎是完全一样的。用户查询信息的媒体,由PC被手机替代,可以随时随地提供搜索服务,用户更方便地进行信息查询。并且,手机的用户群体是远大于PC用户群体,所以,移动搜索引擎肯定是搜索引擎领域未来发展的重点和方向。一、搜索引擎总体介绍(三)搜索引擎主要核心技术: 搜索引擎主要核心技术为: (1)中英文分词语言处理; (2)排序算法; (3)网络爬虫; (4)查询/存储技术开发搜索引擎系统主要涉及到的具体技术为: (1)http网络协议. (2)多线程技术. (3)socket通信. (4)、搜索引擎总体介绍(四)系统图:一、搜索引擎总体介绍(五)全文检索系统和搜索引擎关系:1、搜索引擎技术来源于全文检索系统,、搜索引擎在数据总量,最大并发处理能力,单次查询速度方面,、搜索引擎为了最求最高的查询速度,在搜索结果准确性及搜索结果重现方面,、搜索引擎总体介绍(六)全文检索系统和搜索引擎比较:类别全文检索搜索引擎信息获得信息获得比较容易,,,,,分词速度中等,,,系统内存消耗较少,,以内存存储为主,硬盘存储为辅,,,,结果总数为实际数目,,只提供全部结果的前面部分,,服务器硬件投入较少,,服务器硬件投入巨大,、爬虫技术介绍(一)爬虫技术总体介绍: 网络爬虫是一个自动提取网页的程序,网上下载网页,是搜索引擎的重要组成。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。通过DNSCache技术,减少爬虫对DNS的访问频率,避免DNS成为网络瓶颈,提高抓取速度。网络爬虫还要完成信息提取任务,对于抓取回来的网页提取出来:新闻、电子图书、行业信息等。对于MP3、图片、Flash等各种不同内容,要实现自动识别、自动分类及相关属性测试(例如:MP3文件要包含的文件大小,下载速度等属性)。二、爬虫技术介绍(二)抓取对象: :爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。:分析动态网页参数,按照一定规章,“拼”出所有要被抓取内容URL,只抓取这些特定范围内动态网页。 :比如RSS、XML数据,情况特殊需特殊处理。如新闻的滚动新闻页面,需要爬虫不停地监控扫描,发现新内容马上就进行抓取。 :图片,MP3、Flash、视频等文件的抓取,都要特殊处理。比如说:图片抓取出来后,要知道图片文件类型、图片文件的大小、图片的像素大小,还要转换出来缩略图。