文档介绍：摘 要
网络爬虫(Web Crawleｒ),通常被称为爬虫,是搜索引擎的重要组成部分。随着信息技术的飞速进步,作为搜索引擎的一个组成部分-—网络爬虫,一直是研究的热点,它的好坏会直接决定搜索引擎的未来。目前,网络爬虫的研究包括Web搜索策略研究的研究和网络分析的算法，两个方向，其中在Ｗeb爬虫网络搜索主题是一个研究方向，根据一些网站的分析算法，过滤不相关的链接,连接到合格的网页，并放置在一个队列被抓取。
把互联网比喻成一个蜘蛛网，,从网站某一个页面(通常是首页）开始,读取网页的内容，找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页，这样一直循环下去,直到把这个网站所有的网页都抓取完为止．如果把整个互联网当成一个网站，那么网络爬虫就可以用这个原理把互联网上所有的网页都抓取下来。
关键词：网络爬虫；Linux Socket;C/Ｃ++;多线程;互斥锁
Ａbstrａcｔ
Wｅb Ｃrawler， usualｌｙ caｌleｄ Crawler fｏr sｈort, is an ｉｍportａnt pａrｔ ｏf searcｈ ｅngｉnｅ。 With tｈe high-speeｄ development of ｉnｆｏrmatiｏn， Ｗeb Craｗleｒ－- the search enｇｉne ｃan not ｌaｃｋ of—- ｗｈiｃh iｓ a hot reseaｒch ｔｏｐic thｏse years。 Thｅ qualｉｔy oｆ a seａrｃｈ enｇｉnｅ ｉs mostly dｅｐeｎded on the ｑualiｔy of ａ Weｂ Crawler. Nowaｄayｓ, the ｄirｅcｔion of rｅsearchｉnｇ Web Ｃrａwler maiｎｌｙ dｉvidｅｓ into ｔwo parts： onｅ is tｈｅ searcｈｉｎg ｓtraｔeｇｙ to web paｇes; the othｅｒ ｉs tｈe aｌgｏｒｉthｍ oｆ anaｌysis URLs. Amoｎg ｔhem， tｈe reｓeaｒch of Ｔopic—Fｏｃuｓed Ｗeb Ｃrａｗler is thｅ tｒｅnd. It uses sｏme ｗebpaｇｅ anaｌysis ｓtraｔegy ｔo ｆilter ｔopiｃ-less URLｓ aｎｄ ａdd fiｔ ＵＲLｓ into URL—WAIT queue。
Ｔｈe ｍｅtａｐhor of a spideｒ wｅb inteｒnｅt， ｔｈen Spider spider is cｒawlｉｎｇ arｏｕnd ｏｎ the Intｅrｎet。 Wｅｂ sｐiｄer throｕｇh web linｋ ａddress tｏ ｆｉｎｄ ｐａgｅｓ， stａrtiｎg ｆrom ａ one paｇe ｗebsite (ｕｓually hoｍｅ）, reaｄ tｈe ｃontentｓ ｏf the paｇｅ， ｆind ｔhｅ addｒｅｓs of ｔhe ｏtｈｅr linｋs ｏn ｔｈe page, and theｎ look foｒ the next Ｗeｂ page ａddresses ｔhrough ｔhesｅ lｉnｋs, sｏ haｓ been tｈe cycle conｔinuｅs， uｎtil aｌｌ tｈｅ pages of ｔｈis site ａre crａwled exhａusted. If tｈｅ eｎtire Intｅrnet as ａ ｓite, ｔhｅn yｏｕ cａｎ use thiｓ Ｗeb crａwler princiｐle all thｅ ｐageｓ ｏn thｅ Interｎet are ｃｒawling ｄown。.
Keywordｓ:Web crawleｒ；Liｎｕx Sｏcｋeｔ；C/C++; Mulｔｉtｈｒeａdｉng;Muｔｅx
目 录
摘 要ﻩI
第一章 概 述 1
1。1 课题背景 1
1．2 网络爬虫的历史和分类 1
。1 网络爬虫的历史 1
１。2．２ 网络爬虫的分类ﻩ２
网络爬虫的发展趋势 3
1。4 系统开发的必要性 ３
1。5 本文的组织结构 ３
第二章 相关技术和工具综述 5
２。1 网络爬虫的定义ﻩ5
2。2 网页搜索策略介绍 5