文档介绍：网络信息收集、索引与信息检索、聚类
信息科学技术学院
马永芳 张旭东 张涵
Agenda
网络爬虫是什么？
怎样爬？
预备知识
整体框架
核心算法
算法改进
Web Crawler是。。。
软件，系统
“A web crawler is one type of bot, or software agent. “
搜集对象是什么？
整个Web?
部分Web？哪一部分？
Web是不断更新的，哪些要re-crawl？
Agenda
网络爬虫是什么？
怎样爬？
预备知识
整体框架
核心算法
算法改进
Distributed Crawling
怎样搜集?
<href …>
<href …>
<href …>
<href …>
<href …>
<href …>
<href …>
网页为节点
网页中的HyperLink为有向边
Crawl == 图遍历, right?
链接是哪些？
Refer to HTML Specification
系统框图