文档介绍：nutch 爬虫系统分析 Nutch 分析 1 Nutch 简介.................................................................................................................................. 2 nutch 体系结构.............................................................................................................. 2 2 抓取部分..................................................................................................................................... 3 爬虫的数据结构及含义................................................................................................ 3 抓取目录分析................................................................................................................. 4 抓取过程概述................................................................................................................. 4 抓取过程分析................................................................................................................. 5 inject 方法........................................................................................................ 6 generate 方法................................................................................................. 12 fetch 方法....................................................................................................... 14 parse 方法........................................................................................................ 16 update 方法...................................................................................................... 16 invert 方法...................................................................................................... 19 index 方法........................................................................................................ 23 dedup 方法........................................................................................................ 26 merge 方法............................................................................................