文档介绍：目 录
摘 要............................................................... III
Abstract ............................................................ IV
1 引 言 ............................................................. 1
研究背景及意义................................................. 1
研究现状简介................................................... 1
本文主要研究工作............................................... 3
本文组织....................................................... 4
2 相关理论和技术研究............................................... 6
重复网页的定义................................................. 6
常用重复网页检测算法........................................... 7
SCAM 算法 ................................................... 7
DSC 和 DSC-SS 算法 ............................................ 8
I-Match 算法 ................................................ 9
全文分段签名算法 ........................................... 10
基于关键词匹配算法 ......................................... 11
基于特征码抽取算法 ......................................... 12
常用算法的性能分析............................................ 13
重复网页检测技术的关键环节.................................... 14
特征提取 .................................................. 15
特征比较 .................................................. 17
3 关键技术介绍 ..................................................... 20
MD5 算法 ...................................................... 20
二叉排序树.................................................... 21
中文分词技术.................................................. 23
中文分词的应用 ............................................. 24
中文分词的难点 ............................................. 24
中文分词的方法 ............................................. 25