文档介绍：计算机DeepWeb数据库的分类研究李健
 
 
摘要：元搜索引擎是DeepWeb数据库在检索领域主要的研究内容，另外还包括实现DeepWep在网路爬虫上的设计方案，而在DeepWeb的数据库结构组织上，如何有效对信息资源进行 
 
计算机DeepWeb数据库的分类研究李健
 
 
摘要：元搜索引擎是DeepWeb数据库在检索领域主要的研究内容，另外还包括实现DeepWep在网路爬虫上的设计方案，而在DeepWeb的数据库结构组织上，如何有效对信息资源进行聚类与分类则是主要的研究目的。
关键词：DeepWeb；数据库；分类研究
一、DeepWep数据库一般分类方法
在基于网页上下文的DeepWeb数据库分类研究中，笔者试图将网页的表的标记词和文本信息统一进行网页聚类分析，进而达到准确分类数据库的目的，这种方法也可以称为表聚类分类法，其根本原理就是将网页中的文本内容转化为数据库信息的上下文。虽然有关研究已经进行这种分类方法的实践，但是由于简单的处理网页和表等内容，只用向量来表示HTML的全部词和表的标记词，最后进行K-means计算方法的聚类分析，因此导致网页上会出现一定的噪音信息，比如版权、修饰、导航以及公告等情况，大大降低了聚类处理的效果。并且由于数据库在系统上是依靠不同的用户来实现的，表在属性标记词上不一定会使用一致的标记词，例如“employerfinder”和“Jobsearch”这些情况，虽然这
些标记词在语义是同样的意思，但是计算机系统会判断成不相同的，尤其是在数据库表中只有较少数量的标记词时，这样简单的聚类会极度降低网页内容的精确分类。
因此本文为了提高网页分类的精确性，只使用包括数据库表格网页的信息文本，并以此为数据库的上下文对DeepWep数据库实行分类计算分析，主要优势在于以下几个方面：
（1）可以在HTML网页文本中多样统计特性的基础上，给出文本内容模块中的发现算法。并且这种算法可以很好解决单纯使用网页视觉特性无法准确判别的问题，比如在处理DeepWep网页上。
（2）本文基于分类指导的特点，应用分层模糊集合的方法来对应表示有向图的内容，并且在数据属性词上利用元来替代并进行归一计算。
（3）根据数据库表间的距离和文本内容之间的距离，综合计算DeepWep数据之间的距离，并且在K-NN分类计算方法的框架内，得出新的DeepWep数据库的计算分类方法。
二、网页中内容文本信息的获取
目前，网页中提取文本内容信息的方法有很多，并且研究程度也比较深入。比如常见的基于视觉的分块法和利用模板清除噪音获取文本信息的方法，也包括根据网页的布局对页面分块的方法。但是在DeepWep网页设计风格上的巨大差异，以及可视区域的位置不同等情况下，很多提取方法必须借助于描述文本，并且准确的确定文本的位置，但是由于文本位置的不固定等原因，许多提取内
容文本的方法实际效果不是太好，所以有了设计新的发现算法来处理文本内容的必要性。
首先，结合有关文献和网页的实际情况，可以应用决策树和统计分析的方法来获得内容文本的特征信息。并在此基础上进一步计算各个特征的属性情况，如果属性值比较连续，还需进行离散化处理。并依据贝叶斯公式计算主体内容块的大致概率。
在MFM算法中，可以根据计算出的概率来判断网页文本的内容