文档介绍：2016-12-181基于云计算的知识发现2016-12-18高级人工智能史忠植2知识发现?概述?知识发现的任务?数据仓库?知识发现工具2016-12-18高级人工智能史忠植3知识发现知识发现是指从数据集中抽取和精炼新的模式。?范围非常广泛:经济、工业、农业、军事、社会?数据的形态多样化:数字、符号、图形、图像、声音?数据组织各不相同:结构化、半结构化和非结构?发现的知识可以表示成各种形式规则、科学规律、方程或概念网。2016-12-18高级人工智能史忠植4数据库知识发现目前, 关系型数据库技术成熟、应用广泛。因此, 数据库知识发现(Knowledge Discovery in Databases KDD)的研究非常活跃。该术语于1989年出现,Fayyad定义为“KDD是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程”2016-12-18高级人工智能史忠植5不同的术语名称知识发现是一门来自不同领域的研究者关注的交叉性学科,因此导致了很多不同的术语名称。?知识发现:人工智能和机器学****界。?数据挖掘(data mining):统计界、数据分析、数据库和管理信息系统界?知识抽取(information extraction)、?信息发现(information discovery)、?智能数据分析(intelligent data analysis)、?探索式数据分析(exploratory data analysis)?信息收获(information harvesting)?数据考古(data archeology)2016-12-18高级人工智能史忠植62016-12-18高级人工智能史忠植7知识发现的任务?数据总结:对数据进行总结与概括。传统的最简单的数据总结方法是计算出数据库的各个字段上的求和值、平均值、方差值等统计值,或者用直方图、饼状图等图形方式表示。?分类:根据分类模型对数据集合分类。分类属于有导师学****一般需要有一个训练样本数据集作为输入。?聚类:根据数据的不同特征,将其划分为不同的类。无导师学****2016-12-18高级人工智能史忠植8知识发现的任务?相关性分析:发现特征之间或数据之间的相互依赖关系关联规则?偏差分析:基本思想是寻找观察结果与参照量之间的有意义的差别。通过发现异常, 可以引起人们对特殊情况的加倍注意。?建模:构造描述一种活动或状态的数学模型2016-12-18高级人工智能史忠植9知识发现的方法?统计方法:?传统方法:回归分析、判别分析、聚类分析、探索性分析?模糊集(fuzzy set) Zadeh 1965?支持向量机(Support Vector Machine) Vapnik 90年代初?粗糙集(Rough Set) Pawlak 80年代初2016-12-18高级人工智能史忠植10知识发现的方法?机器学****规则归纳:AQ算法?决策树:ID3、?范例推理:CBR?遗传算法:GA?贝叶斯信念网络