文档介绍：内容提纲
一知识挖掘的基本概念
二知识发现过程与应用结构
三关联规则挖掘理论
四分类方法
五聚类方法
时间序列和序列模式挖掘
七 Web挖掘技术
1
什么是知识挖掘?
随着数据采集技术的不断发展,人类每天获取的数据剧增,但数据中隐藏的丰富的知识远远没有得到充分的挖掘与利用,形成了"数据爆炸,知识饥饿"的状况。知识挖掘就是在这种背景下应运而生的。知识挖掘就是一个从数据集中识别有效的、潜在有用、最终可理解的模式的过程。模式是一个用语言来表示的表达式,它可用来描述数据集的某个子集。我们所说的知识,是对数据包涵的信息更抽象的描述。对大量数据进行分析的过程,包括数据准备、模式搜索、知识评价,以及反复的修改求精。该过程要求有一定程度的智能性、自动性。
2
一知识挖掘的原理与方法
数据挖掘技术的产生与发展
数据挖掘研究的发展趋势
数据挖掘概念
数据挖掘技术的分类问题
数据挖掘常用的知识表示模式与方法
不同数据存储形式下的数据挖掘问题
粗糙集方法及其在数据挖掘中的应用
数据挖掘的应用分析
3
数据挖掘技术的商业需求分析
随着信息技术的高速发展,数据库应用的规模、范围和深度不断扩大,网络环境成为主流等等。产生“数据丰富而信息贫乏(Data Rich & Information Poor)”现象。
在强大的商业需求的驱动下,商家们开始注意到有效地解决大容量数据的利用问题具有巨大的商机;学者们开始思考如何从大容量数据集中获取有用信息和知识的方法。
随着信息技术的高速发展,人们希望能够提供更高层次的数据处理功能。新的需求推动新的技术的诞生。
数据(Data)、信息(Information)和知识(Knowledge)是广义数据表现的不同形式。
4
数据、信息和知识
data
information
knowledge
5
数据挖掘产生的技术背景
数据挖掘是相关学科充分发展的基础上被提出和发展的。
主要的相关技术:
数据库等信息技术的发展
统计学深入应用
人工智能技术的研究和应用
6
数据挖掘是一个多学科交叉技术
数据挖掘
数据库系统
统计学
其他学科
算法
机器学****br/>可视化
7
数据库系统的发展
60年代:简单文件处理系统向数据库系统变革。
70年代:层次、网络和关系型数据库普及。
80年代:RDBS及其相关工具、数据索引及数据组织技术被广泛采用;中期开始,分布式数据库广发讨论,关系数据库技术和新型技术的结合。
90年代:数据库领域中的新内容、新应用、新技术层出不穷,形成了庞大的数据库家族;人们期望分析预测、决策支持等高级应用, Data mining and data warehousing等出现。
本世纪开始: Data mining 得到理论/技术深化。
8
统计学的深入应用
强大有效的数理统计方法和工具,已成为信息咨询业的基础。
统计分析技术是基于严格的数学理论和高超的应用技巧的。
数据挖掘技术是数理统计分析应用的延伸和发展。
和数据库技术的结合性研究
9
人工智能技术的研究和应用
人工智能是计算机科学研究中争议最多而又仍始终保持强大生命的研究领域。
专家系统曾经是人工智能研究工作者的骄傲,但是诸多难题限制了专家系统的应用:
知识获取成为专家系统研究中公认的瓶颈问题。
知识表示成为一大难题:知识工程师在整理表达从领域专家那里获得的知识时勉强抽象出来的规则有很强的工艺色彩。
对常识和百科知识出奇地贫乏:人工智能学家Feigenbaum估计,一般人拥有的常识存入计算机大约有100万条事实和抽象经验法则,离开常识的专家系统有时会比傻子还傻。
数据挖掘继承了专家系统的高度实用性特点,并且以数据为基本出发点,客观地挖掘知识。
机器学****得到了充分的研究和发展:理论和算法。
数据挖掘研究在继承已有的人工智能相关领域,特别是机器学****的研究成果的基础上,成为新的研究分支。
10