文档介绍：数据挖掘综述
数据挖掘的发展动力
什么是数据挖掘?
数据挖掘的应用
知识挖掘
数据挖掘的体系结构
在什么样的数据上进行挖掘
聂永红
数据挖掘综述
数据挖掘的方法
数据挖掘的模式
数据挖掘系统的分类
数据挖掘的主要研究的热点问题和研究方向
数据挖掘综述
从大量的数据中挖掘出有用的信息、有用的模式,本身就是一个统计分析、计算的过程,是目前DM一个热门的研究方向。
还需要学****人工智能的知识,理解起来困难些
从60年代数据库技术发展以来,世界上每天收集、处理到的数据越来越多,到了一定程度之后,就产生一个问题:怎么处理这些数据,怎么从这些数据中挖掘出有用的信息。就产生了一门新的学科:数据挖掘。
当前的研究有3个方向:
1、从数据库的角度出发(参考书:数据挖掘概念与技术)
2、从统计学角度出发(参考书:数据挖掘原理)
3、从机器学****的角度出发
数据挖掘的发展动力 ----需要是发明之母[1]
数据爆炸问题
大量的数据被收集,存储在数据库、数据仓库或其他信息库中以待分析。
2、我们拥有丰富的数据,但却缺乏有用的信息
3、解决方法:数据仓库技术和数据挖掘技术
(1)数据仓库(DW)和在线分析处理(OLAP)
(2)数据挖掘:在大量的数据中挖掘感兴趣的知识(规则、规律、模式、约束)
数据库技术的演化[2]
1960s和以前:文件系统
1970s:层次数据库和网状数据库
1980s早期:关系数据模型,关系数据管理系统(RDBS)的实现
1980s晚期:
各种高级数据库系统(扩展的关系数据库,面向对象数据库等等)
面向应用的数据库系统(spatial数据库,时序数据库,多媒体数据库等等)
1990s早期:数据挖掘,数据仓库,多媒体数据库和网络数据库
2000s:流数据管理和挖掘
基于各种应用的数据挖掘
XML数据库和整合的信息系统
数据挖掘的发展
数据挖掘是与数据仓库密切相关的一个信息技术新领域,它是信息技术自然演化的结果。
随着数据库技术的迅速发展以及数据库管理系统的广泛应用,人们积累的数据越来越多,但缺乏挖掘数据中隐藏的知识的手段,导致了“数据爆炸但知识贫乏的”现象。
自80年代后期以来,联机分析处理(OLAP)和数据挖掘技术应运而生。
数据挖掘的发展
数据挖掘(Data Mining,简记为DM)是从关系数据库、数据仓库、WEB数据库以及其他文件系统中发现重要的数据模式、规律的过程,因此又称为数据库中的知识发现(Knowledge Discovery in Database, 简记为KDD),它是OLAP的高级阶段。
自20世纪80年代起,开始了数据挖掘技术的研究。1989年在美国召开的国际学术会议上包含了“从数据库中知识发现”的主题;1995年在加拿大召开了第一届知识发现与数据挖掘国际学术会议。
什么是数据挖掘?(书上)
数据挖掘的定义
从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。
从商业应用角度看,数据挖掘是一种崭新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理,从中提取辅助商业决策的关键知识。
什么是数据挖掘?[3]
数据挖掘(从数据中发现知识)
(1)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前求知的和可能有用的模式或知识
(2)挖掘的不仅仅是数据(所以“数据挖掘”并非一个精确的用词)
数据挖掘的替换词
数据库中的知识挖掘(KDD)、知识提炼、数据/模式分析、数据考古、数据捕捞、信息收获等等。
并非所有东西都可是“数据挖掘”
(1)查询处理
(2)专家系统或小型的数学计算/统计程序
数据挖掘的应用
数据分析和决策支持(得到了广泛的应用)
(1)市场分析和管理
目标市场,客户关系管理(CRM),市场占有量分析,交叉销售,市场分割
(2)风险分析和管理
风险预测,客户保持,保险业的改良,质量控制,竟争分析
(3)欺骗检测和异常模式的监测(孤立点)
其它的应用(处于研究的阶段,并没有进入非常实用的范围)
(1)文本挖掘(新闻组,电子邮件,文档)和WEB挖掘
(2)流数据挖掘
(3)DNA和生物数据分析
那么当前数据挖掘的范围包括哪些方面呢?
数据挖掘现阶段主要应用于数据分析和决策支持,这个在市场分析和管理得到了广泛的应用。比如说目标市场管理,客房关系管理,市场占有量分析,交叉销售,市场分割,这些都可以用数据挖掘的知识来得到