文档介绍：数据挖掘原理 2017-2-28 1 /26 2017-2-28 2 /26数据挖掘 VLDB 太多数据有价值的知识概述:为什么需要数据挖掘? ?随着全球信息化的发展,自动数据采集工具和成熟的数据库技术导致海量数据存储在数据库中?数据富裕,知识贫乏?大量数据背后隐藏着重要的知识 2017-2-28 3 /26 概述:数据挖掘的定义?数据挖掘是从关系数据库、数据仓库、 WEB 数据库以及其他文件系统中发现重要的数据模式、规律的过程。知识发现,它是 OLAP 的高级阶段。?定义:就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,识别出有效的、新颖的、潜在有用的,以及最终可理解的模式(或知识)的非平凡过程。?需要指出的是,这里所说的知识,不是放之四海而皆准的真理,而是相对的。 2017-2-28 4 /26 概述:数据挖掘与知识发现?自20世纪 80年代起,开始了数据挖掘技术的研究。 1989 年在美国召开的国际学术会议上包含了“从数据库中知识发现”的主题; 1995 年在加拿大召开了第一届知识发现与数据挖掘国际学术会议。 2017-2-28 5 /26 数据挖掘是多学科的交叉?数据挖掘是一门交叉性学科,它涉及到机器学****模式识别、统计学、智能数据库、知识获取、数据可视化、高性能计算、专家系统等多个领域。数据挖掘数据库技术统计学其他学科信息科学机器学****可视化?多种多样的挖掘方法 2017-2-28 6 /26 数据挖掘与数据仓库的关系?数据挖掘和数据仓库是作为两种独立的信息技术出现的。它们都可以完成对决策过程的支持,并且相互间有一定的内在联系。因此,将数据仓库与数据挖掘集成到一个系统中将能够更有效地提高系统的决策支持能力。?数据挖掘与数据仓库的关系?数据挖掘是数据仓库发展的必然结果?数据仓库为数据挖掘提供应用基础 2017-2-28 7 /26 在何种数据上进行数据挖掘? 1. 多种数据库和 DM 的关系?多种数据库是 DM 能够处理的对象。正因为有着这么庞大而实际有用的数据作为数据挖掘的物质基础,研究数据挖掘才有了现实的意义。?数据挖掘在关系数据库中的作用?用 SQL 可以做什么? ?–上个季度卖出了什么商品? ?–列出上月每个部门的总销售量?–哪个销售员卖出的商品最多? Data Mining 又能做什么? ?–预测新顾客的信誉风险?–检查商品销售变差的原因?发现隐含的规律、模式等是数据挖掘的主要形式 2017-2-28 8 /26 数据挖掘的方法与技术?信息论方法?决策树 ID3 、决策规则树 IBLE 方法?集合论方法?粗糙集方法、关联规则方法?仿生技术?神经网络、遗传算法、蚁群算法?可视化技术 2017-2-28 9 /26 数据挖掘的主要类型?数据挖掘的任务是从大量的数据中发现模式。根据数据挖掘的任务可分为多种类型,其中比较典型的有: ?预测模型?关联分析?分类分析?聚类分析?序列分析?偏差检测?模式相似性挖掘?Web 数据挖掘 2017-2-28 10 /26 预测模型?预测模型( Predictive Modeling ): 所谓预测即从数据库或数据仓库中已知的数据推测未知的数据或对象集中某些属性的值分布。?预测是利用历史数据找出变化规律,建立模型,并用此模型来预测未来数据的种类、特征等。?建立预测模型的常用方法: ?回归分析、线性模型、关联规则、决策树预测、遗传算法、神经网络?回归分析是典型的方法,即利用大量的历史数据,以时间为变量建立线性或非线性回归方程。预测时,只要输入任意的时间值,通过回归方程就可求出该时间的预测值。