文档介绍：数据挖掘功能简介
Page 1
Page 2
主要内容
一、数据挖掘概念及流程
二、数据挖掘方法分类介绍
二-1、分类算法及案例
二-2、聚类分析及案例
二-3、关联规则及案例
二-4、时间序列分析及案例
二-5、回归分析及案例
二-6、异常分析及案例
二-7、文本挖掘
二-8、推荐系统
三、常用数据挖掘软件介绍
四:数据挖掘和分析应避免的误区误区
Page 3
一、数据挖掘概念及流程
数据挖掘(Data Mining)就是对观测到的数据集(经常是庞大的、不完全的、有噪声的、模糊的、随机的)进行分析,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识,目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。
数据清理筛选
数据
目标数据
Knowledge
预处理及变换
变换后的数据
数据挖掘
解释/评估
一、数据挖掘概念及流程
Page 4
二:数据挖掘方法分类介绍
数据挖掘
聚类分析
预测
K-means
K-中心点算法
分类分析
KNN算法
Bayes算法
时间序列
统计回归
分类算法
决策树
神经网络
相关性分析
回归分析
关联规则
Apriori算法
线性回归
逻辑回归
序列模式挖掘
异常分析
非时间序列
SLIQ
CART
CHAID
概率回归
统计分析
方差、极差、偏度等统计特征值
异常点分析
Page 5
时间序列
决策树算法
Page 6
挖掘模式
预测型(Predictive)
描述型(Descriptive)
实际功能分为以下几种模式:
分类:对没有分类的数据进行分类;
预测:用历史来预测未来;
关联分析:关联规则;
聚类:物以类聚;
序列模式:在多个数据序列中发现共同的行为模式;
异常分析:从数据分析中发现异常情况。
文本数据挖掘:从大量文字中寻找共性进行分析。
二:数据挖掘方法分类介绍
Page 7
二-1:分类算法及案例分析
分类:
预测种类字段
基于训练集形成一个模型,训练集中的类标签是已知的。使用该模型对新的数据进行分类
预测:
对连续性字段进行建模和预测。
典型应用
信用评分
Direct Marketing
医疗诊断
性用卡欺诈判断
二-1:分类算法及案例分析
Page9
年龄
overcast
学历?
是否结婚?
0
1
0
1
18<=22
30-35
1
0
0
1
0
23-30
决策树
结论规则:
第一类: 年龄在18-35岁之间,学历是高中,还没有住房的人群,可能发生信用卡欺诈的概率是97%.
第二类: 年龄在23-45岁之间,学历是本科,有住房的人群,可能发生信用卡欺诈的概率是1%.
第三类: 年龄在30-55岁之间,学历是小学,无住房的人群,可能发生信用卡欺诈的概率是80%.
根据规则去执行相应的措施和政策方针:
一: 第一类和第三类人群,不通过信用卡审批或者降低信用卡额度,增加调查力度。
二: 信用卡用户的营销策略,。
二-1:分类算法及案例分析
Page10