文档介绍：1数据预处理2为什么要预处理数据?数据预处理是数据挖掘(知识发现)过程中的一个重要步骤,尤其是在对包含有噪声、不完整,甚至是不一致数据进行数据挖掘时,更需要进行数据的预处理,以提高数据挖掘对象的质量,并最终达到提高数据挖掘所获模式知识质量的目的。3为什么要预处理数据?现实世界的数据是“肮脏的”不完整的:有些感兴趣的属性缺少属性值含噪声的:包含错误或者异常(偏离期望值)的数据不一致的:在编码或者命名上存在差异没有高质量的数据,就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据数据仓库需要对高质量的数据进行一致地集成使挖掘过程更有效、更容易4多方面考查数据的质量精确(Accuracy)pleteness)一致(Consistency)及时(Timeliness)可信(Believability)可添加(Valueadded)可解释(Interpretability)5数据预处理的主要方法数据清理填写空缺的值,平滑噪声数据,识别、删除孤立点,解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约(削减)得到数据集的压缩表示,它小得多,但可以得到相同或相近的结果6FormsofDataPreprocessing7数据清理-空缺值数据并不总是完整的例如:数据库表中,很多条记录的对应字段没有相应值,比如销售表中的顾客收入引起空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时,有些数据应为得不到重视而没有被输入空缺值要经过推断而补上8如何处理空缺值忽略该条记录:若一条记录中有属性值被遗漏了,则将此条记录排除在数据挖掘过程之外,尤其当类别属性(classlabel)的值没有而又要进行分类数据挖掘时。当每个属性缺少值的百分比变化很大时,它的效果非常差。9如何处理空缺值人工填写空缺值:工作量大,可行性低使用一个全局变量填充空缺值:对一个属性的所有遗漏的值均利用一个事先确定好的值来填补。比如使用unknown或-∞或OK使用属性的平均值填充空缺值10如何处理空缺值利用同类别均值填补遗漏值这种方法尤其在进行分类挖掘时使用。如:若要对商场顾客按信用风险(credit_risk)进行分类挖掘时,就可以用在同一信用风险类别下(如良好)的属性的平均值,来填补所有在同一信用风险类别下属性的遗漏值。