大数据应用基础-数据挖掘流程新编.pptx

文档介绍：数据挖掘流程大数据应用基础——第三次课魏炜 ******@bjtu. 数据挖掘的基本流程数据预处理 2评估 4 信息收集 31数据挖掘 33知识表示 35数据挖掘的基本流程高度重视以下同义词?以下术语大致是同一个意思: ?表格中的行:个案=实例=记录=样本点=数据点?表格中的列:属性=特征=字段=维度=预测变量=自变量数据预处理数据预处理的步骤?主要包括: –数据集成–数据清理–数据归约(抽样和属性筛选) –数据变换。数据质量有很多方面问题数据准备?在数据挖掘过程中,数据准备工作占用的时间往往在一半甚至 60% 以上! ?这些工作对提高数据挖掘结果的准确性是必不可少的。因为,没有高质量的数据, 就没有高质量的挖掘结果。?数据挖掘出现错误结果多半是由数据源的质量引起的。因此应该重视原始数据的质量,从源头上减少错误和误差,尤其是减少人为误差。数据准备的重要性数据准备工作占用的时间往往在 60 %以上! 数据集成?数据挖掘或统计分析可能用到来自不同数据源的数据, 我们需要将这些数据集成在一起。?如果只有一个数据源,这一步可以省略。