1 / 4
文档名称:

数据清洗数据分析数据挖掘.docx

格式:docx   大小:73KB   页数:4页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据清洗数据分析数据挖掘.docx

上传人:宝哥 2022/7/10 文件大小:73 KB

下载得到文件列表

数据清洗数据分析数据挖掘.docx

文档介绍

文档介绍:This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把 This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为""。我们要按照一定的规则把"""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。
主要类型
残缺数据
这一类数据主要是一些应该有的信息缺失,如的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入。
错误数据
这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入造成的,比如数值数据输成全角数字、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于、数据前后有不可见字符的问题,只能通过写语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。
重复数据
对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
类型
在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设

最近更新

二零二五年度银行上门收款业务标准化合同模板.. 10页

2025年摄影扩印服务项目发展计划 58页

数据泄露检测模型-全面剖析 35页

次性赔偿协议书(22篇) 43页

电子商务毕业生实习心得体会 5页

程序员辞职报告汇编(3篇) 4页

一次飑线(冰雹)天气过程中尺度分析 2页

一机部召开锅炉、压力容器行业工艺纪律座谈会.. 2页

说明文作文300字集锦九篇 8页

第7课《致空气》同步练习(语文版初二下)doc初.. 3页

《光纤与电缆及其应用技术》1988年总目录 2页

“营改增”对建筑施工企业的影响及对策 2页

“新三论”、社会学与地震对策研讨会在吉林省.. 2页

北西尚小学防溺水安全保证书 2页

СТб片梭提花织机在丝织行业的应用 2页

YG811型织物悬垂性测定仪的理论分析与应用 2页

x60级管线钢应力腐蚀性能的研究 2页

U—200型压型钢板在神头电厂工程中的应用 2页

2025年幼儿园安全工作总结及反思五篇 14页

初中新旧德育教科书的比较研究 1页

2025年幼儿园元旦节活动总结篇2025 27页

R-P磷酸工艺球磨机结构设计及操作 2页

2025年(完整版)《人力资源管理》试题及答案 7页

2025年工程竣工自评报告三篇 19页

《高等教育学》考试卷参考答案 5页

深基坑工程施工安全检查验收表 4页

水土保持方案范文5篇 16页

工业工程概论复习题(必过) 14页

苹果采摘机械手设计【水果采摘机】(含CAD图纸.. 38页

旋刀式割草机的改进设计【旋刀式割草机的设计.. 19页