1 / 4
文档名称:

数据清洗数据分析数据挖掘.docx

格式:docx   大小:73KB   页数:4页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据清洗数据分析数据挖掘.docx

上传人:宝哥 2022/7/10 文件大小:73 KB

下载得到文件列表

数据清洗数据分析数据挖掘.docx

文档介绍

文档介绍:This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把 This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为""。我们要按照一定的规则把"""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。
主要类型
残缺数据
这一类数据主要是一些应该有的信息缺失,如的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入。
错误数据
这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入造成的,比如数值数据输成全角数字、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于、数据前后有不可见字符的问题,只能通过写语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。
重复数据
对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
类型
在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设

最近更新

二零二五年度中铁建大桥局与人力资源公司的招.. 8页

2025年公立医院绩效评价与提升策略 109页

2025年意大利留学需要的费用清单 10页

2025年儿童营养健康疾病防控指南 63页

2025年惊蛰的具体时间 5页

二零二五年度个人租赁车辆租赁服务合同模板 8页

二零二五年度个人租房合同协议书——共享办公.. 8页

2025年儿童溺水急救护理探讨 38页

二零二五年度个人投资入股环保科技企业合同 8页

二零二五年度个人房屋租赁合同版专业版(租赁.. 8页

二零二五年度个人存款赠与及税务筹划合同 7页

2025年总经理2025下半年工作计划 10页

2025年思想方面个人总结怎么写7篇 15页

2025年怎样删除word中的简历表格线 2页

2025年怎么规范写低保申请书2025 7页

2025年怎么样安排放暑假的时间 7页

2025年传染病报告卡规范填写攻略 18页

2025年怎么写高中贫困申请书 10页

2025年怎么写申请贫困申请 17页

2025年乙肝患者抗病毒药物正确使用攻略 66页

2025年怀念已逝亲人的悲伤故事:老宅 13页

中铁建大桥局2025年度与咨询机构的工程咨询服.. 8页

个人土地承包经营权合作开发合同(2025年度).. 8页

2025年快乐学习的演讲稿精选篇 11页

矿产资源勘查权竞拍合同范本 7页

最新部编版三年级下册语文全册教案 106页

2级经销商分销协议 5页

村后备干部笔试试题及答案 5页

土地整理项目技术交底教学内容 4页

中医技能知识考试题+答案 20页