1 / 4
文档名称:

数据清洗数据分析数据挖掘.docx

格式:docx   大小:73KB   页数:4页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据清洗数据分析数据挖掘.docx

上传人:宝哥 2022/7/10 文件大小:73 KB

下载得到文件列表

数据清洗数据分析数据挖掘.docx

文档介绍

文档介绍:This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把 This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为""。我们要按照一定的规则把"""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。
主要类型
残缺数据
这一类数据主要是一些应该有的信息缺失,如的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入。
错误数据
这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入造成的,比如数值数据输成全角数字、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于、数据前后有不可见字符的问题,只能通过写语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。
重复数据
对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
类型
在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设

最近更新

三氯乙醛的土壤污染及其降解研究 2页

2025年幼儿园庆元宵节活动策划方案大全 6页

2025年幼儿园年度教学工作计划最新版 20页

2025年幼儿园师德师风考核制度(7篇) 21页

三、电渗析的进水水质指标和工艺系统的选择 2页

2025年幼儿园小班教育笔记-:如何对待幼儿的打.. 9页

一类球面的扁薄壳体结构的应力分析和计算实例.. 2页

2025年幼儿园家长会工作计划范文3篇 7页

2025年幼儿园安全防范措施方案 35页

一种简便的改进锁相环路牵引能力的方法 2页

一种新的水煤浆制备技术试验成功 2页

一种改进的校准参考标准加速度计的方法 2页

二年级数学上册期中试卷(附参考答案) 7页

二年级数学上册期末标准测试卷及答案 6页

机场跑道工程承揽居间合同3篇 53页

机场扩建土方运输服务合同3篇 55页

木材运输劳务合同样本3篇 53页

服装鞋帽国际海运合同3篇 50页

服装物流配送标准合同模板3篇 50页

服装店装修全包合同模板3篇 48页

月子中心装修合同3篇 51页

智慧旅游用地居间合同样本3篇 57页

时尚街区商场装修合同3篇 54页

旧城改造渣土运输合同3篇 51页

旅游集散中心装修合同模板3篇 53页

旅游地产居间合同样本3篇 51页

五年级语文上册期末考试卷(免费) 8页

2025年大学中国新能源电动汽车消费者调研报告.. 24页

艺术舞蹈老师简历模板 1页

煤炭资源地质勘查设计编写提纲 14页