文档介绍：第30 卷第 1 期2015 年 2 月齐鲁师范学院学报 Vol. 30 No. 1Feb. 2015Journal of Qilu Normal University收稿日期:2014-10-20基金项目:全国统计科学研究计划重点项目“基于 HADOOP 云计算平台的分布式海量数据的统计分析研究”(编号:2012LZ05),山东省人文社会科学课题(编号:14-ZZ-WH04)的阶段性研究成果。作者简介:郭思亮(1981—),男,山东东平人,讲师;宋廷山(1962—),男,山东海洋人,教授;刁艳华(1983—),女,山东安丘人,讲师。基于云计算的大数据分析相关问题探讨郭思亮 1宋廷山 1刁艳华 2(1. 齐鲁师范学院经济与管理学院,山东济南 250202;2. 山东协和学院经管学院,山东济南 250109)摘要:文章以云计算与大数据分析的结合这一热点问题为研究背景,首先分析了大数据背景下数据存储特点和面临的相关问题,进而介绍了大数据分析以及面临的挑战。在此基础上对基于云计算的大数据分析关键技术以及目前的解决方案进行了探讨,最后给出了大数据分析的发展趋势及特点。关键词:云计算;大数据;大数据分析中图分类号:TP3 文献标识码:A 文章编号:2095 - 4735(2015)01 - 0134 - 06一、引言近年来,数据量正以爆发式的速度在不断增长。这些数据中绝大部分来源于互联网,还有一些是从其它渠道产生,如传感器、气象数据、交通信息等。大数据面临很大的发展机遇,但也面临诸多不可忽视的挑战。大数据是一种大型的数据集,如何存储这些数据集要明显区别于传统的数据库,是一个值得研究的课题。这不仅是因为它的绝对数据量之大,还因为它类型的多样性。它既有结构化数据,又有大量半结构化和非结构化数据。对于快速增长的数据集来说,有必要去分析那些由于时间敏感性得到最大价值的数据。此外,因为大数据中包含了大量无效甚至错误的数据,因此,还需要考虑数据的有效性,即通过分析判断导出的信息是否可信。另外,大数据还要考虑存储和处理这些海量数据的成本。云计算的出现为这一问题的解决提供了较为可行的解决方案,因为它提供了一个同时满足成本效益和快速可量测的方案,为处理大数据提供了一个很好的思路。但是,利用云计算进行大数据分析也同样面临着像“如何分配这些数据密集型任务的云架构和云技术”等问题。本文将对云计算在大数据分析中的应用趋势及相关问题进行研究,在对大数据相关问题进行阐述的基础上,对大数据分析及其面临的挑战进行分析,进而探讨大数据分析与云计算的结合问题,并给出现有的基于云计算的大数据分析解决方案及面临的困难,对基于云计算的大数据分析135总第167 期齐鲁师范学院学报提供一些启示。二、大数据背景下的相关问题在大数据背景下,首先需要考虑的就是数据的存储问题,传统的以关系数据库为基础的存储技术和方法已无法满足数据大量以及多样化的存储需求。对于存储大数据来说,分布式文件系统是一个可能的解决方案。在数据分析的背景下,分布式模型的优势一方面在于有效利用各集群节点的计算,另一方面,它提供了对任何数据进行测量的可能。这类系统的一个最典型例子是在Apache 的 Hadoop 项目中与 Map/Reduce 工具连接在一起的分布式文件系统。对于结构化和非结构化等结构多样的数据存储也是大数据存储面临的一大挑战