文档介绍：1 大数据分析概要摘要:当大数据分析逐渐成为主流时,它将会变得和其他早期的技术一样普遍, 大数据分析也会逐步成为一种日常工具。文中分析了大数据分析面临的主要挑战, 以及数据从累积到分析的分析学体系, 同时分析了大数据分析市场的未来趋势, 给出了大数据分析的关键还在于人为操作的结论。关键词:大数据;大数据分析;未来趋势大数据分析面临的主要挑战大数据是一项艰巨的挑战。众所周知, 当今时代, 数据正以爆炸式的速度增长,世界上总共有多少数据,没人能给出确切的答案。谷歌前首席执行官埃里克· 施密特称,“我们现在创造出来的信息量相当于过去整个人类历史创造出来的文明。从数字时代开始到 2003 年, 我们只创造出 5 艾字节的信息。但是, 我们现在每两天就能创造出 5 艾字节的信息,而且信息增长的速度还在不断加快。”这个数据似乎有些言过其实。 RJMetric s 首席执行官 Robert J. Moore , 在最近的 TEDx 演讲栏目中提到, 2002 年, 只有 23 艾字节的信息被记录和复制,但我们现在每七天就能更新和转移这么多数据。 Gartner 称,企业数据在未来 5 年内将增长 650% 。 IDC 的说法是,全 2 世界的信息在一年半内即可翻一倍。 IDC 称, 2011 年, 我们创造了泽字节( 兆 GBs )的信息,若要将这些信息储存在电子设备中,则需要 575 亿台规格为 32G 的 iPad ,将如此多的 iPad 连接起来,长度是万里长城的两倍。数据的创造脚步势必加快, 尤其是当今机器对机器通讯技术的成本降低,人们获取技术更为便捷。试想一下,所有传感器网络、防盗警报器、车辆远程通讯系统等加在一起,将会创造出多么庞大的数据。 IBM 称,我们每一天都能创造出字节的信息。数据正在指数式增长,并且,当今世界上 90% 的数据都是在过去两年内创造出来的。这些数据来自各个地方, 比如传感器收集气象信息上传到社交网站, 数字图像和数字视频,电子商务交易记录, GPS 坐标等等。当然,在早期人类历史上,像推特之类的简短信息并没有记录下来, 所以对比只能到此为止。实际生活中,每一天我们都在创造如下数据: · 超过亿封电子邮件消息; · 超过 200 万的谷歌查询; · 48 小时更新的 YouTube 视频; · 万条分享在 Facebook 上的内容; · 10 万余条推特; 3 · 万美元的电子商务投资; ·3 600 张分享在 Instagram 新照片; · 将近 350 篇新发布的 WordPress 博客。大数据面临的挑战在于, 不同系统中到处都能储存数据。打破相互独立的数据系统, 标准化操作是当今面临的主要任务。另外一个主要任务是创建大数据平台,可以存储结构化数据和非结构化数据。当你进入大数据这块领域时, 你会发现更多神秘的挑战。比如, 传统数据库最初并没有用到多核处理器。因此, 它们在处理数据的时候速度较慢。这导致“快速数据”概念的出现,像 ParStream 之类的小型公司正试图克服数据库遗留的问题。从累积到分析我们需要处理许多数据。积累数据是一回事, 而处理数据则是另外一回事。收集报纸、吞拿鱼空罐子和小野猫的人, 不会被人们视作为一个有辨别力的收集者。想象一下, 你也