文档介绍：大数据时代生活、工作与思维的大变革作者: [英]维克托·迈尔-舍恩伯格肯尼思·库克耶译者:盛劳燕周涛出版:浙江人民出版社大数据时代之拥抱身处大数据时代! 我们已经处在大数据时代,可能还浑然不知事件一:变革公共卫生事件 2009 年, H1N1 流感预测对手谷歌疾控中心武器分析搜索记录医院报告结果谷哥提前两周得到结果与官方数据相关性达 97% 维克托教授将带我们一窥大数据时代的全景事件二:变革商业事件机票价格预测人物埃齐奥尼的 Farecast 系统武器分析大量价格记录结果票价预测准确度达 75% 平均每张机票节省 50 美元时间就是生命! 省钱是硬道理! 大数据时代之拥抱处理数据理念的思维变革挖掘数据价值的商业变革面对数据风险的管理变革维克托教授认为大数据时代要关注: 3 大重要变革 010203 大数据还是改变市场、组织机构,以及政府与公民关系的方法大数据是人们获得新的认知、创造新的价值的源泉大数据时代之拥抱首先就要转变处理数据的理念处理数据理念的思维变革 01 ?云计算能便宜、有效、高速地的对信息存储、分享和挖掘?采样分析是信息缺乏时代和信息流通受限制时代的产物大数据时代的思维变革 01更多而是全体数据不是随机样本大数据时代收集与分析全体数据是可行和便宜的小数据时代受制于技术只能收集与分析随机样本大数据是指不用随机分析法这样的捷径,而是采用所有数据的方法。大数据中的“大”非绝对意义的大,指全体数据,有时并非真的“大”。穿孔卡片与美国人口普查大数据与乔布斯的癌症治疗 Xoom 与跨境汇款异常交易报警巴拉巴西与第一次全社会层面的网络分析本章的例子大数据时代的思维变革 02更杂而是混杂性不是精确性大数据时代追求大量数据,允许不精确的数据小数据时代因信息量少,对数据精确性更苛刻随着数据量的增加,数据错误率也增加,格式也存在不一致只有 5% 的数据是结构化且适用传统统计方法, 95% 的数据是非结构化。只有接受不精确性才能利用这些大量的数据。微软与语料库数据添加无所不包的谷歌翻译系统 IBM Candidate 计算机翻译项目英国石油公司与无线感应器麻省理工与通货紧缩预测软件 Hadoop 与 VISA 的 13 分钟本章的例子大数据时代的思维变革 03更好而是相关关系不是因果关系大数据时代相关关系大放异彩小数据时代相关关系是有用的大数据的核心:建立在相关关系分析基础上的预测。相关关系是: A与B经常一起发生。只要注意到 B发生,就能预测 A的发生。沃尔玛把蛋挞与飓风用品摆一起 FICO 能预测个人的行为 UPS 与汽车修理预测大数据预测早产儿病情美国折扣零售商塔吉特与怀孕预测幸福感的非线性关系二手车质量预测纽约大型沙井盖爆炸预测本章的例子大数据时代之拥抱其次就要转变数据价值的获取方式挖掘数据价值的商业变革 02 ?大数据时代的重要价值在数据深挖掘?数据的价值来源于万物数据化和数据交叉复用大数据时代的商业变革 01 数据化数据交叉复用一切皆可量化变革的基础一切事物都可量化,变为数据变革的重点由T(技术)转变到 I(信息)上数字化:模拟数据转换成用“0”和“1”表示的二进制码。例:书页的扫描,无法检索内容数据化:把一种现象转换为可制表分析的量化形式的过程。例:书变成数据化文本,可检索本章的例子日本的坐姿研究与汽车防盗系统多效地理定位与 UPS 的最佳行车路径谷歌的数字图书馆 Foursquare ,让用户推荐喜爱的地方用手机数据预测疾病传播和城市繁荣用微博数据预测股市投资时机睡眠活动数据库与睡眠模式预测 GPS 感应器,判断环境因素对哮喘病的影响大数据时代的商业变革 02价值之不竭的创新取之不尽,用真实价值隐藏在冰山之下数据价值不会随使用次数而减少,可以重复挖掘本章的例子数据的潜在价值主要通过前3种方式释放: 0 1 . 数据再利用 0 2 . 重组数据 0 3 . 可扩展数据 04 . 数据的折旧值 05 . 数据废气 06 开放数据 IBM ,电动汽车动力与电力供应系统优化预测 Hitwise ,通过流量判断消费者喜好巴诺与 NOOK 快照亚马逊,让数据的价值再大一点在线教育课程,找到最合适阅读的帖子移动运营商与数据再利用 Facebook ,估价从 66 亿到 1040 亿谷歌街景与 GPS 采集