文档介绍：大数据存储数据库技术的变革和发展余洋 ******@whu. 目录完整的科学研究周期包含四个部分:数据采集、数据整理、数据分析及数据可视化。现代科学研究可以通过多种方式收集和生成数据,对于大量收集到的数据,却缺乏好的整理与分析工具。数据存储的前世今生 01 数据库设计的 CAP 02 大数据时代的 NOSQL 03 科学研究的第四范式为数据存储存储的研究和快速发展带来了新的动力 NoSQL 将意味着不止 SQL 01 数据存储的前世今生事件一:公共卫生事件 2009 年, H1N1 流感预测对手谷歌疾控中心武器分析搜索记录医院报告结果谷哥提前两周得到结果与官方数据相关性达 97% ? 5000 万美国人? 2003 — 2008 年流感关键词? 亿数学模型? 45 个关键词组合 01 数据存储的前世今生事件二:变革商业事件机票价格预测对手埃齐奥尼的 Farecast 系统武器分析大量价格记录结果票价预测准确度达 75% 平均每张机票节省 50 美元?到 2013 年拥有 2000 亿条航班记录 01 数据存储的前世今生事件三:出租车事件交通拥堵热点提取对手武汉 万出租车 GPS 数据武器分析车辆速度结果每5分钟处理 1次? 万辆车?每 15 秒上传 1次?匹配、聚类、拟合?5分钟有哪些理论可以帮我们做判断? 数据库技术的转变是数据处理理念的转变 01 数据存储的前世今生 01 数据存储的前世今生 1)数据库管理系统层次数据库→网状数据库→关系数据库上一层记录类型和下一层记录类型的联系是 1:N 联系,容易产生数据冗余不能表达含有多对多关系的复杂结构,容易引起数据不一致 01 数据存储的前世今生 1)数据库管理系统层次数据库→网状数据库→关系数据库数据量越大,结构越复杂,不利于用户掌握用户必须了解系统存储结构的细节,加重了编程的负担 01 数据存储的前世今生 1)数据库管理系统层次数据库→网状数据库→关系数据库 Edfar F. Codd Don Chamberlin Michael Stonebraker