文档介绍：2015年12月
大数据分析
主讲人:
大数据综述
大数据的特征
大数据采集、存储技术
大数据分析系统架构
大数据建模分析方法
分析结果的可视化展示技术
目录
●随着现代信息采集技术、物联网、云计算、互联网络等信息技术以及新兴服务产业的快速发展,使得人类社会的数据种类和规模(社会管理、生产生活、行业产业、文化教育、资源环境等)正以前所未有的速度增长,数据从简单的处理对象开始转变为一种基础性资源(原始数据和应用数据)。
●“如何更好地管理和利用大数据”已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的技术挑战和利用价值。
●自2008年《Nature》杂志发表大数据专辑以来,大数据的概念和价值得到越来越多的关注。2012年,美国和中国分别将大数据提升到国家战略高度。
大数据综述
卫星监测数据
资源环境数据
智慧城市数据
大数据综述
视频监测
气象监测-24个指标
土壤养分监测
-15个指标
土壤水分监测
-5个指标
生长监测-16个指标
过程监测数据
统计数据
网络数据
大数据综述
特点
量大
实时
复杂
类杂
数据无处不在
数据无时不有
数据无物不生
数据无人不感
多源性
异质性
多样性
增长性
随着传感器、智能移动设备、互联网等技术的发展,数据呈现爆炸式增长。
大数据综述
自古以来,在科学研究上,先后历经了实验、理论和计算3种范式。当数据量不断增长和累积到今天,传统的3种范式在科学研究,特别是一些新的研究领域已经无法很好地发挥作用,需要有一种全新的第4种范式来指导新形势下的科学研究。基于这种考虑,图灵奖获得者、著名数据库专家Jim Gray 博士提出了一种新的数据探索型研究方式,被他自己称之为科学研究的“第4种范式”。
大数据综述
科学研究方法
科学范式
时间
方法论
经验
上千年以前
描述自然现象
理论
最近几百年
使用模型,归纳
计算
最近几十年
模拟(仿真)复杂现象
数据探查(eScience)
目前
通过仪器或模拟获取数据,基于软件的数据处理,计算机信息存储,数据的科学分析
科学发现的4种范式
大数据的发展对传统的数据处理技术体系提出了巨大的挑战,需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。
大数据综述
大数据技术是一个典型的跨领域研究方向,在数据的采集、存储、传输、管理、安全和分析等诸多方面均面临着技术变革和创新。
数据复杂性
计算复杂性
系统复杂性
数据处理技术与系统
批量数据处理技术与系统
流量数据处理技术与系统
交互式数据处理技术与系统
多媒体数据处理技术与系统
大数据综述
大数据面临的挑战
大数据处理系统的三大发展趋势
数据处理引擎专用化
数据处理平台多样化
数据计算实时化
大数据分析支撑技术和应用
深度学****br/>知识计算
社会计算
可视化
典型应用场景等
大数据综述