大数据技术导论专业知识讲座.ppt

文档介绍：内容什么是大数据研究背景深入思考1什么是大数据定义1:大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合(维基百科定义)monly-usedsoftwaretoolstocapture,curate,manage,andprocessthedatawithinatolerableelapsedtime.---Wiki2什么是大数据定义2:3VBigDataarehigh-volume,high-velocity,and/orhigh-varietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightdiscoveryandprocessoptimization--Gartner3大数据及其4V特征海量数据规模(volume):TB级PB级快速处理(velocity):快速数据流转和动态数据体系多样数据类型(variety):数据类型繁杂巨大数据价值(value):价值稀疏、多样、不确定值得关注的大数据的若干研究方向分布式数据存储与管理:对大数据进行存储与管理数据挖掘与商务智能:对大数据规律进行挖掘与发现物联网与CPS:产生与形成大数据云计算及服务平台:存储和处理大数据及其业务关注点:海量数据处理=>分布式存储与管理=>云计算=> 数据挖掘与分析=>海量业务处理=>大服务什么是大数据定义3:当数据的规模和性能要求成为数据管理分析系统的重要设计和决定因素时,这样的数据就被称为大数据不是简单地以数据规模来界定大数据,要考虑数据查询与分析的复杂程度以目前计算机硬件的发展水平看针对简单查询(如关键字搜索),数据量为TB至PB级时可称为大数据针对复杂查询(如数据挖掘),数据量为GB至TB级时即可称为大数据6什么是大数据定义4:大数据有两个基本特征不同于传统的数据集:,,具有较高的复杂性。7内容什么是大数据研究背景深入思考8克强指数(Likeqiangindex):耗电量铁路货运量银行贷款发放量英国著名政经杂志《经济学人》认为:克强指数比官方GDP数字更能反映中国经济的现实状况。花旗银行在编制时将各自权重分别设定为40%、25%和35%。