文档介绍：大数据?大数据是因信息技术特别是数据获取技术的革命性进步而形成的信息爆炸现象,因其规模巨大、类型复杂、产生速度快、价值密度低等因素,对现有信息技术产生巨大挑战,需要运用新理念、新技术、新方法对其进行全生命周期的创新管理和应用,从而促进国民经济的转型升级、社会管理的模式更新,乃至国家综合竞争力的全面提升。(UGC)日志等系统自动生成数据ApacheWebServerLog大数据现象Source:Exabytes:Documentingthe'digitalage'putingcapacity,TheWashingtonPost新理念?大数据时代,我们需要什么样的“新理念”?在思考问题和解决问题的方法上有什么新的特点通过一些案例来说明大数据时代我们应有的一些思维模式大数据?容量大真实性变化快类型多传统数据库的4个要求大型:LargeVolume共享:Shared(multi-user)持久:Durable(durability)可靠:Reliable(Reliability)ACID(Atomicity,Consistency,Isolation,Durability)Highperformance:TpmC类型多(Variety)数据类型多样:结构化、半结构化、非结构化数据形态各异:流数据、图数据、关系数据处理要求不同:批处理、联机处理、流式处理在一个大数据应用中共存。变化快(Velocity)不是静态的大数据,而是动态变化的数据不是低频,而是高频不是更新,而是插入真实性GIGO是MIS时代的金科玉律大数据是真实反映,也可能是虚假反映。数据质量问题是新的巨大的挑战用大数据解决问题的新思路航线网络: 顶点3k,边50k联程设计:根据联程航班搭配规则生成联程航班