文档介绍：农业大数据解决方案
篇一:无封皮大数据关键技术及其在农业中的应用
大数据关键技术及其在农业中的应用
摘要:结合大数据系统的一般结构,介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。分析了大数据的产生背景,简述了大数据的基木概念、典型的4“V”,得到了一些分析结果。农业数据具有容量大、关联性强、复杂多变等特点。大数据技术能从庞大的数据集合中寻找有价值的数据和知识。推动大数据技术在农业领域的实践和应用,对把握农业信息内在联系和规律意义重大。
关键词:大数据;数据分析;关键技术;农业;应用
随着移动互联网、物联网和云计算技术的迅速发展,开启了移动云时代的序幕,大数据(Big Data)也越来越吸引人们的视线。人们通过网络无障碍交流、交换信息和协同工作,互联网的出现缩短了人与人、人与世界之间的距离,整个世界连成一个“地球村”。与此同时,借助互联网的高速发展、高内存高性能的存储设备和存储介质的出现、数据库技术的成熟和普及,人类在日常学习、生活、工作中产生的数据量正以指数形式增长,呈现“爆炸”状态[ 1]。“大数据问题”(Big Data Problem)就是在这样的背景下产生的,成为科研学术界和相关产业界的热门话题,吸引着越来越多的科学家研究大数据带来的相关问题。
大数据的“大”不仅仅体现在数据的海量性,还在于其数据类型的复杂性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用,互联网上视频、音乐、网络游戏不断发展,越来越多的非结构化数据进一步推动数字宇宙爆炸。数据海量而复杂,这是对大数据的诠释。与传统的数据相比,大数据具有规模性(Volume)、多样性(Variety)、高速性(Velocity)和低价值密度(Value)的4V 特点[ 2]。规模性和高速性是数据处理一直以来研究和探讨的问题,多样性和价值密度低是当前数据处理发展中不断显现出来的问题,而且在可以预见的未来,随着智慧城市、智慧地球等各种新设想的不断成为现实,上面的4种问题将会变得更加凸显,而且是不得不面对的问题。
处于发展中国家前列的中国,大数据的应用处于起步阶段。在工信部发布的物联网“十二五”规划中,把信息处理技术作为四项关键技术创新工程之一提出,
其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。还有另外3项:信息感知技术、信息传输技术、信息安全技术,也与大数据密切相关。
1 大数据关键技术
从大数据的纵向应用过程(获取、存储、挖掘、分析)来看,文件系统提供了对最底层存储能力的支持。文件系统之上的数据库系统可通过构建索引等功能,对外提供高效的数据查询等常用功能。最后,数据分析技术从数据库中的大数据中提取出有益的知识,提供面向对象的服务。从横向来看,大数据的每层应用既需要进行软件算法等的开发,也需要硬件设备支持[ 3]。云计算与物联网技术毫无疑义地成为影响大数据发展的首要因素。
大数据系统架构
大数据处理系统不管结构如何复杂,采用的技术千差万别,但是总体上总可以分为以下的几个重要部分。大数据系统结构如图 1 所示。
分布式存储
横向扩展结构分布式软件架构并行计算结构
从数据处理的一般流程可以看到,在大数据环境下需要的关键技术主要针对海量数据的存储和海量数据的运算。 40 年的发展已经成为了一门成熟同时仍在不断演进的数据管理和分析技术,结构化查询语言(SQL)作为存取关系数据库的语言得到了标准化,其功能和表达能力也得到的不断增强。但是,关系数据管理系统的扩展性在互联网环境下遇到了前所未有的障碍,不能胜任大数据分析的要求。关系数据管理模型追求的是高度的一致性和
正确性。纵向扩展系统,通过增加或者更换 CPU、内存、硬盘以扩展单个节点的能力,终会遇到“瓶颈”。
分布式文件系统
对数据存储,文件系统需要考虑3个问题:高性能共享性、文件的管理和保护、重复数据的处理。尤其是在面对海量文件时,上述问题更加凸显。文件系统是支持大数据应用的基础。Google 是有史以来唯一需要处理如此海量数据的大公司。对于Google 而言,现有的方案已经难以满足其如此大的数据量的存储,为此Google 提出了一种分布式的文件管理系统——GFS(Google file system)。GFS是构建在大量廉价服务器之上的可扩展的分布式文件系统,主要针对文件较大、且读远大于写的应用场景,采用主从(Master-Slave)结构,通过数据分块、追加更新(append-only)等方式实现了海量数据的高效存储。同时,谷歌公司选择电价较低的地点建立存储库,从而降低了运行成本。
GFS 与传统的分布式文件系统有很多相