文档介绍:大数据时代的数据挖掘技术分析
 
 
李静燕
摘要:计算机技术的飞速发展,带动社会各项事业共同进步,其中大数据时代的来临为更多的行业带来新的发展契机。不仅科研单位对数据的获取与挖掘提高了重视,企业发展对数据的内容和可靠性也产生较强的依赖性。在这种背景下,数据挖掘技术已经成为一种主流技术,在大数据的发展中发挥着重要的作用。
关键词:大数据时代;数据挖掘技术;分析
:TP311 :A :1007-9416(2017)09-0230-01
数据挖掘技术是基于计算机技术和大数据的新型技术,通常也可以称之为数字处理技术。具体指的是对各大企业内部的数据进行整理、调整、挖掘实施以及评估等一系列操作,目的是实现全局数据的优化。大数据技术跟以往抽样方式有很大的不同,大数据技术通过对全局数据进行全面分析,保证分析的可靠性。大数据技术的优点主要体现在以下几个方面:高数量、高速度、多元化以及高价值。
1 大数据与数据挖掘技术概述
大数据技术的发展情况
在一定的时间范围内,有些数据不能通过常规的软件进行捕捉、管理和处理,我们将这些数据的集合称为大数据。海量的数据信息和高强度的数据处理能力是大数据技术的两个重要内容,这也是不同于传统数据处理系统的两个重要方面。大數据技术的主要用途在于完成对大型复杂数据模块的高效分析,具体工作包括对数据的收集、分析、共享以及传输等。超前性也是大数据分析的重要特点。不同于传统的数据处理方式,大数据分析技术具有一定的预测性,完成分析之后,能够及时对数据进行提取,保证数据分析的实际价值。在分析过程中还会发现数据之间新的联系以及新的信息,这对于多个领域的发展具有重要的作用。
数据挖掘技术
数据挖掘技术是基于计算机技术和大数据发展的新型学科,数据挖掘技术起源于上世纪80年代,当时的数据挖掘在本质上跟现在有较大的区别。科研工作者对大数据的研究最初只是为了推动人工智能技术的发展。数据挖掘技术本质上是一个对数据进行挖掘并创新的过程。因此挖掘过程中对目标数据也有一定的要求,目标数据应该具备以下特征:隐蔽性、具有挖掘价值以及挖掘潜力,从而保证数据挖掘工作的意义。数据挖掘者需要在随机、模糊、冗杂的数据库对目标数据完成挖掘,这也是最主要的工作方式。从商业经济层面来讲,数据挖掘技术还有一个重要的意义,就是通过分析完成对数据规律和价值信息的获取,这些数据规律对公司的重要决策确定具有重要的指导意义。
2 大数据中的算法分析
大数据技术处理的数据量庞大,并且呈现出来的是无规律的随机状态,通过挖掘技术获取数据的价值时,应该对算法有一定的要求。常用的大数据算法有神经网络算法和灰色关联度分析。
神经网络算法
神经网络算法主要是通过神经网络系统对神经元的控制处理形成最终的算法。整个神经网络系统包含大量的神经元,不同神经元之间通过具有调节性的连接权值完成,如图1所示。
大规模并行处理、分布式信息存储、良好的自组织自学习能力等是神经网络系统的主要特点。神经网络是处理神经元集合的一种计算方式,主要目的在于有效解决生物神经元的大集群问题,这些生物神经元之间通过轴突完成连接。另外,由于神经元之间相互连接,相互影响,因此单一神经元对与之连接的神经元的激活状态会产生不同程度的抑制作用。单一的神经元还有将输入值组合求和的功能。每