文档介绍：信息化论坛Practice51投稿邮箱:hnfc@栏目编辑:梁丽雯 E-mail:liven_******@2015年第1期银行大数据服务体系建设探讨■中国工商银行湖南分行刘威一、背景数据是未来银行的核心竞争力之一,大数据潮流对银行的数据驾驭能力提出了新的挑战,也为银行获得更深刻、全面的洞察力提供了前所未有的空间与潜力。在新的技术背景下,加强对大数据技术的掌控,实现科技创新与业务创新的融合,最大限度地发挥信息创造价值的力量,已成为银行转型发展的一项重要推动力。二、银行大数据处理和服务体系银行业一贯重视数据的战略价值,各大商业银行在数据仓库和BI应用上已有多年的积累,开发了客户关系管理、运营管理、风险管理、财务管理等领域的应用,为企业的生产经营提供了科学依据。在大数据时代背景下,很多银行已开始研发新一代的大数据基础平台,构建大数据分析挖掘服务体系,通过对海量的结构化、非结构化数据的整合、挖掘、共享,为业务发展提供动力,如图1所示。商业银行的数据资产包括各类数据源,除了传统的结构化数据库,还有含非结构化数据的信息库。传统结构化数据库中包含客户数据、员工数据、交易数据、财务数据等;非结构化数据包含社交媒体数据、声音/视频、渠道通信数据、网点/ATM传感器数据、资讯类信息、规章制度、业务知识等各种异构信息。银行大数据平台建设的意义不仅反映在存储大量信息,正反映在通过对海量信息的快速处理,实现基于海量数据的增值服务。与传统数据库管理工具相比,大数据处理在各环节(比如说获取、存储、检索、共享、分析和可视化)上都面临很多问题。目前,大数据处理已经成为研究热点,大数据处理的基本框架主要包括数据存储和组织、计算方法、数据分析、服务接口,以及在整个数据管理过程中需重视的数据质量、数据安全、数据监护等构件。首先,大数据处理需要合理地存储与组织各种大数据,不合理的数据存储策略会增加网络和存储I/O开销,降低系统性能;传统的集中式存储策略无法提供良好的I/O访问效率,大数据处理采用分布式存储策略,目前不少银行采用基于Hadoop架构构建数据处理平台。其次,大数据处理需要设计高效的计算方法来管理海量数据,例如分布式计算、数据流技术、新硬件技术、高性能计算等,其中分布式技术(如MapReduce)被广泛采用于构建分布式计算架构来管理大数据,降低系统开销。再者,大数据处理的数据分析层主要采用信息价值挖掘、用户行为分析、语义识别、智能推荐引擎等技术手段,发现隐藏在海量数据背后的知识和规律。服务接口层主要通过海量数据可视化、数据库服务(DaaS)和云计算等手段为用户提供调数据存储与组织计算方法数据分析服务接口数据质量、数据安全、数据监护各种数据源大数据处理基本框架数据挖掘大数据信息服务其他数据分析统一检索信息定制图1商业银行大数据处理和服务体系信息化论坛Practice52 投稿邮箱:hnfc@栏目编辑:梁丽雯 E-mail:liven_******@2015年第1期用接口和操作界面。最后,数据质量、安全和监护贯穿大数据处理的各个层面。数据质量高低直接影响数据处理的成败,在大数据应用中,数据来源更广,因而数据质量问题也更为重要。数据清洗技术可以提升数据质量,但无法完全解决数据质量问题,因此大数据应用仍需在数据质量较低的情况下进行查询分析,并获得查询分析结果。另外,由于大数据应用涉及诸多用户和机构,数据