文档介绍：金融大数据技术解决方案之我谈
演讲者张天长
大数据背后的技术
金融大数据与传统数仓
议题
构建金融大数据解决方案
大数据解决方案分析实践
大数据平台数据仓库案例
大数据背后的技术
大数据技术起源
4
Google 三大论文 MapReduce / GFS / BigTable
Apache Lucene 开源的高性能全文检索工具包
Apache Nutch 开源的 Web 搜索引擎
大数据技术起源
5
Google
Hadoop
GFS
HDFS
MapReduce
MapReduce
BigTable
HBase
大数据技术的发展
6
2004年-- Doug Cutting基于Google论文实现(HDFS/MapReduce)。
2005年12月-- Nutch移植到新的框架,Hadoop在20个节点上稳定运行。
2006年01月-- Doug Cutting加入雅虎。
2006年02月-- Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
2008年04月-- 赢得世界最快1 TB数据排序在900个节点上用时209秒。
2008年10月-- 研究集群每天装载10 TB的数据。
2009年03月-- 17个集群总共24 000台机器。
2009年04月-- 59秒内排序500 GB(1400个节点)和173分钟内排序100 TB数据(3400个节点)。
大数据平台集成商
7
Cloudera

Hortonworks
FusionInsight (华为)
Transwarp  (星环)
大数据平台核心组件
8
HADOOP(分布式文件系统HDFS,并行计算框架MapReduce)
YARN(Hadoop 资源管理器:计算、内存、带宽等)

HIVE (分布式数据仓库,HiveQL 语言,不适合低延迟计算)
HBASE(宽表、大表的非结构化数据库)
SPARK(具有MapReduce有点,中间结果在内存,语言JAVA、SCALA)
ZOOKEEPER(分布式应用程序协调服务)
MANAGER(集群管理)
Mahout(可扩展的机器学****和数据挖掘库)
金融大数据与传统仓库
金融传统数据仓库
10
报表平台
绩效系统
支付系统
客户360
个人结算账户
回单打印
银企对账
存贷标准化
监管报送系统
内审系统
关联交易
成本分摊
风险监控
外管报送系统
风险预警平台
EAST数据报送
总部一体化
后督
AML反洗钱
。。。。。。
客户风险