1 / 20
文档名称:

Hadoop学习课程.pptx

格式:pptx   大小:1,506KB   页数:20页
下载后只包含 1 个 PPTX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Hadoop学习课程.pptx

上传人:wz_198613 2021/11/7 文件大小:1.47 MB

下载得到文件列表

Hadoop学习课程.pptx

相关文档

文档介绍

文档介绍:Data Discovery Family
用户管理
系统监控
资源管理
部署管理
资源调度
安全管理
日志审计
运维平台
融合数据(ETL)
数据治理平台
数据标准
数据共享
数据质量
数据地图
银行业务
工商业务
政务业务
税务稽查
智能交通
智慧医疗
Hive
HBase
HDFS
YARN
Impala
Map
Reduce
Spark
Elastic Search
搜索引擎
推荐引擎
舆情监控
反欺诈
图像识别
语音识别
用户画像
智能管理
共享服务/API/SDK


用&服务
采集
存储&计算
批量采集
(Kettle)
网络爬虫
(PySpider)
实时采集
(Flume)
校验和清洗
实时消息
(Kafka)
数据探索
统计分析
敏捷BI
数据洞察Insight
OLAP
数据挖掘
机器学习
算法库
人工智能Miner
模型库
实时分析
实时数据库
流数据处理
流计算Streaming
数据流规则
分析
可视设计UE
Dashboard
移动/微应用
实时大屏
四方伟业大数据平台
第1页/共20页
第一页,编辑于星期五:二十二点 四十分。
其他Hadoop厂商
目前大部分大数据平台主要基于Hadoop生态环境实现简单搭建,能够完成基本的商用,但是在版本依赖、安装部署、版本升级、系统安全还有很多功能未进行完善。
伟业(SDC Hadoop)
伟业SDC Hadoop基于弹性云、物理机等多种环境之上进行构建,利用开源大数据生态系统,为用户提供统一运维、多租户、高可用、高性能、易用的一站式大数据平台。
开源hadoop:开源hadoop集群环境中在安装部署、安全、稳定性、低延迟、大量小文件处理、文本处理、易用性等方面存在局限性,还需要再进行深度改造才能具备商用软件能力,目前很多Hadoop发行版厂商都在基于Hadoop进行生态整合。
Hadoop生态现状
第2页/共20页
第二页,编辑于星期五:二十二点 四十分。
主要功能
运行监控
任务监控、采集监控、索引监控、昨夜监控
数据管理
文件管理、SDC Hive、SDC HBase、全文检索、数据共享
运维管理
智能部署、集群安装、服务监控、主机监控、统一告警、多租户管理
系统管理
安全管理、用户管理、系统日志
数据开发
标设计、检索设计、数据采集、数据计算、调度管理
第3页/共20页
第三页,编辑于星期五:二十二点 四十分。
HBase
HDFS




Zookeeper
Yarn(分布式资源管理)
ElasticSearch
分布式数据存储
融合数据(ETL)
实时采集
批量采集
网络爬虫
校验与
清洗
伟业
(UE)
Tableau
QlikView
可视化系列
……
Insight
Miner
数据分析系列
伟业智能分析平台
SAS、SPSS
RapidMiner
分布式缓存层(Alluxio、Redis)
数据共享(Publication )
数据标准
数据质量
数据管理
数据治理( Govern )
分布式计算引擎
批处理
MapReduce
内存计算
Spark
流处理
Spark Streaming
Hive、SparkSQL、HAWQ、Phoenix、presto、Kylin
数据运维
(Console)
智能部署
集群配置
监控管理
告警管理
性能管理
安全管理
租户管理
备份管理
大数据存储计算平台定位
第4页/共20页
第四页,编辑于星期五:二十二点 四十分。
伟业大数据存储计算平台是为政府、军工、金融等行业提供大数据存储、计算、分析的统一平台,能够帮助客户快速构建海量数据信息处理系统,通过对海量数据实时与非实时的分析,发现全新的商业价值,主要平台能力有如下特色:
安全性
安全审计:提供安全设计日志,为用户事后追溯,定位原因提供依据。
认证安全:基于用户和角色的认证体系,并支持kerberos安全协议。
访问控制:支持Hadoop组件访问权限控制,保障用户数据安全。
存储加密:支持对Hive、Hbase、HDFS数据进行加密
数据脱敏/去隐私化:支持对数据进行脱敏或去隐私化,去隐私化主要支持雾化和加密方式
更优异的人机