1 / 5
文档名称:

Spark大数据分析平台.pdf

格式:pdf   大小:271KB   页数:5页
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

Spark大数据分析平台.pdf

上传人:小辰GG 2022/7/24 文件大小:271 KB

下载得到文件列表

Spark大数据分析平台.pdf

文档介绍

文档介绍:技术成就梦想
Spark 大数据分析平台
2015 年, Spark 只用了一年多时间,已实现开源到火爆 ,亦逐渐显露出与通用大数据平台
Hadoop 的分庭抗争之势。 1技术成就梦想
Spark 编程环境搭建
Spark 编程实例

第三课:Spark 运行架构和解析
Spark 的运行架构
基本术语
运行架构(DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性)
Spark on Standalone 运行过程
Spark on YARN 运行过程

第四课:hive 入门
hive 的运行架构
hive 的安装
hive 的实例演示

第五课:SparkSQL 原理和实践
Spark 的运行架构
Catalyst
sqlontext
hiveContext
ThriftServer 和 CLI
ThriftServer
CLI
SparkSQL 的实例演示和编程
spark-shell 实例演示
spark-sql 实例演示
SparkSQL 的编程

第六课:SparkStreaming 原理和实践
SparkStreaming 原理
SparkStreaming 的原理
SparkStreaming 的运行方式
@ DataGuru 专业数据分析社区 网址: 2技术成就梦想
DStream 的特点和操作
SparkStreaming 实例演示
网络数据演示
文本实例演示
Window 操作演示

第七课:MLlib 入门
什么是机器学****br/>MLlib 的架构
Mllib 实例演示
聚类算法演示
推荐系统演示

第八课:GraphX 入门
图论基础
GraphX 的架构
GraphX 实例演示
图的基本操作
PageRank 演示

第九课:Spark 运维
Spark On YARN
history server
job server
Spark 的监控
Spark UI 监控

第十课:scala on Spark
spark 常用的 scala 基础
如何阅读 spark 源代码
如何构建 spark 项目

@ DataGuru 专业数据分析社区 网址: 3技术成就梦想
第十一课:Spark 编程
RDD 的