文档介绍：Scala大数据工程师
Scala&Spark
Module 01
Module 02
Module 03
Module 04
技术介绍
行业现状
岗位需求
课程设计
技术介绍
01
02
4
背景介绍
Scala是一门面向对象的函数式编程语言,被Java之父James Gosling誉为 ”下一代Java”. 被大量应用于大数据开发.
Martin OrderSky马丁 奥德斯基 是JVM开发团队核心成员,,增强for循环,自动类型转换,,接口中默认方法,静态方法等重要特性的作者.
在对JAVA的维护过程中,马丁非常推崇JAVA的面向对象及垃圾回收,是James Gosling的小迷弟. 但作为编辑器开发的狂热爱好者的他,.
Scala诞生于2001年,.
02
5
技术亮点
:
JVM
Java中的面向对象在Scala中完全体现
类似String等类型直接引用自Java
与Java无缝衔接,Java中的所有内容直接调用
:
语法简洁多变,编码灵活
类型自动推断
函数式编程适应分布式高并发避免线程安全问题
特质提供类似Java接口的功能并更加灵活
支持丰富的高阶函数,对分布式数据集直接操作
04
6
必备基础
三大最火爆框架底层全部使用Scala开发
02
7
背景介绍
Spark是目前市场占有率最高的海量数据流式处理框架, 广泛应用于人工智能, 金融风控, 电商推荐等众多领域.
加州大学伯克利分校的AMP实验室2009年开发,,.
适用场景包括海量数据离线处理,流式处理,机器学****和图计算.
02
8
技术亮点
,包括离线计算(SQL方式),流式计算(Stream),机器学****算法库性能强大),图计算(将对象和其之间的关系抽象为顶点和边)
MapReduce结构单调,只有map和reduce两个环节,开发时反复使用,非常考验逻辑功底.
Storm相对MR更加灵活,将计算过程全部抽象为bolt算子,.
Spark将计算过程全部抽象为RDD方便DAG的构建,,reduce,sum,avg,max,min….
行业现状
02
01
10
政策红利
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
THE