文档介绍：大数据分析课程标准
一、课程定位
现在企业为了提升客人使用体验,提高业务效率,在大数据蓬勃发展的阶段里,需要对现有业务系统进行转型升级;作为大数据核心部分,大数据研发工程师应用成为有大量数据的企业必备人才,在数据处理,数据分析方面,大数据研发是不可或缺的技能。
随着大数据应用的大量普及,开源框架,比如hadoop,spark等,也得到长足发展。本课程除了着力于统数据的收集和搭建,使得作为大数据的研发/分析带来基础设施,让学员掌握,同时,对大数据的离线/实时处理和部分数据分析进行深度理解和把握。通过本课程,掌握大数据平台并且对大数据分析的基本技能和方法,为将来在企业分析大数据做决策打下基础。
二、课程性质与作用
课程性质大数据分析课程。
课程作用
大数据分析是数据清洗过后使得数据产生价值的过程。在企业丰富应用场景中,通过标准的大数据分析方法不能胜任的情况下,就需要通过先验知识来验证大数据并找出规律来达到业务目标。在实际工作中,掌握大数据研分析需要展示的数理统计分析的知识,敏锐的数据观察力,和部分软件开发的知识,也需要比较扎实的计算机基础。本课程大纲是完整的课程,实际培训课程中,会根据学员实际情况进行分组。通过本课程的学习。
三、课程目标
课程教学以灵活运用分析方法为目标,以实际项目为中心,以合理知识结构分解为手段,结合实际的应用场景,对大数据进行文本,图标等大数据进行分析和学习,主要以实际操作让学员对相关知识点掌握,达到理论与实际结合,教学与企业融合的内容。学员学成后,能够利用清洗后的数据,根据提供的先验知识,可以做出模型并能够预测业务数据。课程内容始终围绕全面提升学生的理论和操作的熟练程度、规范化程度以及职业素质三个方面展开。
(一)知识目标
理解大数据概念及应用场景,先导课程Linux的操作
掌握开发语言R 或python
掌握大数据HDFS、HBase、Hadoop集群搭建及数据批处理。
离线工具ETL和hive的安装及应用。
数据可视化的应用
真实
(二)能力目标
,理解大数据的应用,并有总体的概念。
,收集,分析,应用的过程。
,能对数据处理流程,数据挖掘进行个性化处理。
四、课程设计
主要指课程设计的总体思路:
课程设计围绕大数据分析的基础和方法,考虑到实际企业生产环境中的应用场景,课程中采用实际案例, 从案例分析、启动、实施、验证各环节剖析讲解,与真实环境同步。
课程案例选取:
以搭建支持10GB的数据为目标,在目标3机器上部署大数据仓库,并能实际运行。模拟手机1GB的数据,能够通过Hive进行查询,为将来数据清洗和数据分析提供基础。
五、课程内容与要求
知识块
知识点
课程目标
课时
案例
先导知识
Linux系统
Linux 基础
先导课程,以掌握Linux基本操作未基础,加上对Linux操作系统的进程管理的知识,为后续的部署打下基础。主要能够熟练编辑和配置Linux下的系统文件并能够查找文件和文字
Linux-常用命令介绍
Linux-shell的特殊符号以及VI编译工具
Linux-高级指令(系统管理、查询、作业控制、进程管理和Linux三剑客)
Linux-环境变