文档介绍：hadoop实战视频教程-Hadoop应用开发实战(flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法)
课程讲师:明义(robby)
课程分类:大数据
适合人群:高级
课时数量:28课时
用到技术:flume应用开发、Pipes、Hadoop Streaming
涉及项目:搜索引擎自动推荐、PageRank算法、最短路径算法、好友智能推荐
更新程度:完毕
hadoop实战视频教程:ds-
Hadoop是2013年最热门的技术之一,通过北风网robby老师深入浅出Hadoop实战开发、Hadoop应用开发实战两套课程的学习,。
推荐课程:Cloudera Hadoop 4 实战课程(Hadoop 、集群界面化管理、电商在线查询+日志离线分析)ds-
推荐课程:基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
ds-
Hadoop是什么,为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实
亮点一:技术先进,经典应用
hadoop实战视频教程采用了全新平台:Oracle VirtualBox + CentOs + 最新的Hadoop ,提供了更稳定,安全的平台,更加贴近企业级应用的真实环境。课程完整,详细的介绍并实现了多个Hadoop经典应用:搜索引擎自动推荐,好友智能推荐,最短路径算法,PageRank。他们代表了当前最成功,应用范围最广的Hadoop应用案例,特别是PageRank,更是Google赖以发家的法宝,直到如今,仍然是Google搜索引擎最为重要