1 / 3
文档名称:

hadoop面试小结.docx

格式:docx   大小:16KB   页数:3页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop面试小结.docx

上传人:2072510724 2019/3/29 文件大小:16 KB

下载得到文件列表

hadoop面试小结.docx

相关文档

文档介绍

文档介绍:hadoop面试小结入门:知道MapReduce大致流程,map,shuffle,biner,partition作用,pression搭建hadoop集群,master/slave都运行那些服务HDFS,->->,,,、hadoop运行的原理?2、mapreduce的原理?3、HDFS存储的机制?4、举一个简单的例子说明mapreduce是怎么来运行的?5、面试的人给你出一些问题,让你用mapreduce来实现?     比如:现在有10个文件夹,。6、biner的作用?进阶:. Hadoop参数调优,clusterlevel:JVM,map/reduceslots,joblevel:reducer#,memory,biner?pression?piglatin,Hive 简单语法HBase,zookeeper搭建最新:关注cloudera,hortonworksblognextgenerationMR2框架高可靠性, namenode::streamingstorm(twitter).演练算法:wordcount字典同位词翻译sql语句selectcount(x)fromagroupbyb;经典的一道题:现有1亿个整数均匀分布,如果要得到前1K个最大的数,求最优的算法。(先不考虑内存的限制,也不考虑读写外存,时间复杂度最少的算法即为最优算法)我先说下我的想法:分块,比如分1W块,每块1W个,然后分别找出每块最大值,从这最大的1W个值中找最大1K个,那么其他的9K个最大值所在的块即可扔掉,从剩下的最大的1K个值所在的块中找前1K个即可。那么原问题的规模就缩小到了1/10。问题:。。比如也可分10W块,每块1000个数。则问题规模可降到原来1/100。但事实上复杂度并没降低。。1、编写一只爬虫要求:1、可配置要爬取的网页URL格式      2、可定制要