hadoop面试小结.docx

文档介绍：hadoop面试小结入门:知道MapReduce大致流程,map,shuffle,biner,partition作用,pression搭建hadoop集群,master/slave都运行那些服务HDFS,->->,,,、hadoop运行的原理?2、mapreduce的原理?3、HDFS存储的机制?4、举一个简单的例子说明mapreduce是怎么来运行的?5、面试的人给你出一些问题,让你用mapreduce来实现?     比如:现在有10个文件夹,。6、biner的作用?进阶:. Hadoop参数调优,clusterlevel:JVM,map/reduceslots,joblevel:reducer#,memory,biner?pression?piglatin,Hive 简单语法HBase,zookeeper搭建最新:关注cloudera,hortonworksblognextgenerationMR2框架高可靠性, namenode::streamingstorm(twitter).演练算法:wordcount字典同位词翻译sql语句selectcount(x)fromagroupbyb;经典的一道题:现有1亿个整数均匀分布,如果要得到前1K个最大的数,求最优的算法。(先不考虑内存的限制,也不考虑读写外存,时间复杂度最少的算法即为最优算法)我先说下我的想法:分块,比如分1W块,每块1W个,然后分别找出每块最大值,从这最大的1W个值中找最大1K个,那么其他的9K个最大值所在的块即可扔掉,从剩下的最大的1K个值所在的块中找前1K个即可。那么原问题的规模就缩小到了1/10。问题:。。比如也可分10W块,每块1000个数。则问题规模可降到原来1/100。但事实上复杂度并没降低。。1、编写一只爬虫要求:1、可配置要爬取的网页URL格式      2、可定制要