谷歌大规模排序实验的历史[翻译].doc

文档介绍：谷歌大规模排序实验的历史[翻译]————————————————————————————————作者:————————————————————————————————日期: 原文链接:https://cloud./blog/big-data/2016/02/history-of-massive-scale-sorting-experiments-at-google作者:MarianDvorsky,软件工程师,谷歌云平台Historyofmassive-scalesortingexperimentsatGoogle谷歌大规模排序实验的历史Thursday,February18,2016星期四,2016年2月18日We’,becauseit’seasytogenerateanarbitraryamountofdata,andit’,对它进行了大规模随机数据的排序测试。我们喜欢排序,因为很容易产生任意规模的数据,也很容易验证排序的输出是否正确。Eventhe originalMapReducepaper ,,’lltalkaboutourexperiencewithsomepetabyte-scalesortingexperimentswedidafewyearsago,includingwhatwebelievetobethelargestMapReducejobever:。工程师在一定的规则基础上对1TB或10TB的数据进行排序测试,因为细小的错误更容易在大规模数据运行的时候被发现。然而,真正有趣的事情在我们进一步扩大数据规模后才开始。在这篇文章中,我将讲一讲我们在几年之前所做的一些PB级别的排序实验,包括我们认为是目前最大的MapReduce工作:50PB排序。Thesedays,,youmustsortatleast100TBofdata(as100-byterecordswiththefirst10bytesbeingthekey),lexicographically,  ,GraySort是大型排序基准的选择。在Gr