文档介绍：大数据要解决的问题Volume海量的数据规模Variety多样的数据类型ValueVelocity快速的数据流转巨大的数据价值*SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是半结构化/非结构化数据大数据带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有IT的数据解决能量3不同“看”数据的方式*可视:结构化资料15%未视:半/非结构化数据85%DB/DW主管们看的战情数位仪表板,其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式*数据库数据仓库计算更快存储更省85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile不同的数据管理策略当我们想要扩充时,才发觉:架构只能scale-up,scale-out不易处理时间过长,time-to-value受限成本过高,cost-efficiency受限15%结构化的DB/DW遗憾残缺6每天几百GB、几TB的资料,且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing),并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量*大数据的储存与处理/运算大数据储存大数据处理数据分享数据检索数据分析数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out)架构什么是大数据处理(大数据Processing)WordcountHarryPorter(哈利波特)432,442LordVoldemort(佛地魔)134,209Dumbledore(邓不利多)72,982SeverusSnape(石内圤)28,252.......................................……...……………………….....……../?category_id=PLANTS&JSESSIONID=S1FF9ADFF2/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846/exep/prod/china/?10816425/exep/prod/china/?10759096http://news./feds-issue-warning-unconven-sperm-donor-:,490,232,934,198,283,57,922,190.............................……………………………...…………HitCountWordCount什么是大数据处理(大数据Processing)/?category_id=PLANTS&JSESSIONID=S1FF9ADFF2/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846/exep/prod/china/?10816425/exep/prod/china/?10759096http://news./feds-issue-warning-unconven-sperm-donor-://mystore./flower_store/?action=purchase&itemId=EST-13&JSESSIONID=SD7SL1FF9ADFFhttp://tech./a/20111221/://24h..tw/?m=index&f=view&p=24hour&s=nlifehttp://shopping..tw/?mod=store&func=style_show&SR_NO=/categ