文档介绍：基于海量用户行为数据分析的互联网增值新业务What,WhyandHowWhat?–要作什么事对每个宽带用户的每次浏览网页行为进行记录,在海量的数据记录上分析用户的浏览习惯、兴趣爱好、关注焦点等,对用户进行全方位的“画像”。按用户属性和行为特征对全部宽带用户进行聚类和精细化的客户群划分。依托运营商平台,利用网络广告、直投、个性化内容推送等手段对宽带用户进行“一对一”的精准营销。What图解用户上网的历史行为用户属性和行为特征男性年龄25-...…What图解–续………客户群A客户群B客户群C客户群D客户群E客户群F…用户标识和特征…用户精细划分精准营销Why?-为网通带来新价值精准广告收入合作模式:与网络广告商、传统广告商、SP、广告联盟分成精准的用户属性将大幅度提高广告的价值,让每一次PageView都变成金子自营模式:个性化内容推送[例子:“一对一”的个性化号百和12580]想用户所想,急用户所急直销(DM)分成收入:与最终厂商合作提升ARPU值,快速拓展新用户采用精准的营销策略带动用户升速分析升速用户的行为习惯:什么样的用户需要升速?什么样的SP会吸引升速用户?通过DM捆绑销售和优惠的接入价格快速拓展新用户在新竞争格局中领先一步,形成良性的循环:更低的接入价格带来更多的用户,获得更多的增值业务收入How?–HyperCloud解决方案技术架构核心处理算法演示ROI分析低成本和可靠的海量存储子系统平滑可扩展的分布式运算子系统高吞吐率的运营服务子系统低成本和可靠的海量存储子系统多级别存储,成本降到300$/TB无需RAID支持,%可用性多元数据服务器,管理亿级数量文件可在线扩展至PB级规模条带化存储,多数据通路聚合支持对象存储(OSD)接口I/O缓存平滑可扩展的分布式运算子系统3M架构:借鉴Google的分布式计算架构,针对海量数据挖掘的需求对单点性能和多点负载均衡作最大限度的优化Key-ValueQuerywithMemoryCache突破Key-ValueQuery的瓶颈,单点上亿条规模Key-Value对的查询时间小于200ms(传统DB的1/20),Dell1950DualQuad-Core,(Column-based)结构,突破RangeQuery的瓶颈,单点上亿条记录的RangeQuery(selectxfromtwherea<yandy<b)小于1000ms,为传统DB的1/10,Dell1950DualQuad-Core,-reduce分布式计算架构,处理100G的文本时间小于10min(10*Dell1950DualQuad-Core,)高吞吐率的运营服务子系统MemcacheClusterMySQLCluster(ndb)ADWords/UserSearchEngineNiginxSquidSquidLVS(softF5)DNS,Billing…核心处理算法(1)-基础发现用户真正的点击行为改进的贝叶斯算法过滤超过95%的垃圾或广告流量语义分析技术单字和词库结合的中文智能分词技术大规模统计分析基础上的机器学习从亿万网页中发现词的相关性从单个页面中发现最重要的词面向数据挖掘优化的海量计算将传统的DataMining算法移植到分布式平台上,实现PB级数据上快速聚类和分类快速关联分析