文档介绍:行业大数据应用开发和分析平台及案例应用
2000年后,随着互联网的快速发展,互联网中网页的数量呈几何式增长,大规模数据分析相关应用和技术开始倍受关注。至2000年底,全球网页的数量已达到40亿,互联网用户从网络中检索信息越来越不拘泥于具体实现细节,以完成应用功能为主要目的。面向服务的开发模式具有质量标准统一、技术资产积累快、复用率高等特点。
应用开发随需组装构件,完成业务流程,开发效率高。
(2)数据挖掘应用将受益于面向服务的开发模式:
图4行业数据挖掘应用的宏观过程
行业数据挖掘是由数据驱动且面向服务的。宏观上,行业数据挖掘应用以各种类型待分析的数据为输入,经过挖掘过程,为行业数据分析需求提供满足服务对象领域知识的挖掘结果(如图4所示),该过程满足面向服务的架构的定义。微观上,数据挖掘过程及各部分完成的任务是一个数据驱动且面向各种数据处理服务的(如图5所示)。
图5面向服务数据挖掘过程
以面向服务的开发模式实现数据挖掘应用的开发,可以简化复杂的数据挖掘算法流程,适应灵活多变的行业大数据应用开发和分析需求,提升高质量代码的服用,提升大数据应用开发和分析效率。
(3)核格行业应用开发和分析平台架构:
核格行业大数据应用开发和分析平台专业面向支持面向服务的大数据应用开发和分析模式,其基本架构如图6所示。
图6面向服务数据挖掘过程
(4)核格行业应用开发和分析平台核心功能:
1)可视化拖拽式应用开发与分析过程:
2)软件代码自动生成和动态应用部署:
3)
数据分析业务逻辑装配:
4)
数据处理服务装配:
5)
丰富的数据挖掘模型算法基础构件:
6)
个性化服务构件创建:
应用案例
快速消费品(FastMovingConsumerGoods,FMCG)是指那些使用寿命短,消费速度快的消费品。从其定义可以看出,该类产品依靠消费者高频次和重复的使用与消耗,并通过规模化的市场量来获得利润和价值。因此,该类商品具有如下一些属性:
(1)产品周转周期短;
(2)进入市场的通路短而宽;
(3)售后服务的重点主要体现在对客户的意见迅速反馈并有效处理。
此外,快速消费品与其它类型消费品相比,其客户购买策略和购买过程有着明显的差别。快速消费品属于冲动型购买产品,即兴的采购决策,主要取决于个人偏好,产品的固有属性(如外观、包装、广告促销、价格、销售点等)对其销售量起着重要作用。因此,消费者评价分析和产品属性改进的及时性是决定营销方案的重要依据,相关数据的搜集和整理具有重要的情报价值。
快消品的消费者调查数据应以高效、准确、客观的方式获取。传统的研究消费者的方法主要基于消费问卷调查等结构化数据完成。对于快消品来说,这类方法存在诸多弊端。首先,调查问卷主要以销售方主观的问题设置为主,这种方式与调查目的相悖。其次,调查问卷数据搜集的效率存在不足,发放问卷的过程十分繁琐,并且很可能会适得其反。第三,调查问卷的结果准确性存在不足,不同的消费者其体验存在差异,搜集数据量足够大的调查结果十分困难,而在调查结果不足的情况下分析的结论可信度不高。
以非结构化的电商消费者评价数据作为消费者调查数据具有较高的可行性。首先,宝洁公司是世界上最早开始实践商业智能的公司,并已经与很多第三方电商平台(如阿里巴巴)合作获得,高效的获得自