文档介绍：挖掘原语,语言和体系结构
数据挖掘原语
数据挖掘语言
数据挖掘系统体系结构
总结
数据挖掘原语划分
挖掘相关的数据
挖掘的知识类型
背景知识
模式的兴趣度量
结果的表示与可视化
任务相关数据
数据库(或数据仓库)名称
例如:AllElectronics_db
数据库表(或数据仓库的立方体)
例如:表item,customer,purchase,items_sold
数据选择条件
例如:选取本年度加拿大地区购买商品的数据
选取条件可能在概念上层次高于DB/DW的数据
如:”type=home entertainment”,DB/DW中数据{tv,cd player,vcr}
有关的属性(或维)
例如:item表的name,price属性;e,age属性。
系统应具备自动选取相关属性的机制,比如通过评估各属性与特定操作的相关程度。
数据分组的标准
例如:根据日期进行分组
挖掘的知识类型
描述(characterization)
区别分析(discrimination)
关联(association)
分类/预测(classification/prediction)
聚类(clustering)
例:
用户如果想发掘AllElectronics数据库中用户的购买习惯,可能会选择下面关联规则:
P(X:customer,W)^Q(X,Y)=>buys(X,Z)
X是customer表的主键,P,Q是谓词变量(在相关数据中定义),W,Y,Z是目标变量。可能的挖掘结果是:
age(X,”30…39”) ^ e (X,”40k…49k”) => buys(X,”VCR”) [%,60%]
accupation(X,”student”)^age(X,”20…29”)=>buys(X,”computer”) [%,70%]
背景知识:概念层次
概念层次
模式层次(schema hierarchy)
例:Street<city<province_or_state<country
集合-分组层次(set-grouping hierarchy)
例: {young,middle_aged,senior}<all(age)
{20-39} = young, {40-59} = middle_aged
基于操作层次(operation-derived hierarchy)
包括信息解码,复杂数据对象的信息提取,数据聚类,数据分布分析算法等
例: email address: login-name < department < university < country
基于规则层次(rule-based hierarchy)
例: low_profit_margin (X) <= price(X, P1) and cost (X, P2) and (P1 - P2) < $50
用户对数据间关系的预测
可以用于评价挖掘模式的兴趣度量
模式兴趣度量
简洁性(simplicity)
如:(关联) 规则长度, (决策) 决策树规模大小
确定性(certainty)
如:confidence, P(A|B) = n(A and B)/ n (B),
classification reliability or accuracy ( also known as rule reliability , rule strength, rule quality, certainty factor, discriminating weight )等.
有用性(utility)
如:support (association),s(A=>B)=n(A nd B)/n(all),
noise threshold (description)
新颖程度(novelty)
如:not previously known, surprising (used to remove redundant rules, ., Canada vs. Vancouver rule implication support ratio
结果模式的可视化
挖掘系统应能够用多种形式来显示发掘出来的模式
如:规则,表,报表,图表,图,决策数和立方体
挖掘系统应能够支持挖掘结果的多种操作
如:drill-down , roll-up , slicing , dicing ,rotation…
DMQL——一个数据挖掘语言
动机
为了能提供交互式数据挖掘能力
通过提供一个类似SQL的语言
希望能像SQL语言一样成为挖掘标准语言
希望成为系统开发和演化(evolution)的基础
希望促进信息交换,技术转移,商业化并获得广泛承认
设计
DMQL 在前面介绍