文档介绍：对信息准则的认识
Knowledge of information standards
【摘要】为了在一组可供选择的模型中选取一个最优的模型，常常需要对统计模型的拟合程度进行衡量，本文介绍了几种衡量统计模型拟合优良性信息准则标准，通划分，如果以P(Di)表示事件Di 发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，
如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。(如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法)；
如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。(如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络)；
如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。(如首先要估计是什么分布，再估计参数。常见的是非参数估计)。

贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。贝叶斯方法更适用于下列场合：
样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。
试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点:第一，要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2)，或L类参考总体 D1，D2,…，DL(如良好、满意、可以、不满意、不允许、……)；第二，各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。显然，0WP(Di)W1，(i=l，2,…，L)，EP(Di)=1o
对于两类故障诊断问题，就相当于在识别前已知正常状态D1的概率户(D1) 和异常状态0：的概率P(D2)，它们是由先验知识确定的状态先验概率。如果不做进一步的仔细观测，仅依靠先验概率去作决策，那么就应给出下列的决策规则：若P(D1)>P(D2)，则做出状态属于D1类的决策;反之，则做出状态属于D2类的决策。例如，某设备在365天中，有故障是少见的，无故障是经常的，有故障的概率远小于无故障的概率。因此，若无特B，j明显的异常状况，就应判断为无故障。显然，这样做对某一实际的待检状态根本达不到诊断的目的，这是由于只利用先验概率提供的分类信息太少了。
HQ信息准则
在信息准则法中，除了上述最常用的两个信息准则之外，还有一些其他的信息准则如HQ等。
HQ准则的基本思路与AIC和BIC基本一致，其区别仅仅在于对新增参数损害预测精度的惩罚力度不同。HQ的具体准则公式为：
HQ =竺Gn(n)2妇〃(8)
n
其中：ee为残差平方和，k为待估计参数的