转载来源： http://BBS.pinggu.org/thread-2977718-1-1.html
AIC信息准则AIke信息编写是衡量统计模型适用性的标准，是由日本统计学家盛气凌人的长筒袜创立和发展起来的，因此也被称为ngdzs信息量准则。 这是基于熵的概念，可以权衡估计的模型复杂性和该模型拟合数据的优良性。
通常，AIC可以表示为AIC=2k-2ln(l )。 其中k是参数的数量，l是似然函数。 条件是模型的误差服从独立正态分布。 设n为观察数，RSS为剩馀平方和，则AIC为AIC=2knln(RSS/n )。
增加自由参数的数量可以提高拟合的优良性，AIC鼓励数据拟合的优良性，但避免发生过度的拟合。 因此，被优先考虑的模型必须具有最小的AIC值。 ngdzs信息准则的方法是寻找能最好地解释数据但自由参数最小的模型。
经常在建模很多数据时，特别是分类和回归模型，可以使用很多变量。 选择不同的变量组合可以得到不同的模型。 例如，有五个变量，有2的5次方，有32个变量的组合，可以训练32个模型。 但是哪个型号更好？ 目前，一般有以下方法：
AIC=-2ln(L ) 2 k中文名称： ngdzs信息量AK aike信息编写
BIC=-2ln(l ) ln ) n ) k中文名称：贝叶斯信息量Bayesian信息编写
HQ=-2ln(l ) ln ) n ) *k hannan-quinn criterion
这些统计量遵循的统计思想是一致的，在考虑拟合残差的同时，对每个自变量的个数给予“惩罚”。 但是，如果说是同样的指标的话，可能还是有点问题。 果然“惩罚”的力量不同。 另外，这些信息量的用途不仅限于模型的选择，也能够用于适当的变换的选择等。 那时，这些信息量又是另一个样子，也就是说它们有很多变化。 因此，也被称为AIC指南、BIC指南等。 它们中的每一个代表一系列标准，而不是简单的表达式。
请注意，这些规则只是描述了使用某个模型后，对“真实模型”的信息丢失(例如
这些规则理论上比较漂亮，但实际上应用于模型选择有点困难。 例如，上面提到有五个变量就有32个变量的组合，如果是10个变量呢？ 的10次方，不能对所有这些模型逐一验证AIC、BIC、HQ规则来选择模型，工作量太大。