AIC是评估统计模型复杂度和衡量统计模型拟合优良性（Goodness of fit）的一种标准。AIC建立在信息熵的概念基础上。
AIC越小，模型越好，通常选择AIC最小的模型。
在一般情况下，AIC可以表示为：
AIC=2k-2ln(L)
其中：k是参数的数量，L是似然函数。贝叶斯决策理论是在不完全情况下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯信息准则的表达式为：
BIC=ln(n)k-2ln(L)
其中，k为模型参数个数，n为样本数量，L为似然函数。
ln(n)k惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。AIC和BIC的原理是不同的，AIC是从预测角度，选择一个好的模型来预测，BIC是从拟合角度，选择一个对现有数据拟合最好的模型。
二者的相同点：
构造这些统计量所遵循的统计思想是一致的，就是在考虑拟合残差的同时，依自变量个数施加“惩罚”。
不同点：
BIC的惩罚项比AIC大，考虑了样本个数，样本数量多，可以防止模型精度过高造成的模型复杂度过高。
AIC和BIC前半部分是一样的，BIC考虑了样本数量，样本数量过多时，可以有效防止模型精度过高造成的模型复杂度过高。
AIC和BIC前半部分是惩罚项，由于BIC比AIC在大数据量时对模型参数惩罚的更多，导致BIC更倾向于选择参数少的简单模型
