更新时间:2024-04-03 16:09
AIC信息准则即Akaike information criterion,是衡量统计模型拟合优良性(Goodness of fit)的一种标准,由于它为日本统计学家赤池弘次创立和发展的,因此又称赤池信息量准则。它建立在熵的概念基础上,可以权衡所估计模型的复杂度和此模型拟合数据的优良性。
数字信号处理中对多种模型作选择的判别方法。
在一般的情况下,AIC可以表示为: AIC=2k-2ln(L)
其中:k是参数的数量,L是似然函数。
假设条件是模型的误差服从独立正态分布。
让n为观察数,SSR(SUM SQAURE OF RESIDUE)为残差平方和,那么AIC变为: AIC=2k+nln(SSR/n)
增加自由参数的数目提高了拟合的优良性,AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。假设在n个模型中做出选择,可一次算出n个模型的AIC值,并找出最小AIC值相对应的模型作为选择对象。
赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。
1971年由赤池弘次提出,该准则于1973年以概念简介的形式发表。1974年首次出现在赤池弘次发表的正式论文中。截止2018年6月,该论文已被超过4万次引用。
AIC公式如图1所示。
其中e^(2k/T)为惩罚因子(penalty factor)。
AIC指标是常用的利用趋势估计预测模型的指标之一,其他三种主要指标为Mean Squared Error (MSE),s^2和Schwarz information criterion (SIC)。s^2和SIC的penalty factor依次为(T/T-K)及T^(k/T)。
假设自由度从0变动到0.2,s^2、AIC及SIC的惩罚因子的变化将如图2所示:其中s^2的惩罚因子最为敏感,AIC次之,SIC的惩罚因子敏感度最低。
1. AICc
AICc首次由Sugiura提出,在样本小的情况下,AIC转变为AICc,公式如图3:
Burnham和Anderson(2004)提出,当n增加时,AICc收敛成AIC。所以AICc可应用在任何样本大小的情况下.
McQuarrie 和 Tsai(1998)把AICc定义为:
McQuarrie 和 Tsai提出的另一个紧密相关指标为AICu:
2. QAIC(Quasi-AIC)
QAIC公式表达为:
其中:c是方差膨胀因素。
因此QAIC可以调整过度离散(或者缺乏拟合)。
另外,在小样本情况下, QAIC表示为: