逐步回归法的基本思想
当多重线性回归方程中所包括的自变量是研究者根据专业知识和经验事先选择好的可采用前述强迫引入法。
然而,在许多回归分析的应用中,由于没有清晰的理论依据,回归模型所包含的自变量难以预先确定,如果将一些不重要的自变量也引入方程,会降低模型的精度,因此选择有意义的自变量常常是回归分析的第一步。
选择自变量的方法有多种,其基本思路是尽可能将回归效果显著的自变量选入回归方程中,而将作用不显著的自变量排除在外。逐步回归是实际应用中普遍使用的一类方法,按照引入变量的顺序不同分为如下方法。
逐步回归法(stepwise regression)本质上是前向选择法,但每引入一个自变量进入方程后,都要对方程中的每个自变量做基于偏回归平方和的F检验,看是否需要剔除一些退化为“不显著”的自变量,以确保每次引入新变量之前方程中只包含有“显著”作用的自变量。
这一双向筛选过程反复进行,直到既没有自变量需要引入方程,也没有自变量从方程中剔除为止,从而得到一个局部最优的回归方程。