07 第七章 多元（重）线性回归.ppt

第1页：第七章 多元（重）线性回归

Multiple linearregression第七章多元（重）线性回归

第2页：人的体重与身高胸围 血压值与年龄

人的体重与身高、胸围 血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史 糖尿病人的血糖与胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂 射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、与照射的时间例子

第3页：多元回归分析数据格式

多元回归分析数据格式

第4页：第一节多元线性回归一

第一节多元线性回归一、回归模型简介

第5页：多元线性回归模型的一般形式

（一）多元线性回归模型的一般形式

第6页：多元线性回归分析的一般步骤

（二）多元线性回归分析的一般步骤

第7页：二、多元线性回归方程的建立

二、多元线性回归方程的建立

第8页：

第9页：

第10页：

第11页：

第12页：各变量的离差矩阵

各变量的离差矩阵

第13页：各变量的离差矩阵

各变量的离差矩阵

第14页：建立多元回归方程

建立多元回归方程

第15页：三、多元线性回归方程的假设检验及其评

三、多元线性回归方程的假设检验及其评价

第16页：回归方程的方差分析（所有回归系数为0）

（一）回归方程的方差分析（所有回归系数为0）

第17页：有关计算公式

有关计算公式

第18页：有关评价指标

（二）有关评价指标

第19页：软件有关结果Root MSE （残差标准

软件有关结果Root MSE （残差标准差）2.00954 R-Square （决定系数）0.6008Adj R-Sq （校正决定系数）0.5282Dependent Mean 应变量的均值＝11.92593

第20页：1残差标准差

1.残差标准差（Root MSE）反映了回归方程的精度，其值越小说明回归效果越好

第21页：2决定系数

2.决定系数（determination coefficient）说明所有自变量能解释Y变化的百分比。取值（0，1），越接近1模型拟合越好

第22页：3复相关系数

3.复相关系数（multiple correlationcoefficient） 说明所有自变量与Y间的线性相关程度。即观察值Y与估计值之间的相关程度。如果只有一个自变量，此时

第23页：4校正决定系数

4.校正决定系数（Adjusteddetermination coefficient）

第24页：四、各自变量贡献大小的假设检验及其评

四、各自变量贡献大小的假设检验及其评价

第25页：（一）各回归系数的t检验

（一）各回归系数的t检验Parameter Standard StandardizedVariable DF Estimate Error t Value Pr > |t| Estimate变量自由度回归系数标准误t值P值标准化回归系数Intercept 22 5.94327 2.82859 2.10 0.0473 0X1 22 0.14245 0.36565 0.39 0.7006 0.07758X2 22 0.35147 0.20420 1.72 0.0993 0.30931X3 22 -0.27059 0.12139 -2.23 0.0363 -0.33948X4 22 0.63820 0.24326 2.62 0.0155 0.39774

第26页：标准化回归系数变量回归系数bj

（二）标准化回归系数变量回归系数bj标准化回归系数b’jljj标准差SX10.142450.0775866.01031.5934 X20.351470.30931172.36482.5748 X3-0.27059-0.33948350.31063.6706 X40.63820.3977486.44071.8234 Y222.55192.9257

第27页：偏回归平方和（sum of

（三）偏回归平方和（sum of squaresfor partial regression）及其F检验是在其它自变量存在于回归方程中的条件下，考察某一自变量Xj对应变量Y的回归效应；j=1,2,…,m

第28页：实例计算

本页源文件仅提取到少量文字（多为页码或符号残片），建议对照原课件图片补充本页要点说明。

第29页：第二节自变量的选择

第二节自变量的选择1. 变量多增加了模型的复杂度2. 计算量增大3. 估计和预测的精度下降4. 模型应用费用增加

第30页：一、全局择优法根据一些准则（crit

一、全局择优法根据一些准则（criterion）建立“最优”回归模型 校正决定系数（考虑了自变量的个数） Cp准则（C即criterion，p为所选模型中变量的个数；Cp接近（p+1）模型为最优） AIC(Akaike’s Information Criterion)准则；AIC越小越好

第31页：校正决定系数

校正决定系数（Adjusteddetermination coefficient）

第32页：Cp准则的计算公式

（一）Cp准则的计算公式

第33页：AIC准则的计算公式

（二）AIC准则的计算公式

第34页：应用以上准则如何选择模型

应用以上准则如何选择模型？求出所有可能的回归模型（共有2m－1个）对应的准则值；按上述准则选择最优模型

第35页：SAS获得的几个准则值结果

SAS获得的几个准则值结果ADJRSQCPAICADJRSQCPAICx2x3x40.54563440.343x2x30.40748346.66x1x2x3x40.52823542.157x1x30.37522348.091x1x3x40.48797443.568x40.34653248.405x1x2x40.44683445.655x10.28443250.857x1x40.44137345.07x1x20.27478352.116x2x40.4395345.16x30.23063252.814x3x40.43542345.356x20.17864254.579x1x2x30.40756447.507

第36页：全局择优法的局限性如果自变量个数为4

全局择优法的局限性如果自变量个数为4，则所有的回归有24－1＝15个；当自变量数个数为10时，所有可能的回归为210－1＝1023个；。。。。。。；当自变量数个数为50时，所有可能的回归为250－1≈1015个。

第37页：二、逐步选择法1. 前进法（forw

二、逐步选择法1. 前进法（forward selection）2. 后退法（backward elimination）3. 逐步回归法（stepwise regression）。它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的F检验

第38页：前进法自变量从无到有

（一）前进法自变量从无到有、从少到多1.Y对每一个自变量作直线回归，对回归平方和最大的自变量作F检验，有意义（P小）则引入。2.在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F检验，…。局限性：即后续变量的引入可能会使先进入方程的自变量变得不重要。

第39页：后退法先将全部自变量放入方程

（二）后退法先将全部自变量放入方程，然后逐步剔除1.偏回归平方和最小的变量，作F检验及相应的P值，决定它是否剔除（P大）。2.建立新的回归方程。重复上述过程。局限性：自变量高度相关时，可能得不出正确的结果。

第40页：逐步回归法双向筛选

（三）逐步回归法双向筛选；引入有意义的变量（前进法），剔除无意义变量（后退法）小样本检验水准a定为0.10或0.15，大样本把值定为0.05。值越小表示选取自变量的标准越严。注意，引入变量的检验水准要小于或等于剔除变量的检验水准。

第41页：逐步回归法实例(令α入＝α出＝0.10)

逐步回归法实例(令α入＝α出＝0.10)

第42页：逐步回归法实例（第一步）

逐步回归法实例（第一步）模型SS回SS残SS总Y与X

各模型SS回与SS残之和均为222.5519，与SS总一致。

Y与X169.4251153.1267222.5519Y与X246.7873175.7645222.5519Y与X357.9133164.6386222.5519

第43页：逐步回归法实例（第二步）模型SS回SS偏

逐步回归法实例（第二步）模型SS回SS偏回SS残F值P值Y与X482.7144 Y与X4 X1107.7903 25.0759114.76155.24410.0311Y与X4 X2107.4074 24.6931 115.14445.14690.0326Y与X4 X3106.5683 23.8539 115.98364.93600.0360

第44页：逐步回归法实例（X1剔除否）模型SS回

逐步回归法实例（X1剔除否）模型SS回SS偏回SS残F值P值Y与X169.425138.3652Y与X482.7144 25.07595.24410.0311Y与X4 X1107.7903 114.7615

第45页：逐步回归法实例（第三步）模型SS回SS偏

逐步回归法实例（第三步）模型SS回SS偏回SS残F值P值Y与X4 X1107.7903Y与X4 X1 X2113.6472 5.8569Y与X4 X1 X3121.7480 13.9577100.80383.18470.0875

第46页：逐步回归法实例（X4/X1/X3剔除否）

逐步回归法实例（X4/X1/X3剔除否）变量模型SS回SS偏回SS残F值P值Y与X4 X1 X3121.7480 100.804X1Y与X4 X3106.568315.1797 X3Y与X4 X1107.7903 13.95773.1847 0.0870X4Y与X1 X394.202627.5454

第47页：逐步回归法实例（第四步）模型SS回SS偏

逐步回归法实例（第四步）模型SS回SS偏回SS残F值P值Y与X4 X1 X3 X2133.710711.9627 88.84122.9624 0.099Y与X4 X1 X3 121.7480

第48页：逐步回归法实例（是否剔除）变量模型SS回

逐步回归法实例（是否剔除）变量模型SS回SS偏回SS残F值P值Y与X4 X1 X3 X2133.7107 88.8412 X2Y与X4 X1 X3 121.7480 11.9627 X1Y与X4 X3 X2133.0978 0.61290.1518 0.7006 X3Y与X4 X1 X2113.6472 20.0635 X4Y与X1 X3 X2105.9167 27.7940

第49页：逐步回归法实例（是否剔除）变量模型SS回

逐步回归法实例（是否剔除）变量模型SS回SS偏回SS残F值P值Y与X4 X3 X2133.0978 89.4540 X4Y与X3 X2100.8292 32.2686 X3Y与X4 X2107.4074 25.6904 6.6054 0.0171 X2Y与X4 X3106.5683 26.5295

第50页：例15-3的方差分析结果

例15-3的方差分析结果变异来源自由度SSMSFP总变异26222.5519回归

残差2389.4543.889

第51页：例15-3的回归系数

例15-3的回归系数及其检验

第52页：第三节多元线性回归的应用及其注

第三节多元线性回归的应用及其注意事项

第53页：一、应用 影响因素分析

一、应用 影响因素分析，控制混杂因素 预测：由自变量值推出应变量Y的值 控制：指定应变量Y的值查看自变量的改变量

第54页：二、应用条件

二、应用条件

第55页：三、应用的注意事项

三、应用的注意事项

第56页：变量的数量化（1）自变量为连续型变量

• 变量的数量化
• 自变量为连续型变量：必要时作变换
• 自变量为有序变量：依次赋值，如疗效好中差，可分别赋值3、2、1
• 自变量为二分类：如令男＝1，女＝0
• 自变量为名义分类：需要采用哑变量（dummy variables）进行编码

第57页：名义分类变量的哑变量化假如职业分类为工

名义分类变量的哑变量化假如职业分类为工、农、商、学、兵5类，则可定义比分类数少1个，即4个哑变量。编码方法如下：

第58页：样本含量观察个体数n与变量个数m

（二）样本含量观察个体数n与变量个数m的比例一般至少应为：n : m＝5～10

第59页：统计“最优”与专业的“最优” 不同准则

（三）统计“最优”与专业的“最优” 不同准则、方法得出的“最优”方程不同； 不同的引入、剔除标准获得的“最优”方程不同； 方程还受数据的正确性、共线性影响

第60页：多重共线性自变量间存在着线性关系

（四）多重共线性自变量间存在着线性关系，使一个或几个自变量可以由另外的自变量线性表示时，称为该变量与另外的自变量间存在有共线性(collinearity)。回归系数的符号与由专业知识不符 变量的重要性与专业不符

第61页：多重共线性的识别与解决办法整个方程决定系

多重共线性的识别与解决办法整个方程决定系数R2高，但各自变量对应的回归系数均不显著。解决共线性的主要方法： 筛选自变量 用主成分回归 岭回归。

第62页：交互作用当某一自变量对应变量的作用大小

（五）交互作用当某一自变量对应变量的作用大小与另一个自变量的取值有关时，则表示两个变量有交互作用（interaction）。检验两变量间有无交互作用，普遍的做法是在方程中加入它们的乘积项再做检验。如考察X1、X2间的交互作用，可在模型中加入X1X2项。

第63页：残差分析(检验应用条件)

（六）残差分析(检验应用条件)

第64页：(用标准化残差发现异常点)一般标准化残差

（六）(用标准化残差发现异常点)一般标准化残差绝对值大于2考虑为异常点（outlier）（也称离群值）

第65页：偏相关系数

（七）偏相关系数

第66页：几个相关系数的区别

几个相关系数的区别

第67页：多元回归计算程序SPSS计算见书

（八）多元回归计算程序SPSS计算见书P448SAS计算程序见书P479