加权最小二乘法

2017-12-30 来源:
一、问题与数据
在前期推送的有关多重线性回归的内容中,我们介绍了构建多重线性回归模型模型需要满足的4个核心条件:线性(Linear)、独立(Independence)、正态(Normality)、方差齐性(Equal variance),即LINE原则。今天我们就来继续讨论一下,如果残差不满足方差齐性时,应该如何解决?  

残差方差齐性判断

1. 残差方差齐性

回顾一下前面介绍过的残差方差齐性,即残差ei的大小不随预测值水平的变化而变化。我们在进行残差分析时,可以通过绘制标准化残差和标准化预测值的散点图来进行判断。若残差满足方差齐性,则标准化残差的散点会在一定区域内,围绕标准化残差ei=0这条直线的上下两侧均匀分布,不随标准化预测值的变化而变化,如图1所示。

图1. 标准化残差散点图(方差齐性)

2. 残差方差不齐

但有时残差不满足方差齐性的假设,其标准化残差散点图显示,残差的变异程度随着变量取值水平的变化而发生变化,如图2(a)显示标准化残差的分布随变量取值的增大而呈现扩散趋势,图2(b)显示标准化残差的分布随变量取值的增大而呈现收敛趋势,说明残差不满足方差齐性的条件。

图2. 标准化残差散点图(方差不齐)

加权最小二乘法

在多重线性回归模型中,我们采用的是普通最小二乘法(Ordinary Least Square,OLS)来对参数进行估计,即要求每个观测点的实际值与预测值之间的残差平方和最小,对于模型中的每个观测点是同等看待的,残差满足方差齐性的假设。

但是在有些研究问题中,例如调查某种疾病的

评论
请先登录后再发表评论
发表评论
使用课程券需先认证
为保证平台的学术氛围,请先完成认证,认证可享受以下权益
基础课程券2张
200积分
确认
取消
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可享受以下权益
基础课程券2张
200积分
确认
取消
APP下载 领课程券
扫码下载APP
领基础课程券
公众号
论文辅导
扫码添加小咖微信,为你定制一对一论文辅导方案!
AI小咖
会员服务
DRPP
积分商城
意见反馈