总结：线性回归分析的基本步骤

步骤一、建立模型

知识点：

1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。YXU

特点：由于随机误差项U的存在，使得Y和X不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X）与每周消费（Y）数据如下： 每周收入（X） 80 100 120 140 160 180 200 220 240 260 55 65 79 80 102 110 120 135 137 150 60 70 84 93 107 115 136 137 145 152 每周消费支出（Y） 65 74 90 95 110 120 140 140 155 175 70 80 94 103 116 130 144 152 165 178 75 85 98 108 118 135 145 157 175 180 88 113 125 140 160 1 185 115 162 191 作出其散点图如下：

2001801601401201008060404080120160X200240280Y ②总体回归方程（线）：由于假定EU0，因此因变量的均值与自变量总处于一条直线上，这条直线EY|XX就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例 1）对第一个Xi，求出E(Y|Xi)。 每周收入（X） 80 100 120 140 160 180 200 220 240 260 55 65 79 80 102 110 120 135 137 150 60 70 84 93 107 115 136 137 145 152 每周消费支出（Y） 65 74 90 95 110 120 140 140 155 175 70 80 94 103 116 130 144 152 165 178 75 85 98 108 118 135 145 157 175 180 88 113 125 140 160 1 185 115 162 191 E(Y|Xi) 65 77 101 113 125 137 149 161 173 由于EYi|Xi01Xi，因此任意带入两个Xi和其对应的E(Y|Xi)值，即可求出0和1，并进而得到总体回归方程。

如将X2100,EY2|X277和X7200,EY7|X7137代入

7701001017EYi|Xi01Xi可得：

1372000.6011以上求出0和1反映了E(Y|Xi)和Xi之间的真实关系，即所求的总体回归方程为：EYi|Xi170.6Xi，其图形为：

Y vs. X2001801601401201008060404080120160X200240280Y ③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。如在例1中，通过抽样考察，我们得到了20个家庭的样本数据： 每周收入（X） 80 100 120 140 160 180 200 220 240 260 55 65 79 80 102 110 120 135 137 150 每周消费支出（Y） 70 84 93 107 136 137 145 152 110 175 那么描述样本数据中因变量Y和自变量X之间非确定依赖关系的模型

ˆe就称为样本回归模型。 YXˆ，得到样本观测值的拟合④样本回归方程（线）：通过样本数据估计出ˆ称为样本回归方程。如下图所示：ˆX值与解释变量之间的关系方程Y

Y vs. X180160140120Y1008060404080120160X200240280 ⑤四者之间的关系：

ⅰ：总体回归模型建立在总体数据之上，它描述的是因变量Y和自变量X之间的真实的非确定型依赖关系；样本回归模型建立在抽样数据基础之

上，它描述的是因变量Y和自变量X之间的近似于真实的非确定型依赖

ˆ是其真实值的一种关系。这种近似表现在两个方面：一是结构参数近似估计；二是残差

e是随机误差项U的一个近似估计；

ⅱ：总体回归方程是根据总体数据得到的，它描述的是因变量的条件均值E(Y|X)与自变量X之间的线性关系；样本回归方程是根据抽样数据得到

ˆ与自变量X之间的线性的，它描述的是因变量Y样本预测值的拟合值Y关系。

ⅲ：回归分析的目的是试图通过样本数据得到真实结构参数的估计值，

ˆ足够接近真实值。由于抽样数据有多种可能，每一并要求估计结果ˆ都不会相同，即的估计量ˆ是一个随机变量。次抽样所得到的估计值因此必须选择合适的参数估计方法，使其具有良好的统计性质。 2、随机误差项U存在的原因： ①非重要解释变量的省略 ②人的随机行为 ③数学模型形式欠妥

④归并误差（如一国GDP的计算） ⑤测量误差等

3、多元回归模型的基本假定 ①随机误差项的期望值为零E(Ui)0

②随机误差项具有同方差性Var(ui)2 i1,2,,n

③随机误差项彼此之间不相关Cov(ui,uj)0 ij ; i,j1,2,,n ④解释就变量X1,X2,···,Xk为确定型变量，与随机误差项彼此不相关。

Cov(Xij,uj)0 i1,2,,k j1,2,,n

⑤解释就变量X1,X2,···,Xk之间不存在精确的（完全的）线性关系，即解释变量的样本观测值矩阵X为满秩矩阵：rank(X)=k+1步骤二、参数估计

知识点：

1、最小二乘估计的基本原理：残差平方和最小化。 2、参数估计量：

xiyiˆ1xi2 ① 一元回归：ˆˆ0Y1X1TˆXXXY ② 多元回归：

3、最小二乘估计量的性质（Gauss-Markov定理）：

ˆ是的最优线性无偏估在满足基本假设的情况下，最小二乘估计量计量（BLUE估计量）

步骤三、模型检验

1、经济计量检验（后三章内容） 2、统计检验 ①拟合优度检验 知识点：

ⅰ：拟合优度检验的作用：检验回归方程对样本点的拟合程度 ⅱ：拟合优度的检验方法：计算（调整的）样本可决系数R2/R2

R2RSSESS1TSSTSS，R21ESS/nk1

TSS/n1注意掌握离差平方和、回归平方和、残差平方和之间的关系以及它们

的自由度。

计算方法：通过方差分析表计算 方差来源 离差平方和 回归平方和 残差平方和 符号 TSS RSS ESS 计算公式 自由度(d.f.) n-1 k n-k-1 均方值(MSS) YiYi2 YiYi2/n-1 2iˆYYi2iˆYYi/k iˆYiY2iˆYiY2/ n-k-1 例2：下表列出了三变量（二元）模型的回归结果：

方差来源 离差平方和TSS 回归平方和RSS 残差平方和ESS 1） 样本容量为多少？

解：由于TSS的自由度为n-1，由上表知n-1＝14，因此样本容量n=15。 2） 求ESS

解：由于TSS＝ESS＋RSS，故ESS＝TSS－RSS＝77 3） ESS和RSS的自由度各为多少？

解：对三变量模型而言，k=2，故ESS的自由度为n-k-1＝12 RSS的自由度为k＝2 4） 求R2和R2

2解：R平方和（SS） 自由度 66042 65965 14 均方值 RSS65965ESS/nk10.9988，R210.9986 TSS66042TSS/n1

②回归方程的显著性检验（F检验）

目的：检验模型中的因变量与自变量之间是否存在显著的线性关系 步骤：1、提出假设：

H0:12...k0H1:至少有一j0 , j1,2,...,k

2、构造统计量：FRSS/k~F(k,nk1)

ESS/nk1 3、给定显著性水平，确定拒绝域FFk,nk1 4、计算统计量值，并判断是否拒绝原假设

例3：就例2中的数据，给定显著性水平1%，对回归方程进行显著性检验。

解：由于统计量值FRSS/k65965/25140.13，

ESS/nk177/12又F0.012,126.93，而F5140.13F0.012,126.93

故拒绝原假设，即在1%的显著性水平下可以认为回归方程存在显著的线性关系。

附：R与F检验的关系：

RSSRSSR2RRSSESS2R2/kTSSESSRSS1R由于 F2RSS/k1R/nk1 又FESS/nk122③解释变量的显著性检验（t检验）

目的：检验模型中的自变量是否对因变量存在显著影响。 知识点：

多元回归：Sˆe2iink1Ci1,i1，其中Ci1,i1为XX中位于第i+1行

1和i+1列的元素；

一元回归：Sˆ0eXnn2x2i2i2i,Sˆ1n2xi2e2i

变量显著性检验的基本步骤：

1、提出假设：H0:i0 H1:i0 2、构造统计量：tS~t(nk1)

ˆiˆi3、给定显著性水平，确定拒绝域tt/2(nk1) 4、计算统计量值，并判断是否拒绝原假设 例4：根据19个样本数据得到某一回归方程如下：

ˆ58.90.2X0.1XY12se (0.0092) (0.084)

试在5%的显著性水平下对变量X1和X2的显著性进行检验。

解：由于t/2(nk1)t0.025(16)2.12，故t检验的拒绝域为t2.12。对

自变量X1而言，其t统计量值为tˆ1Sˆ10.221.742.12，落入 0.0092拒绝域，故拒绝10的原假设，即在5%的显著性水平下，可以认为自变量X1对因变量有显著影响；

对自变量X2而言，其t统计量值为tˆ2Sˆ20.11.192.12，未落入拒0.084绝域，故不能拒绝20的原假设，即在5%的显著性水平下，可以认为自变量X2对因变量Y的影响并不显著。 ④回归系数的置信区间

目的：给定某一置信水平1，构造某一回归参数i的一个置信区间，使

i落在该区间内的概率为1

基本步骤：

1、构造统计量tˆiiSˆi~t(nk1)

2、给定置信水平1，查表求出水平的双侧分位数t/2(nk1)

ˆtS,ˆtS 3、求出i的置信度为1的置信区间ˆˆi/2i/2ii例5：根据例4的数据，求出1的置信度为95%的置信区间。 解：由于t0.025(16)2.12，故1的置信度为95%的置信区间为：

0.22.120.0092,0.22.120.00920.18,0.22

3、经济意义检验

目的：检验回归参数的符号及数值是否与经济理论的预期相符。 例6：根据26个样本数据建立了以下回归方程用于解释美国居民的个人消费支出：

ˆ10.960.93X2.09XY12t (3.33) (249.06) (3.09) R20.9996 其中：Y为个人消费支出（亿元）；X1为居民可支配收入（亿元）；X2为利率（%）

ˆ和ˆ的符号； 1） 先验估计12解：由于居民可支配收入越高，其个人消费水平也会越高，因此预期自变量X1回归系数的符号为正；而利率越高，居民储蓄意愿越强，消费意愿

ˆ应为负。相应越低，因此个从消费支出与利率应该存在负相关关系，即 22） 解释两个自变量回归系数的经济含义；

ˆ0.93表示，居民可支配收入每增加1亿元，其个人消费支出相应解：1会增加0.93亿元，即居民的边际消费倾向MPC＝0.93；

ˆ2.09表示，利率提高1个百分点，个人消费支出将减少2.09亿元。 2截距项表示居民可支配收入和利率为零时的个人消费支出为-10.96亿元，它没有明确的经济含义。 3） 检验1是否显著不为1；（5%） 解：1）提出假设：H0:11 H1:11

2）构造统计量：tˆ11Sˆ1~t(nk1)

3）给定显著性水平5%，查表得t/2(nk1)t0.025(23)2.07，故拒绝域为t2.07

ˆˆ0.931ˆSˆ10.003734 4）计算统计量值：由于t(1)1ˆSˆ249.06t(1)1则tˆ11Sˆ10.0718.752.07，落入拒绝域。故拒绝11 的原假设。

0.003734即在5%的显著性水平下，可认为边际消费倾向MPC显著不为1。 4） 检验2显否显著不为零；（5%） 解：1）提出假设：H0:20 H1:20

2）构造统计量：tˆ2Sˆ2~t(nk1)

3）给定显著性水平5%，查表得t/2(nk1)t0.025(23)2.07，故拒绝域为t2.07

ˆ)3.092.07，落入拒绝域，故拒绝原假4）计算统计量值：由于t(2设。即在5%的显著性水平下，可以认为2显著异于零。 5） 计算R2值；

ESS/nk1ESSn1n1111R2TSS/n1TSSnk1nk1解：由于

261110.99960.999572621R21

6） 计算每个回归系数的标准差；

ˆ10.960S3.29ˆ0ˆt(0)3.33ˆˆˆ0.93iiˆ解：由于t(i)SˆSˆ10.00373 i1ˆˆSˆ249.06t(i)t(1)iˆSˆ22.090.672ˆ)3.09t(27） 给出2置信水平为95%的置信区间；

ˆ2.09 , S解：由于ˆ220.67 , t0.025(23)2.07，故2置信水平为

95%的置信

区间为2.092.070.67 , 2.092.070.67-3.49 , -0.69 8） 对回归方程进行显著性检验； 解：提出假设：H0:120 H1:1或20

构造统计量FRSS/k~F(k,nk1)

ESS/nk1确定拒绝域：FF(k.nk1)F0.05(2,23)3.42 计算统计量并进行判断：

R2/k0.9996/228738.53.42 由于F20.0004/231R/nk1故拒绝原假设，即在5%的显著性水平下认为回归方程的线性关系显著成立。

步骤四：经济预测

ˆ可以看着是Y的条件均值EY|X和个别值Y的预测值，ˆX点预测：Y00000分别称为均值预测和个值预测；

ˆ是EY|X和Y的一个无偏估计量。 ˆX性质：Y00000区间预测：均值EY0|X0的区间预测

预测步骤：1）确定统计量：tˆEY|XY000SYˆ0~t(nk1)

其中SYˆ0e2ink1X0XXX01

2）给定置信水平1，确定EY0|X0的预测区间为：

Yˆt0/2ˆt(nk1)S(nk1)SYˆ,Yˆ0/2Y00

个值Y0的区间预测

ˆYe0Y00~t(nk1) 预测步骤：1）确定统计量：tSe0Se0其中Se01 1X0XXX0nk1e2i2）给定置信水平1，确定Y0的预测区间为：

Yˆt0/2ˆt(nk1)S(nk1)Se0,Y0/2e0

作业：

为解释某地对酒的消费，根据20年的样本数据得到了如下回归方程：

ˆ0.0140.354X0.018X0.657X0.059X Y1234其中：Y：每一成年人每年对酒的消费量（升）； ； X1：酒类的平均价格（元）

X2：个人可支配收入（元） X4：酒类广告投入（万元）

X3：酒类经营许可证数量（张）

1已知R20.6， C2,228.9014，XX对角线上的元素分别为C1,10.0576，回归方程的残差平方和ESS0.0375 C3,30.01，C4,428.3042，C5,50.4624，1） 先验地，你认为各自变量回归系数的符号为什么？ 2） 请完成以下方差分析表：

方差来源 离差平方和TSS 回归平方和RSS 残差平方和ESS 平方和（SS） 0.0375 自由度 均方值 3） 计算R2值

4） 对4个自变量进行显著性检验，并分析其经济含义； 5） 给出2置信水平为95%的区间估计； 6） 对方程进行显著性检验；