2023年整理北京大学经济学院极大似然估计.docx

《2023年整理北京大学经济学院极大似然估计.docx》由会员分享，可在线阅读，更多相关《2023年整理北京大学经济学院极大似然估计.docx（12页珍藏版）》请在第一文库网上搜索。

1、第二章极大似然估计（M1E）第O节基础知识回顾：O1S一例子假设一个基金的投资组合（“基金XXX）的超额I可报和股市指数的超额I可报，有如下的数据：直觉上，该基金的beta（beta测量股票对股市指数的反应）应该是一个正数，我们希望证实这种关系。画这2个变量的散点图：对于一条直线，可以用以下的方程,来拟合数据。y=a+bx不过这个方程Ga+公）是完全确定的，与实际情况不符合。要在这个方程里加入一个挠动项。y1=a+xt+U1式中f=1,2,3,4,5用直线来拟合数据最常用的方法是普通最小二乘法（ordinary1eastsquares,O1S）：取每个数据点到拟合直线的垂直距离，选择参数。、使

2、得平方距离之&2最小化（eastr=1squares）o挠动项能够反映数据的一些特征:我们经常会忽略一些影响y.的因素，不可能把影响y的所有的的随机因素都在模型中考虑。=2=/-I（y1-d-t）2求解两个参数：-2(-)=(z-AJ=O这就是O1S。整理得到:在上例中，把数据代入公式得:yt=-1.741.64xr根据这个结果，如果预期下一年的市场回报将会比无风险回报高20%,那么你预期基金XXX的回报将会是多少？yi=-1.74+1.6420=31.06二.概念：线性和非线性运用O1S,要求模型对参数（和夕）是线性的。”对参数线性”意味着参数之间不能乘、除、平方或n次方等。在实际中变量之间

3、的关系很有可能不是线性的。某些非线性的模型可以通过变换转化为线性模型，例如指数回归模型：Y1=eaXeuOInY1=a+nXt+u1令M=InY,及Xr=InXtyt=a+xt+u1但是，很多模型从本质上讲是非线性的，例如:y1=a+x1+u1三.O1S的优良性质对小（不可观测的误差项作如下假设）在O1S回归模型中,作如下架设：1. E(m,)=02. Var(W)=23. CV(Wj,M)=O4. Cov(wfC)=O误差项的均值为零误差项的方差是常数误差项相互独立的误差项和解释变量不相关以上假设成立时，O1S有如下三个良好性质。一致性最小二乘估计是一致的。这意味着，当样本数趋向于无穷大时，

4、估计值将收敛于它们的真实值（需要假设E（XM）=O和Var(w)=2=0b0无偏性最小二乘估计式是无偏的，意味着估计值的期望等于真实值.E(a)=aandE()=为了保持无偏性需要假设E(r)=O和Cov(%M)=0。无偏性比一致性更强。有效性在所有的线性无偏的估计式中，O1S估计式的方差是最小的，即O1S估计的参数力与真实值尸出现大的偏差的概率最小。FigureSaM*ngDistribubomOfEstBmxon四.统计推断用标准误差来度量参数估计值的可靠程度。在假设1-4成立的条件下，估计值的标准误差可以写成假设1N(0,2),则O1S统计量服从正态分布：6N(,Var()6N(以Var

5、(Q)如果挠动项不服从正态分布，最小二乘的估计式还是正态分布吗？样本数足够大时，答案是：是的。从估计式&和构造标准正态分布：N(O1)N(O1)但是，由于不知道var(a)和var(),我们用下面的分布加以替代。,t砺k砺Z分布和标准正态分布之很相似。这2种分布都是对称的，并且均值都为零/分布多了一个参数：自由度(样本总观测数-2)o当一个E分布的自由度是无穷大时，它等于标准正态分布。用置信区间进行假设检验在显著性检验中，下面的情况下接受零假设Ho：B=B*，即统计量落在非拒绝域内,SE()f(x)如果我们能够以5%(或者10%)的置信水平拒绝某个检验的零假设，则称这个检验在统计上是显著的.在

6、这个过程中，我们可能会犯2种错误：1.当H0是正确的时候，我们拒绝了它，第一类错误.2.当H0是错误的时候，我们没有拒绝它，第二类错误.Rea1ityH0istrueH0isfa1seSignificantTypeIerrorResu1tof(rejectH0)=aTestInsignificantTypeIIerror(donot=rejectH0)犯第一类错误的概率是回忆显著性水平的含义：当零假设是真的情况下，统计量落在拒绝域内的概率只有M但第二类错误的概率常常不能确定。一般而言，当我们降低第一类错误概率的同时也提高了第二类错误的概率。第一节引言考虑ARMA模型：工=。+x-+站一2+/Z

7、-P+1+t-+q与P(1)其中与WN(0q2)。前面我们假定知道总体参数卜,风.,%.,%。2),此时利用过程(1)进行预测。本章我们要研究在仅能观测到序列Y的情况下，如何估计太,帕小鸟熊吟。估计方法为极大似然估计。令0=卜,落.,%.,%(72)表示总体参数向量。假定我们观察到一个样本量为T的样本(MJ2,J7)。写出样本的联合概率密度函数：f,.t1(Fd,M1o)(2)这是观察到样本发生的概率。使得“概率”最大的值就是最优估计一一这就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。常常假定与是高斯白噪声，则得到的函数为高斯似然函数。极大似然估计的步骤：1)写出似然函数(2)o2

8、)利用求极大值方法求使得函数值最大的。值。第2节高斯NH过程的似然函数一.计算高斯/H(I)过程似然函数高斯力R(I)过程的表达式为Y1=c+Y1+1(3)其中4iidN(,2)。参数为8=。观察值X的均值和方差分别为Ea)=/(1-0)和E(-)2=2(1-)o因为弓iidN(,2),因此X也是高斯分布。其概率密度函数为4(必洌二人(必；。，我。2)1CX-(4)22(1-2)exp22(1-)对于第二个观察值在观察到乂条件下的分布。根据(3),Y2=c-Yx+2(5)此时&IX=M)N(c+0%),2),其概率密度函数为Ar1()=7xP-叱11)观察值X和片的联合密度函数就是(4)和(6

9、)的乘积：及出(，必；)=/他(8瓦洌人(必例fi2,1(%|乃,必洌=(%尻洌1-(j3-c-2)2=Iexp-yj22fi2,1（Wy2,必;。）=几命（乃卜，必；。）几M仇，必；。）(9)一般地,-(yt-c-y1)22(10)-vJr(匕/，,%洌=Ak(NMt；。)1=I；expy2则前，个观察值的联合密度为f11,1K（Wy1,，必；6）（11）=4MTUkr-）A,1/（MT，,mW）全部样本似然函数为Tf-K（aJz，必;。）=A（必;，）布T（NIt；。）1=2(12)进行对数变换，得到对数似然函数（e）：1(。)=In(1(必;。)+1,k,iy,卜占。)2(13)将（4）

10、和（10）代入（13）,得到1(9)=-11(2-)-1n必一同22-2T-I1n(2)-Inb）-加一一皴/(14)似然函数的矩阵表示观察值写成向量形式为:(15)(16)=(mJ2,r)可以看作是7为高斯分布的单个实现。其均值为W)E(Y2)七(利这里=c/(1-0)。表示成向量形式为:E(Y)=其中表示(16)的右边的(TX1)向量。Y的方差协方差矩阵为：(17)E(r-)(r-y=Q其中-E(Yi)2Ea-)化一)E化一E(Y2-)(Yx-E(Y2-E(Y2-)(Y-)4一E(Y-)(Y-)E(Yr-)(Y2-)E(Y-)2_(18)该矩阵中的元素对应于y的自协方差。将样本Y看作由7V

11、(,)分布的一个抽样，似然值可根据多元高斯密度公式直接写成：f(y)=(24厂2-,iz2exp-(y-A)1(y-)其对数似然值为：这本质上和34)是相同的。理论上，对方程(14)求导并令导数为零，就可得到参数向量。而在实践当中，往往得到的8是(必J2,Jr)的非线性方程。此时求解需要格点(grid)搜索等数值优化方法。四.条件极大似然(M1E)函数如果将必的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为：浜)=.与为(2)Fmb卜1抖：等价于最小化：T2t=2这与OES回归的结果一样。己知参数估计值6,3,下一步1(O)关于?求导数71+

12、fU-c-1)02224得到这也是O1S估计下的残差方差。条件极大似然估计的特点：1 .易于计算。2 .样本量7足够大，则第一个观测值的影响可以忽略。第三节高斯ARMA过程的条件似然函数一./H(p)条件似然函数Z=C+Yj+帖一2+%Z-p+8t其中与HdN(,2)。参数向量为=C,M,必吟O以前P个观察值为条件的对数似然函数为：求使得最大化问题转变为最小化:非高斯时间序列的极大似然估计(拟极大似然估计)1 .如果残差过程非高斯的，使用高斯时数似然函数得到的估计(？,脑施,媒)为总体参数的一致估计。2 .拟极大似然估计得到的系数的标准差不正确。二.M4(1)条件似然函数对于高斯M4(1)过程

13、Yt=+t+t其中弓dN(,)08=(,仇2)表示要估计的总体参数。如果已知，则Z%n(+”J,o2)其概率密度函数为：人跖(乂氏I-石*exp彳如果已知=0,则：川N5,2)给定观察值必，则|就是确定的：=yx-于是y%=o(%M,E=OW)=而，exP-70G已知的话，?可由下式求出：%=y2-p-0通过迭代法由凹,力,.,a求出0，与整个序列:与=乂_%1样本条件对数似然函数为1()=71n(2)71n(2)乙乙f=1/b三.高斯M43)过程的条件似然函数对于M4(q)过程Z=+用。_+。2与-2+珞。F假设前夕项的全为零：。=卬=。品_a*-qt-q其中，=,2,.,r。令4表示(夕i)向量(4,J,%+J。条件对数似然函数为：1=1nrr,ko=o(r，J*0=。；。)=-1n(2)-1n(-其中-。四.NHH4(p,q)的条件似然函数对于高斯/用以(p,(7)过程工=。+OJT+2yi-2+X-p+t+t-+-qt其中