最优化方法课程设计参考模(1).docx

《最优化方法课程设计参考模(1).docx》由会员分享，可在线阅读，更多相关《最优化方法课程设计参考模(1).docx（6页珍藏版）》请在第一文库网上搜索。

1、和二阶导数(HeSSe阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小点.下面来推导牛顿法的迭代公式.设/0)的HeSSe阵Ga)=力幻连续，截取其在4处的泰勒展开式的前三项得QkM=fk+si(X-Xk)+xk)Gk(X-Xk)i其中.=/(%)，gk=NfG3G=b/6).求二次函数仇(幻的稳定点，得Nqk(x)=g*+G式X-勺)=。若G人非奇异，那么解上面的线性方程组即得牛顿法的迭代公式Xz=Xk-G：gk在迭代公式中每步迭代需求Hesse阵的逆Gj,在实际计算中可通过先解Gkd=-8人得dk，然后令也广氏+4来避免求

2、逆。这样，可以写出基本牛顿法的步骤如下：算法4.1.1(基本牛顿法)步0给定终止误差0evv1,初始点Rn.令4:=0.步1计算a=守).若%停算，输出坊.步2计算GA=V2),并求解线性方程组得:Gkd=-gk步34,xjk+1=xk+dkfk:=k+1,转第一步.牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性。4.2算法实现根据牛顿算法，编写InatIab程序，求解无约束优化问题，代码如下：functionx,va1,k=grad(fun,gfun,x)%功能：用最速下降法求解无约束问题：minf(x)%输入：x是初始点，fun,gfun分别是目标函数和梯度%输出：X,Va1分别是近似

3、最优点和最优值，k是迭代次数.maxk=50001%最大迭代次数rho-O.5;sigma=0.4;k=0;epsi1on=1e-5;whi1e(kmaxk)g=fera1(gfun,x);%计算梯度d=-g;%计算搜索方向if(norm(d)epsi1on),break;endm=0;mk=0;whi1e(m20)%rmijo搜索if(fera1(fun,xO+rhom*d)fera1(fun,x)+sigma*rhom*g,*d)mk=m;break;endm=m+1;endxO=xO+rhomk*d;k=k+1;endx=x;va1=fera1（fun,x）;4.3算法测试使用此牛顿法求

4、解此前的问题一和问题二，取不同的起始点的数值结果分别如下表：问题一：表4.1问题一牛顿法的数值结果初始点（XO）迭代次数（k）目标函数值Cf（k）最优解（S）23-1.000023-1.000025-1.000037-1.000025-1.0000问题二:表4.2问题二牛顿法的数值结果初始点（Xo）迭代次数（k）目标函数值Cf（xk）最优解（Xk）382.8220e-009281.4429e-011371.3597e-009392.1601e-009371.4698e-0094.4算法比较通过求解问题一和问题二，由上表可以看出，共粗梯度法的收敛速度是比较令人满意的，在相同初始点处开始求解，使用

5、牛顿法所需要的迭代次数共飘梯度法的迭代次数的两倍。虽然在算法设计上比较相似，但是微小的改进，使得共辗梯度法无论是准确性上还是效率上都优于牛顿法。5、总结5.1总结概括求解最优问题是一个艰难而具有挑战性的过程，最优化方法是近几十年形成的一门运用错误！超链接引用无效。研究各种系统的优化途径及方案，为决策者提供科学决策的依据的学科，它涵盖了无约束最优化问题、凸集与凸函数、等式约束最优化问题和不等式约束最优化问题等知识点。本次课程设计，我们小组成员通过老师的点拨以及激烈的讨论，对该门课程中的无约束最优化问题进行了一定程度地了解和研究，无约束最优化方法的核心问题是选择搜索方向。过程中，我们运用基于共辄方

6、向的一种算法一一共辗梯度法进行处理。我们从理论的来源、推导过程出发进行深入，共枕梯度法最初由Hesteness和Stiefe1于1952年为求解线性方程组而提出。后来，人们把这种方法用于求解无约束最优化问题。共朝梯度法的基本思想是把共辄性与最速下降方法相结合，利用已知点处的梯度构造一组共较方向，并沿这组方向进行搜索，求出目标函数的极小点。根据共辗方向的基本性质，这种方法具有二次终止性。之后，我们还实现了MAT1AB程序实现的效果。我们对问题进行数值求解时，采用了大量的数据实例进行验证、对比，并且选择了较有代表性的几例编入我们的课程设计论文当中。最后，我们还将该方法与处理同类问题的牛顿法在算法和

7、程序上的进行了效率等方面的比较，更进一步地加深了对它的理解也提高了处理该问题的水平能力。5.2个人感言通过本次试验，我学会了应该怎么从一个问题出发，对该问题进行研究：首先要对问题有一个大概的了解，通过查阅资料，对问题有了深入了解，然后确定问题的研究方向，以及要研究方向所需要进行的工作，然后一步步去完成,如：在研究共辄梯度法的时侯，我了解到，共枕梯度法的适用范围很广，其算法也有很多研究方向，例如：无约束优化问题；非线性共规梯度法；非单调线搜索;共辄条件;全局收敛等等。结合所学知识，确定了研究方向，进行深入研究，通过分工合作，完成本次课程设计，其中由我负责的共辗梯度法与牛顿法的算法比较，首先理解了共加梯度法与牛顿法后，我通过这两个算法研究同一个问题时的结果进行分析，得出共飘梯度法的优缺点，在本次实验中，我们充分发挥了团队协作精神，充分利用每个队员的优点长处，进行合理分工协作，共同完成课设。6、参考文献：1张光澄.非线性最优化计算方法M.北京：高等教育出版社，2005.2席少霖.非线性最优化计算方法M.北京：高等教育出版社，1992.3薛嘉庆.最优化原理与方法M.北京：清华大学出版社，2003.4邓乃杨.无约束最优化计算方法M.北京:科学出版社，1982.5袁亚湘，孙文瑜.最优化理论与方法M.北京:科学出版社，1993.