人工神经网络：模型、算法及应用 何春梅 习题解答.docx

《人工神经网络：模型、算法及应用 何春梅 习题解答.docx》由会员分享，可在线阅读，更多相关《人工神经网络：模型、算法及应用 何春梅 习题解答.docx（14页珍藏版）》请在第一文库网上搜索。

1、人工神经网络：模型、算法及应用何春梅习题解答第2章习题2.1 什么是感知机？感知机的基本结构是什么样的？解答：感知机是FrankRosenb1att在1957年就职于Corne11航空实验室时发明的一种人工神经网络。它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。感知机结构：2.22.3 单层感知机与多层感知机之间的差异是什么？请举例说明。解答：单层感知机与多层感知机的区别：1 .单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2 .单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。2.3证明定理：样本集线性可分的充分必要条件是正

2、实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合SUR台是由Rn中的k个点所组成的集合，即S=必,电,加。定义S的凸壳为CSiv(S)为:kkXconv(S)=X=ix11=1,0J=1,2,，ki=1i=1)线性可分定义2：给定一个数据集=(xy),(x2,7z-(ny)其中N=Rr1，%J=+1,-1,i=1,2,如果存在在某个超平面S：wX+b=Q能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即=+1的实例i,有wx+bO,对所有负实例点即=-1的实例八有wx+bVO,则称数据集丁为线性可分数据集；否

3、则，称数据集T线性不可分。必要性：线性可分T凸壳不相交设数据集丁中的正例点集为s+，s+的凸壳为Conv(S+),负实例点集为S一，S一的凸壳为conv(S_),若T是线性可分的，则存在一个超平面：wX+b=O能够将S+和S一完全分离。假设对于所有的正例点!，有：wXf+b=易知与O,i=1,2,，卜+|。若约17(5+)和)=Wii-6t=1i=1I=I因此ws+b=f.1i1-0,同理对于S_中的元素S.有Ws+=j11ii0且ws一+b=11rfi0,因此若%+属于正例点，则令不如wx+b=(x+-X-)-Xx+x+-X-X-=X+X-X.X_IIX-避-I1-+一避=2_dist(x,

4、x.)2-dist(x,x+)2二2若disc(4,%_)dist(x,x+),则dist(x,x_)dist(x,x+)dist(x.,x+),那么dist(S+,S一)0成立。同理，对所有负例点，wx+bv成立。至此，充分性证得。2.4请设计一个感知机程序实现2.3节中介绍的逻辑“或”、逻辑“与”功能，并绘出判别界面。代码：importnumpyasnor_samp1es=0,0,0,1,0,I,(O,I,I,UJI1and_samp1es=0,0,0,1,0,0,OJO,U,1,1defperception(samp1es):# 权重w=np.array(1,2)# 偏置# =0# 学习

5、率Ir=1#迭代10次foriinrange(i):forjinrange(4):x=np.array(samp1esj:2)#sgn函数ifnp.dot(w,x)+b0:y=e1se:y=0#真实值t=np.array(samp1esj2)de1ta_b=Ir*(t-y)de1ta_w=Ir*(t-y)*x#更新权重w=w+de1ta_wb=b+deka_bprint(fweight0:w0weigt1:w1b:b)print(1ogica1or:)PerCePtion(or_samp1es)print(1ogica1and:)perception(and-samp1es)判别界面2.5使用

6、下面的训练集来训练一个感知机网络，其中初始偏置w=0,0匕=0.5。并试图判断样本为=(1,1)所属的类别。类别1：x1=(0,1);X2=(-1,0);X3=(-1/1)类别2：x4=(0,2);x5=(2,0);X6=(1,2)代码:importnumpyasnpsamp1es=10. 1,0,-1,0,0,1-1,1,0,11. 2,1,2,0,1,1,2,1defperception(samp1es):# 权重w=np.array(1,1)# 偏置b=0.5# 学习率Ir=1#迭代10次foriinnge(10):fbrjinrange(4):x=np.array(samp1es|j)

7、|:2J)#sgn函数ifnp.dot(w,x)+b0:y=e1se:y=0#真实值t=np.array(samp1esj2)de1ta-b=Ir*(t-y)de1ta-w=Ir*(t-y)*x#更新权重w=w+de1ta-wb=b+de1ta-breturnw,bdefpredict(samp1e):ifnp.dot(w,samp1e)+b0:y=e1se:y=0print(y)#训练感知机w,b=perception(samp1es)#预测样本samp1e=11,1predict(samp1e)4.1 薄板样条函数描述为对于某个。0及rK,可以验证使用此函数作为一个平移和旋转的变形Gree

8、n函数。4.2 高斯函数是仅有的可因式分解的RBFo利用高斯函数的这个性质证明定义为多元高斯分布的函数G(Mf)可分解成G(x)=1G(x)Z=I式中，巧和4是7x1维向量X和f的第i个分量。4.3 我们认为高斯函数、逆超二次函数和超二次函数这三种RBF都满足MiCCheni定理。但是，Green函数类仅包含前两个RBF。解释为何Green函数类不包含超二次函数。4.4 考虑代价泛函为。(户)=t4-G(WF)+力211J它用到逼近函数u)=-G(kF)f-1利用Frechet微分，证明当CG+GOW=GTd时，*尸，)最小，其中NXq维矩阵G,qX网维矩阵G。，qX1向量位及NX1向量d,分

9、别由式(4.53)、式(4.56)、式(4.54)及式(4.27)定义。4.5 考虑一个定义如下的正则化项1J的=%JDAFa)g*=0式中2i1k-1!2r线性微分算子D由梯度算子。和拉普拉斯算子已定义为D2k=(2)t且d2a+,=f(f2/证明。2(X)=SWKV(X)A=O长乙4.6 在4.3节中，由式(4.46)导出了关于巴(切的式(4.47)。在这个习题中，我们希望从由式(4.46)开始利用多维傅里叶变换导出式(4.47)。利用函数G(X)的多维傅里叶变换的定义G(S)=G(x)exp(x)dx完成推导，式中，i=Q;S是恤维的变换变量。关于傅里叶变换的性质可以参考相关内容。4.7

10、 考虑描述的非线性回归问题。令见表示矩阵（G+尸的第i个元素。那么，从式（4.39）出发，证明回归函数/（x）的估计可以表示为aN）=y（，玉）4k=式中，&是对应模型输入Z的输出，且NVZ（X，Xi）=G（卜r）q,2=1,2,.,N/=1式中，G（IHI）是Green函数。4.8样条函数是分段多项式逼近器的例子。样条方法的基本思想如下：将一个被逼近区域用节点分为有限个子区域；节点可以是固定的，这样逼近器就是线性参数化的；节点也可以是可变的，这样逼近器就是非线性参数化的。在这两种情况下，在每个逼近区域中使用一个阶数最高为n的多项式，且要求整个函数必须是-1次可微的。多项式样条函数是相对光滑函

11、数，容易在计算机上存储、操作及计算。在实际使用的样条函数中，三次样条函数可能是应用最广泛的。一个一维输入的三次样条函数的代价泛函定义为。”若4一人）了+刑答卜式中，/1在样条函数中表示光滑性参数。1）验证这个问题解力（X）的如下性质。两个相续的a节点值之间力（X）是一个三次多项式。力（x）及前两阶导数都是连续的，除其二阶导数值在边界点为零。（2）因为仅，）有唯一最小值，所以必须有式中，g是与f一类的二次可微函数；。为任意实值常数。这意味着人力+g）作为。的函数在=0处局部最小。因此，证明1冬1竽H步“am）上式是关于三次样条函数的EUIer拉格朗日方程。4.9 式（4.75）定义了最小二乘法的

12、Gram矩阵或核矩阵K证明此矩阵K是非负定的。4.10 由式（4.57）推出用于正则化最小二乘估计的式（4.65）。4.11 证明式（4.70）,其中包括数据矩阵X和期望响应向量小4.12 从带类标样本和无类标样本中学习是一个可逆的问题。证明此论断的有效性。4.13 用于带类标样本和无类标样本的表示定理和仅用于带类标样本的表示定理具有相同的数学形式。解释用于半监督学习的表示定理如何包含用于监督学习的表示定理，且后者是前者的一个特例。4.14 带类标数据点的集合可以看作拉普拉斯R1S算法的初始化条件。像这样，对于一个给定的无类标训练样本，我们预期由算法构造的决策边界依赖带类标数据点的位置。在此实验中，使用双月构造中抽取的合成数据研究此相关性。（1）每类一个带类标数据点。用与过去相同的条件，重复4.11节中的计算机实验，但此次实验探求决策边界是如何被两个带类标数据点的位置影响。其中这两个数据点分别属于两个类。（2）每类两个带类标数据点。采用与（1）相同的设置，每类两个带类标数据点，重复该实验。评价此次实验的结果。5.1 阐述支持向量机与极