信息论与编码之香农信息论的局限性.docx

《信息论与编码之香农信息论的局限性.docx》由会员分享，可在线阅读，更多相关《信息论与编码之香农信息论的局限性.docx（5页珍藏版）》请在第一文库网上搜索。

1、香农信息论的局限性分析制作者：XXX指导老师：XXX【内容摘要】：从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件燃的计算公式问题并且进行了纠正，并且举例证明了条件嫡可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。【关键词】：信息论：条件炳；定义：可靠性引言香农（又译仙农，Shannon）信息论对信息技术的发展具有深远的影响。但是信息论的应用一直现有通信等一些很局限的领域,信息论并不能够完全地适用于一些信息技术相关的

2、领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义，语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者则指出，目前信息的定义都没有考虑信息的可靠性这一因素，则导致了信息论无法应用在众多的信息技术领域，比如人工智能，信息融合等领域。1信息定义的局限关于信息的定义据笔者搜索超过60种，香农的信息定义是比较流行的一个,他定义如下：信息是用以消除随机不确定性的东西。还有许多学者对这个定义有所修改，但是这些定义都是考虑到消除的随机不确定性，并没有考虑到信息的可靠性。还有一类定义，比

3、如信息是被反映的物质的属性，信息是结构的表达等，都明显蕴含一个意思，信息是可靠的，是对物质、事物或者结构的一种正确的反映或者表达。在所有的信息定义中，都没有发现它们对于可靠性以及类似的属性的考虑。然而，信息之所以能够被利用，信息之所以被重视，它的可靠性是前提。一旦信息足够的不可靠，信息的价值完全丧失，而且可能起反作用。香农对信息的定义，对信息的度量，以及它的信息论，基本上都是考虑的是用嫡来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。当然香农也对冗余有所考虑，但是他的冗余度是一个整体的，平均的量。为什么信息论在通信领域非常适用，因为在通

4、信中，无需考虑信息的可靠性。那是发送者在发送之前或者是接受者在接受之后考虑的，在通信的过程中，一切的目的是如此快速，可靠地发送信息。接受信息的可靠与否，失真与否，与被发送的信息的可靠性，完备程度和真实程度没有关系，它只需要与发送的信息相比较是可靠真实的就达到了通信的目的。在香农信息论中，信息是不变的，它不考虑信息的不一致性，乃至信息的互相矛盾，因此不需要接受反馈和进行折衷调整。信息论中，还没有考虑到信息往往是不完全的片面的，需要进行融合，人们往往可以由己知的信息得出新的信息，但是香农信息论并没有涉及到如何利用已知的信息推理衍生新的信息。这些问题显然是信息技术所需要的，也是现实生活中广泛存在的问

5、题。当然目前的知识工程、人工智能、信息融合技术已经开始研究这些问题5。由于香农定义的平均互信息量非负，因此，就产生了如下想法：已知某一信息，一定可以减少另外一个事件的随机不确定性。因此，有人认为后验燧一定不大于先验摘。实际上香农定义的平均互信息量是有问题的。下面分析香农对条件燧的定义，已知条件(X,Y)sp(,y)。香农首先将条件燧H(XIY)定义为：在不同的y的取值下的X的端的(加权)平均H(X1y)=p()”(x力)=-X,7)P(NyJ)IogP(引力)j=1=1/=I香农除了给出前面的定义和公式以外，还随后指出条件炳H(X1Y)是度量当已知Y的时候，X平均的不确定度。根据后面的描述，H

6、(X1Y)应该等于在Y发生情况下X的焙。实际上的公式应该是H()=Zp(My)iogp(*)=-ZZMz，M)Iogp(w,)j=1i=1J=Ij=1根据公式(2),H(X1Y)与H(X)的大小并无固定的关系。而根据公式(1),则可以得出H(XY)H(X)o公式(1)的问题在于，把不同的事件yj发生的情况下X的帽进行了简单的加权平均，这一做法并不符合端的定义，只能说是端的加权平均，不能说是端。且这里的事件yj本身并不代表Y,而是Y的可能事件之一。这个加权平均燧不大于H(X),并不代表任何情况下条件烯都是不大于H(X)。在已知条件下完全可以计算条件烯,因此将这些燧进行加权平均是不合理的。正确的条

7、件端的公式应该是先求出Y发生的情况下，各个Xi的概率，然后根据燃的公式来求解此时X的燧，即可以得出公式(2)o关于平均互信息量的定义，也存在类似的问题。当然条件牖仅仅是一个定义，或许有人会认为是香农有自己不同的看法，但是香农正是利用这个条件端小于等于先验焙的不等式作出这样的结论：得到关于Y的知识以后，X的不确定性绝对不会增加。根据这一点可以认为香农认为的条件端的定义是我们所认为的，但是香农却在前面给出了一个错误的定义和公式。这一问题并没有在很大程度上影响信息论在通信领域的应用，因为通信中研究的问题具有特殊的情况，这使得信息论并不出现维漏，比如由于先验概率未知或者是均匀分布，先验燧可能本身就到了

8、最大值。通信中的噪声是随机的。除了分析对条件端和平均互信息量的定义可以看出来问题症结所在以外,还可以举两个反例说明：例子一：由于某学校纪律严明，一般学生来学校上课的时间都比较确定，都能提前到校,迟到概率为0.01。但是甲从乙处得到消息：“某同学丙是最不遵守纪律的(包括迟到)”。此消息对应甲从乙处得到了什么消息而言，或者乙告诉甲关于丙同学的什么情况而言，是消除了不确定性。但是本来根据前面已知的学校纪律严明的理由来推测，丙同学很可能是上课的时间是比较确定的，丙不迟到的先验概率可能有0.99,迟到概率可能只有0.01,但是知道从乙处得到消息以后，丙不迟到的后验概率减少了(假设后验的丙不迟到的概率大于

9、0.01)。根据信息量的计算方法，甲得到乙的消息以后，我们以乙的消息为条件，关于丙到校时间的信息量不仅没有增加，反而信息量减少了，后验输大于先验烯。例子二：明文空间为M=0,1。根据当时的通信语境，已知明文是0的先验概率为0.9,明文是1的先验概率为0.1。现在在这个基础上另外知道一些新的信息，这些信息包括：密文空间为C=0,1,密钥空间为K=0,1,密钥随机分布，采用一次一密体制进行加密，且知道密文是0。我们仅仅考虑这些新的信息情况下明文的概率分布，由于密文无论是0,根据密钥随机分布的特点，可以反推出明文在已知密码体制，已知密文是确定的，而且密钥是随机等概率分布的条件，可以得出明文是O的概率

10、为0.5,明文是1的概率为0.5。我们以这些新的信息为条件，来计算后验概率，由于前面我们得出的概率与先验概率不一致，因此需要折衷，经过折衷以后的后验概率，明文是0的概率在0.9至0.5之间，可以看出此时明文的值更加不确定了，后验懒大于先验燃5。以上分析说明香农的信息是消除随机不确定性的东西的定义是局限的,信息不能对任何事件都是消除随机不确定性，只能从平均意义上消除随机不确定性，或者信息只能对自己本身任何时候都消除不确定性。实际上即使我们得出的后验概率和先验概率一样，也不能完全否认我们没有得到任何信息，好比听到甲说某一事情，又听到乙说同样的事情，虽然事情的随机不确定性没有改变，但是事情的可靠性增

11、加了，不能因为不确定性没有改变就认为没有得到信息，可见有必要引入新的度量指标。2信息的新定义及信息的相对性现实中的信息往往不是绝对可靠的，而且信息还有不完全等特点，那么生活中，如何来让信息更加可靠，让信息更加完备，就是人们对信息技术的一种需求。考虑到可靠性是人们对信息的一种非常重要的需求，而且人工智能，信息融合技术都试图来解决这些问题。笔者在这里提出信息的定义如下：信息是在受限制的条件下（比如编码长度限制，分析计算能力限制，分辨率限制等）和考虑各种代价的情况下，尽力追求更高的准确性和可靠性的前提下，通过各种被认可的条件、因素、事实和知识等，以各种被认为精确的或者近似的算法，理论等，采用在一定程

12、度可信的方式直接或间接获得的（被信息处理者认为）对事物更加可靠的，可以消除、增加或者不改变不确定性的东西。在这里的定义中，我们还强调了信息的产生的方式，产生信息的基础，信息的处理方式。这为进行各种信息的获取，信息的处理，信息的融合，信息的运用奠定了一个基础，为信息论的推广应用做好了必要的准备。在此还需要说明追求准确性、完备性和可靠性应该是信息论的目标，是前提，而不确定性的消除是一种瓜熟蒂落的自然结果，可以说是一种副产品，不过有时候也可能是不确定性增加或者不变。3新信息定义的适用性分析我们提出的新的信息定义，除了让信息的定义更加符合实际情况，还是要将信息论与其他的信息技术融合起来，让信息定义适用

13、于信息技术。同时，以信息的新定义促进“信息一知识一智能”的转换和融合，让该定义促进人工智能、信息融合等技术的发展。为了区别于以往的信息论（包括广义信息论）中存在的不考虑信息的可靠性和完备性或者认为信息就是完全可靠完备的局限性，我们在这里以相对信息论区别于其他已有的信息论。物理中物体运动的相对性是它的参照系,而这里信息的相对性针对的是我们认定的条件,包括那些信息的可靠的，那些信息是不可信的，它们的可靠程度如何等等。我们建立一个信息产生的模型：首先，信息处理者从各方收集信息，比如可以从不同的人或者资料来获取信息，这许多的信息需要进行相关的处理，处理者可以根据各种已知的知识，规律等等来进一步衍生新的

14、信息，好比机械设备在获得一定的作用的时候，它会根据机械设备的机制来作用于其他的物体，从而衍生了新的作用。衍生的信息以及最初获得的各种信息之间本身还可能不一致，有些是相互补充的，有些则是不一致的，因此需要整合和折衷，这好比机械设备产生的一些作用导致一些被作用的物体相互发生碰撞，产生反作用，或者由于力的作用在同一个物体上，力的作用不一致的时候，最终对物体的作用是这些力的综合。折衷整合的时候需要以我们认定的条件为基础，包括各个信息的可靠程度。目前，国内学者钟义信提出一种信息一知识一智能转换理论6-7,并且做了一定的工作。可以认为，知识也是一种信息，知识是由信息提炼出来的，压缩的，具有概括性的信息。知

15、识可以衍生许多新的信息。智能则是对知识和信息的利用的一种信息作用机制。普通的信息可以通过归纳转换为压缩形式的信息一知识，同时可以被提炼为智能，且为智能所利用，而知识和信息也可以为智能所利用。而智能又可以产生新的知识以及新的信息。以下是一个信息一知识一智能的相互作用模型，当然在现实中，信息，知识，智能总是融合在一起，互相作用，互相反馈的。图2信息一知识一智能相互作用模型结束语本文从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件烯的问题，并且举例证明了燧不增并不是绝对的，进而指出香农信息定义中的不确定性的减少也不是绝对的，在这些分析的基础上给出了信息的新定义以及与信息相关的一些模型。针对本文提出的信息折衷融合问题，我们也提出了一些算法。新的定义将会大大拓展信息论的研究领域，与人工智能和信息融合等技术接轨8-9,同时也促进概率论等其他学科发展。参考文献1陈远。信息论与编码，电子工业出版社，20092王勇，朱芳来，一次一密体制的安全性分析与改进，四川大学学报(工程科学版),2007,39(5)增刊