应用信息论 参考教材：应用信息论朱雪龙 主编清华大学出版社主讲：梁建武Mail:L Tel:13973118003有关事项讲课:（概念、方法、实际应用）自学:（数学推导、定理证明）考试：基本概念、基本计算、实际应用平时成绩：上课情况成绩：考试成绩+平时成绩课程概况目的目的：了解学习信息论的作用、方法与意义作用、方法与意义，对信息论的研究方法和成果研究方法和成果有广泛的基本认识，学会应用应用，为进一步研究打下基础特点特点：以信息理论信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主，数学推导尽量放到课外结合通信系统实际应用应用第一章绪论信息论的基本问题-香农信息的度量无失真信源编码定理-香农第一定理信道编码定理-香农第二定理限失真信源编码定理-香农第三定理应用信息理论引言1信息论的内容引言：自香农提出信息理论以来，对通信技术的发展产生了持久和深刻的影响，但对其它方面，则很少有理论指导作用。正因为此，人们对更广泛意义下的信息研究一直未停止。1957年最大熵原理理论（E.T.Jaynes）1959年1980年，鉴别信息及最小鉴别信息原 理理论 1965年信息量度定义的三种办法概率法，组合法，计算法 1968年1987年，算法信息理论这些成果大大丰富了信息理论的概念办法、应用应用信息理论2信息论基础的重要性信息论是信息科学和技术的基本理论,信息科学大厦的地基。没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情;就不可能站在本学科的边缘。（必学、选学、跳学）总之,信息论是高层次信息技术人才必不可少的基础知识。3教学目标充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习，具备一定的解决问题分析问题的能力掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述4学信息论意义 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。1.1 什么是信息信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1 Ul UL)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。信息的主要特征信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在；信息来源于精神世界，但又不局限于精神领域；信息与能量息息相关，但又与能量有本质的区别；信息具有知识的本性，但又比知识的内涵更广泛；信息可以被主体获取和利用。信息的重要性质存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。香农信息(概率信息)信息是事物运动状态或存在方式的不确定性的描述。在通信系统中形式上传输的是消息，但实质上传输的是信息信源信宿信道消息干扰或噪声（发信者）（收信者）图1.1 通信系统框图编码译码消息信号信号样本空间：某事物各种可能出现的不同状态，即所有可能选择的消息的集合。对于离散消息的集合，概率测度是对每一个可能选择的消息指定一个概率。一个样本空间和它的概率测度称为一个概率空间。表示：X，P在离散情况下：其中，为选择符号 作为消息的概率，称为先验概率先验概率)(,),(),(,)(2121qqaPaPaPaaaxPX)(iaPia消息（符号）的 自信息自信息：后验概率后验概率：条件概率 接收端收到消息（符号）后而发送端发的是 的概率。互信息互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）ia)(1log)(iiaPaI)|(jibaPjbia)|(1log)(1log);(jiijibaPaPbaI=-logp(ai)1.2 什么是信息论它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：信源的描述，信息的定量度量、分析与计算 信道的描述，信道传输的定量度量、分析与计算。信源、信道与通信系统之间的统计匹配，以及通信系统的优化 Shannon的三个编码定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。信息论的起源、发展在人类的历史长河中，信息传输和传播手段经历了五次变革：第一次变革：语言的产生第二次变革：文字的产生第三次变革：印刷术的发明第四次变革：电报、电话的发明第五次变革：计算机技术与通信技术相结合，促进了网络的发展。香农的贡献1948年发表“通信的数学理论”，标志着信息论的诞生；1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作乐全面的论述；1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础；1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究；信息论的研究范畴基础信息论 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：信源编、译码理论及其设计构造方法 信道编、译码理论及其设计构造方法 最佳调制与解调理论与实现 最佳检测、估值与最佳接收理论与实现 最佳信息处理理论、方法与算法 广义信息论 核心问题是拓广，有三重含义：首先是在信息含义的拓广，以语言信息为例：其次是在描述方法上的拓广 最后是用途上的拓广 2信息理论分法的应用及取得成果。信息论取得成果（信息论诞生至今，有失败也有成功的例子）语言信号压缩 语言信号一直是通信传输的主要对象，其中压缩语言信号的编码速率成为通信中的重要问题。根据信息理论分析：编码速率可以远远低于仅按Nuquist采样定理和量化噪声分析所决定的编码速率，由64kbit/s100bit/s(信息论指极限)图象信息压缩图象的压缩对存/传有重大的意义H.261 48:1 (电视会议)JPEG 24:1 (静态图象)MPEG-1 50:1（动态图象）最新动态文件的压缩 解决计算机的存贮量，现有20多种压缩算法，压缩内容有：源程序、目标码、论文、小说、科学数据、图书，一般压缩30%（占原文件）。无损压缩模拟话路中数据传输速率的提高 信息论指出，宽带4KHZ，信噪比250LB，其话路信道的极限速率为25Kbit/s,所以从最初100bit/s19.2Kbit/s几乎接近极限25Kbit/s降低信息传输所需的功率 降低传输功率，可以降低发送设备、天线尺寸要求，意义重大（余用信息编码）根据信息理论分析：采用低码率的信息编码可以降低传送单位比特所需的能量Eb与噪声功率谱密度N0之比，一般为610db计算机网中传输可靠性保证 随着计算机网络的发展、设备愈分散，网中电（内）噪声、电磁（外）干扰在局域网出错10-8，广域网10-3-10-5（这是无法接受的）（余用差错检验码）奇偶检验：简单 循环冗余检验：复杂，在较大的网采用，例如HDLC（高级数据链路协议）采用CRC码进行循环冗余检验（举例）计算机容错问题 计算机存贮错误难免（存贮体表面（外有）难免有损失）采用检错纠错装置，如：IBM4300，内存都有较简单检错纠错措施 计算机外存有：Fire码、BCH码、RS码、IBM360采用了RS码图象信号的复原与重建 是图象信息处理的一个重要内容 80年代采用最大熵方法，比其它方法更合理，能得到最好的期望结果模式分类问题与树分类器的设计 模式分类是一个在很多学科中遇到的问题，具有普遍意义，利用熵鉴别信息、互信息，在语言识别（包括汉字识别）有很好的结果。其它应用成果 在语言学、生物学、医学、神经网络、经济学。如，美国经济学家K.J.Arrow开创的语言经济学获得若贝尔奖。经济决策都是在其有相当的不确定性的条件下作出的，改变不确定性是信息的获得。1.3 信息论的形成与发展从历史上看，由两部分人共同努力完成（通信工程、统计学）通信技术的理论基础人们关心的是信息能在接受端精确再现发送端，正因为此，人们苦苦追求一种理论，即信息论。19世纪面临的主要问题是如何获得信息的电气表现形式，以及如何将它们进行远距离的传输。19世纪30年代发明了电报1876年发明了电话（Bell）获得电信号形式1904年发明了二三级管，是远距离传输成为可能。20世纪电信技术飞速发展，如何提高信道利用率问题。20世纪30年代前：研究发送信号无失真地送到接受端 30、40年代后期：香农提出了信息论的一系列概念（除通用编码外），是信息论的创始人。50年代：通信界，主要精力转向信源编码和信道编码。如Huffman、算术、通用编码。形成各种标准。如：H.261、JPEG、MPEG。(香农提出的理论缺陷是不能构造好的编码提出指导)！统计学的一个分歧。（略）信号与信息处理的一般理论基础，见引言。