单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,,*,,,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,,学到很多东西的诀窍，就是一下子不要学很多 ------ 洛 克,*,信息论期末复习,幽默来自智慧，恶语来自无能,信息论期末复习幽默来自智慧，恶语来自无能,1,,信息论期末复习,●●●,●●●●●,●●●●,●●●●●,●●●●,●●●●,,信息论期末复习,2,,●●●,●●,第一章概述,●0●0,●,0●0,●信息论的创始人:美国科学家香农,1948年发表“通信的数学理论”,标志着信息论,的诞生,信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机,过程和数理统计相结合而逐渐发展起来的一门学科通常人们公认信息论,的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农,C.E. Shannon),他在1948年发表了著名的论文,为信,息论奠定了理论基础●●●,3,,●信息的概念,●●●,●●,●0●0,1.信息、情报、知识、消息及信号间的区别与联系,●,2.信息是事物运动状态或存在方式的不确定性的描述。
这就是,香农信息的定义●3.香农信息定义的优点,首先,它是一个科学的定义,有明确的数学模型和定量计算,其次,它与日常用语中的信息的含意是一致的,再者,它排除了对信息一词某些主观上的含义,香农信息定义的缺陷,4.首先,只考虑概率引发的不确定性,其次,这个定义和度量没有考虑收信者的主观特性和主观意,义,信息的具体含意、具体用途、重要程度和引起后果等因素而信息是有很强的主观性和实用性的,,●信息的概念,4,,●信息论的研究对象,●●●,命,●,信源,编码器,信道,译码器,信宿,消息,信号,消息,天扰信号+干扰,噪声源,图1.3通信系统模型,信息论研究的对象正是这种统一的通信系统模型,这个模型主要分,成五部分:信息源(简称信源);编码器;信道:译码器;信宿,●信息论的研究目的,信息论研究的目的就是要找到信息传输过程的共同规律,以提高,信息传输的可靠性、有效性、保密性和认证性,使信息传输系统达到,最优化●信息论的研究对象,5,,信息的一些重要性质,●●●,●●,●0●0,●●,存在的普遍性可压缩性,0●0,有序性,>可替代性,相对性,可扩散性,D可度量性,D>可共享性,>可扩充性,时效性,可存储、传输与携带性,信息的,独有性质,,信息的一些重要性质,6,,信息论的研究范围,●●●,●经典信息论(狭义信息论、香农信息论),●0●0,●,0●0,主要研究信息的测度、信道容量、信息率失真函数,与这三个概念相对应的香农三定理以及信源和信道编码,一般信息论,主要是研究信息传输和处理问题。
除了香农基本理论之外,,还包括噪声理论、信号滤波和预测、统计检测与估计理论、,调制理论后一部分内容以美国科学家维纳( N Wiener),为代表广义信息论,概括说来,凡是能够用广义通信系统模型描述的过程或系,统,都能用信息基本理论来研究信息论的研究范围,7,,●●●,第二章离散信源及其信息测度,●●,●0●0,●,0●0,●信源的数学模型及分类,高源:可能轴出的消总是有限成可歌的每『x,抛女,分,物出的幕息,性轼量:可能着出的息数是无的或,不可款的,每欢只出一个润息,2]11[21]:,非平肯推述价源输出刹息的险机学引x是非平监机一写细可夫,物出的煎机序死中各量之间做美关系但记,长庄有限,并足马尔可大健的件式[28,〔时空向离,离做平哪伯;出的机到xX万,放的魔机序列,中↓量x1,2.取值是高,平健温推信测验出息的机,的并且机安量置的各分布不时,输出的平菌机序到x中各随机变量,序判K是平的筐机乳,闻平葶面或变吏,定,为离放无记忆x的,N扩限你温,机,式(29)则为烛平裁,箱B的机x中各验机变耻之,机(潮罩(脑凯惧抓憮,产就平供源:轴出围前机序列X(X题,信输幽的消息是时间〔成空刺,中每个机变量X,2,“,M攻值基续,为限记忆信源,并且机免量x的各晶率密度函数不随时,,●●●,8,,自信息1ax)=lg,●●●,P(a),●●,●0●0,(a)代表两种含义,当事件a,发生以前,表示事件a发生的不确定性;,当事件a,发生以后,表示事件a所含有(或所提供)的信息量。
自信息采用的单位取决于对数所选取的底,比特奈特哈特,●信息熵,自信息的数学期望为信源的平均自信息量,即,H()=ELog P(a,,1=∑P(a)logP(a1),信息熵具有以下三种物理含义,第一,信息熵H(X)是表示信源输出后,每个消息(或符号),所提供的平均信息量,第二,信息熵H(X)是表示信源输出前,信源的平均不确定性,第三,用信息熵H(X)来表征变量Y的随机性自信息1ax)=lg,9,,·条件熵H(X/Y)=E(a1/b),●●●,●●,●0●0,●,∑∑p(anb,)logp(a1/b),0●0,j=1i=1,H(Y/X)=EL/(b, ai),∑∑pab)gp(b/a),·联合熵H(XY)=∑∑p(ab)(ab),∑∑p(ab/)ogp(ab),,·条件熵H(X/Y)=E(a1/b),10,,信息熵的基本性质,●●●,●●,●●0●,H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P,●,0●0,H(P是概率矢量P的函数,我们称H(P为熵函数,具有下列性质:,1.对称性,H(P1P2…P)=H(P2P3…PB)=…=团(P2P…P21),2.确定性,H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0,3.非负性,H(P)=H(2P2;…P)=∑ p log p20,扩展性,mH:(12P2…,P-6,)=H2(1,P2;…,P4,5.可加性,(1)=B(X)+H(),6.强可加性,(X7)=H()+l(,,信息熵的基本性质,11,,信息论期末复习课件,12,,信息论期末复习课件,13,,信息论期末复习课件,14,,信息论期末复习课件,15,,信息论期末复习课件,16,,信息论期末复习课件,17,,信息论期末复习课件,18,,信息论期末复习课件,19,,信息论期末复习课件,20,,信息论期末复习课件,21,,信息论期末复习课件,22,,信息论期末复习课件,23,,信息论期末复习课件,24,,信息论期末复习课件,25,,信息论期末复习课件,26,,信息论期末复习课件,27,,信息论期末复习课件,28,,信息论期末复习课件,29,,信息论期末复习课件,30,,信息论期末复习课件,31,,信息论期末复习课件,32,,信息论期末复习课件,33,,信息论期末复习课件,34,,信息论期末复习课件,35,,信息论期末复习课件,36,,信息论期末复习课件,37,,信息论期末复习课件,38,,信息论期末复习课件,39,,信息论期末复习课件,40,,信息论期末复习课件,41,,信息论期末复习课件,42,,信息论期末复习课件,43,,信息论期末复习课件,44,,信息论期末复习课件,45,,信息论期末复习课件,46,,信息论期末复习课件,47,,信息论期末复习课件,48,,信息论期末复习课件,49,,信息论期末复习课件,50,,信息论期末复习课件,51,,信息论期末复习课件,52,,信息论期末复习课件,53,,信息论期末复习课件,54,,信息论期末复习课件,55,,信息论期末复习课件,56,,信息论期末复习课件,57,,信息论期末复习课件,58,,信息论期末复习课件,59,,信息论期末复习课件,60,,信息论期末复习课件,61,31,、只有永远躺在泥坑里的人，才不会再掉进坑里。
——,黑格尔,,32,、希望的灯一旦熄灭，生活刹那间变成了一片黑暗——,普列姆昌德,,33,、希望是人生的乳母——,科策布,,34,、形成天才的决定因素应该是勤奋——,郭沫若,,35,、学到很多东西的诀窍，就是一下子不要学很多——,洛克,31、只有永远躺在泥坑里的人，才不会再掉进坑里,62,。