信息论与编码概述1
主题：信息论在密码学中的应用
:级电子132
姓名： Mr滴滴涕
学号：120133102071
信息论在密码学中的应用
摘要：本文简要介绍了信息论在非常重要的领域——密码学中的应用。 首先介绍了信息论发展的三个阶段和简单概念。 论述信息论的基本理论和应用问题。 给出了密码学的基本理论知识，简要介绍了香农提出的密码体制数学模型及其特点。
关键词：信息论密码学； 保密系统
1信息论发展概述
信息论是一门运用概率论与数理统计方法，研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 将信息论的传递作为统计现象，给出了估计通信信道容量的方法。 信息传播和信息压缩是信息论研究中的两个领域。 这两个方面还通过信息传递定理、信源-通道隔离定理相互关联。 它主要是研究通信和控制系统中普遍存在的信息传递共同规律，以及最优解决信息的限制、测量、转换、存储和传递等问题的基础理论。
1.1信息论发展的三个阶段
第一阶段： 1948年贝尔实验室香农在《通讯的数学理论》篇论文中系统地提出了信息论述，创立了信息论。
第二阶段： 20世纪50年代，信息论冲击各学科； 六十年代信息论进入消化、理解时期，进入在现有基础上进行重大建设的时期。 研究的重点是信息和源代码问题。
第三阶段：到70年代，由于数字计算机的广泛应用，通信系统的能力也有了很大的提高，如何更好地利用和处理信息，成为越来越迫切的问题。 人们越来越认识到信息的重要性，认识到信息作为与材料和能源相同的资源被利用和共享。 信息的概念和方法已经广泛渗透到各个科学领域，迫切需要突破申农信息论的小范围，成为人类各种活动中面临的信息问题的基础理论，进一步发展其他许多新兴学科。
1.2 Shannon信息论的构建与发展
1948年6月和10月，Shannon在贝尔研究所出版的著名的《贝尔系统技术》杂志上发表了两篇关于《通信的数学理论》的文章。 在这两篇论文中，他运用概率测度和建立统计的方法系统地讨论了通信的基本问题，首先严格界定了信息量熵的概念，然后界定了信道容量的概念，得出了一些重要的、具有普遍意义的结论，并由此奠定了现代信息论的基础。
Shannon理论的核心是阐明了在通信系统中采用适当的编码后，可以实现高效可靠的信息传输，得到了信源编码定理和信道编码定理。 从数学角度看，这些定理是最佳编码的存在定理。 但是，从工程的角度看，这些定理不是结构性的，无法从定理的结果直接导出实现最佳编码的具体方法。 但它们表明了编码的性能极限，从理论上揭示了通信系统中各种因素的相互关系，为人们找到最佳的通信系统提供了重要的理论依据。 其理论至今主要经历了以下几个方面的发展： Shannon信息论的数学严格化、无失真源编码的固定力和技术的发展、信道纠错编码的发展、失真受限源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出和发展
目前，山南信息理论值得关注的研究动向是信息概念的深化； 网络信息论与多重相关源代码理论的发展与应用； 记录通信网一般信息论研究信道信息论研究的信息速率失真理论的发展及其在数据压缩和图像处理中的应用信息论在大规模集成电路中的应用等问题这些领域是目前信息工程的前景光通信、空间通信、计算机互联网、移动通信、多媒体通信、语音和图像的信息处理等
2信息论的基本概念
Shannon在1984年提出了信息熵公式：
为了其中可能发生的事件、发生的概率，所有可能发生的事件及其出现概率构成一个信息源。 符号顺序可以视为源。 在这种情况下，顺序中的每个符号表示一个事件，并且该符号占整个顺序的百分比可以被认为是事件出现的概率。 表示发送源中包含的每个事件的信息量，称为发送源的信息嫡流。 那个是函数，是无量纲的。 对数以2为底，往往给出数量的单位“比特”，以e为底，单位为“纳特”。 近年来的信息论研究表明，上式定义的信息嫡系不等于信源信息量，只代表了其中的一个方面。 准确地说，信息熵是事件出现的不确定度度量，在一定程度上也可以说是源信息多样性度量，即表示信息多样性潜力。 所以也被称为潜在的信息。
互信息是另一个有用的信息度量，它是指两个事件集合之间的相关性。 两个事件x和y的互信息定义如下：
这里是联合熵，其定义如下。
信息论中的冗馀不仅仅是重复，还有更广泛的意义。 定义如下：
也就是说，源的熵是该源可能具有的最大偏差。 Gatlin认为冗馀性r表示源的信息存储能力，r越大存储能力越高。 大r往往对应于大信息量。 但是，不能简单地认为r越大信息量越大。 例如，只有一种符号的顺序R=1，但该符号顺序的