信息论

美国教学家申农于1948年创立的一门新科学。初期的信息论主要是应用数理统计方法，研究通讯和控制系统中，普遍存在的信息传递的共同规律，以及如何提高各种信息传输系统的有效性和可靠性问题。因而，也称为狭义信息论。

申农对狭义信息论的主要贡献是，给出了度量信息量的数学公式;初步解决了从信息接收端提取由信息源发来的信息的技术性问题;提出了如何充分利用信道的容量，以最大速率传递最大信息量的基本途径;初步解决了如何编、译代码使信源的信息被充分表达、信道容量被充分利用的问题;从理论上阐明了通讯的基本问题并提出了通讯系统的模型，如下图：

信源：信息的发送者，可以是机器、人以及自然界的物体等等。

编码：把信息变换成为可以传输的电、光、声等信号。

信道：传递信号的通路如电线、电缆、光纤维、空气……等等。

噪声：信号传送过程中，由外界混入或由系统内部产生的一些不能完全消除的干扰信号。

译码：把信号译成由语言所表达的有思想内容的信息。

信宿：信息的接收者，可以是人、机器系统，或其他物体。

50年代以后一些学者(如法国物理学家L?布里渊等)把信息论推广到物理学等其它领域。到了60年代人们已经把信息论划分成三个不同的类型，即初期的狭义信息论;一般信息论，将噪声理论，信号滤波与预测，调制等列入了研究范围;广义信息论，即包括前两种内容，也包括与信息有关的生理学、心理学、语义学等方面内容。