文档介绍：Information Theory
and Coding Techniques
信息论与编码技术
Where there is a will,
第一章绪论 三两草无私奉献
相结合逐步发展而形成的一门新兴科学
本章内容:
信息的概念
数字通信系统模型
信息论与编码理论研究的主要内容及意义
奠基人:美国数学家香农()
1948年“通信的数学理论”
信息论
通信技术
概率论
随机过程
数理统计
信息的概念
信息是信息论中最基本、最重要的概念,既抽象又复杂
信息在日常生活中被认为是“消息”、“知识”、“情报”等
“信息”不同于消息(在现代信息论形成之前,信息一直被看作是通信中消息的同义词,没有严格的数学含义),消息是表现形式,信息是实质;
“信息”不同于情报,情报的含义比“信息”窄的多,一般只限于特殊的领域,是一类特殊的信息;
信息不同于信号,信号是承载消息的物理量;
信息不同于知识,知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息,是一种高层次的信息。
消息:用文字等能够被人们感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来。
知识:一种具有普遍和概括性质的高层次的信息,以实践为基础,通过抽象思维,对客观事物规律性的概括。
情报:是人们对于某个特定对象所见、所闻、所理解而产生的知识。
它们之间有着密切联系但不等同,信息的含义更深刻、广泛
就狭义而言,在通信中对信息的表达分为三个层次:信号、消息、信息。
信号:是信息的物理表达层,是三个层次中最具体的层次。它是一个物理量,是一个载荷信息的实体,可测量、可描述、可显示。
消息:(或称为符号)是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型:
离散(数字)消息,一组未知量,可用随机序列来描述: X=(X1…Xi…Xn)
连续(模拟)消息,未知量,它可用随机过程来描述: X( t, ω)
信息:它是更高层次哲学上的抽象,是信号与消息的更高表达层次。
信息、消息和信号是既有区别又有联系的三个不同的概念。
消息中包含信息,是信息的载体。
信号携带着消息,它是消息的运载工具。
信息可认为是由具体的物理信号、数学描述的消息的内涵,即信号具体载荷的内容、消息描述的含义。
而信号则是抽象信息在物理层表达的外延; 消息则是抽象信息在数学层表达的外延。
同一信息,可以采用不同的信号形式(比如文字、语言、图象等)来载荷;同一信息,也可以采用不同的数学表达形式(比如离散或连续)来定量描述。
同一信号形式,比如“0”与“1”可以表达不同形式的信息,比如无与有、断与通、低与高(电平)等等。
什么是信息
关于信息的科学定义,到目前为止,国内外已有不下百余种流行的说法,它们都是从不同的侧面和不同的层次来揭示信息的本质的。
1928年,哈特莱( Hartley)
在《信息传输》一文中提出:发信者所发出的信息,就是他在通信符号表中选择符号的具体方式
局限性:
定义不涉及到信息的价值和具体内容,只考虑选择的方式。
即使考虑选择的方法,但没有考虑各种可能选择方法的统计特性。
1948年,维纳()
在《控制论--动物和机器中通信与控制问题》一书中,指出:“信息是信息,不是物质,也不是能量”。将“信息”上升到“最基本概念”的位置。
后来,维纳在《人有人的用处》一书中提出:“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中,同外部世界进行互相交换的内容的名称。”
局限性:
把信息与物质、能量混同起来。所以,维纳关于信息的定义是不确切的。