从信息论到信息科学经过了三个发展阶段,最开始是狭义信息论,即香农创立的信息论。香农信息论以通信系统模型为对象,以概率论和数理统计为工具,主要研究通信过程中消息的信息量、信道容量和消息的编码等问题。
它只是对信息的符号作定量的描述,而不考虑信息的意义和效用方面的问题,这是香农信息论的不足之处。也就是我们在定位信息以及我们真实感受时存在的差异。再后来过渡到一般信息论。这种信息论虽然主要还是研究通信问题,但是新增加了噪声理论,信号的滤波、检测、调制解调,以及信息处理等问题。
第三个阶段是广义信息论。它是随着现代科学技术纵横交错的发展而逐渐形成的。也就是度量的信息量不是信源的结构信息,而是信源与信宿相互作用的交换信息,即作为信宿接收信源信息后引起信宿的“知识”变化的概率统计特征的量度来规定的。
