任何一门科学在其发展过程中都经历了两个阶段，即定性研究和定量研究阶段。定性是定量的基础，定量则是定性的精确化。只有当一门科学从定性研究进入定量研究后，这门科学才成为“精确科学”，信息论要发展成为一门“精确科学”，就必须对信息进行度量。
为了对信息进行度量，必须对信息下一个确切的定义。香农将信息定义为消息中关于不确定性事物（即原来不知道的东西）的内容。譬如说，有人告诉你一个你已经知道的事情的消息，这个消息中就没有任何信息。反之，你对被告知的事件在被告知以前知道得越少，则这个消息中的信息量就越大。对一个在给定条件下必定发生的事件或必定不发生的事件，当条件具备时，有人告诉你这个事件发生了（对必定发生的事件）或这个事件没有发生（对必定不发生的事件），这个消息对你都没有任何信息。
如果一个事件，在给定条件下可能发生也可能不发生，而其发生具有一定的概率，当条件具备时，有人告诉你这个事件发生了或没有发生，这个消息对你就含有信息
