使用者86472777873252021-12-21 12:26:57

資訊是個很抽象的概念。人們常常說資訊很多，或者資訊較少，但卻很難說清楚資訊到底有多少。比如一本五十萬字的中文書到底有多少資訊量。

直到1948年，夏農提出了“資訊熵”的概念，才解決了對資訊的量化度量問題。資訊熵這個詞是C。E。Shannon（夏農）從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。夏農用資訊熵的概念來描述信源的不確定度。

資訊理論之父克勞德·艾爾伍德·夏農第一次用數學語言闡明瞭機率與資訊冗餘度的關係。

基本內容

通常，一個信源傳送出什麼符號是不確定的，衡量它可以根據其出現的機率來度量。機率大，出現機會多，不確定性小；反之不確定性就大。

不確定性函式f是機率P的減函式；兩個獨立符號所產生的不確定性應等於各自不確定性之和，即f（P1，P2）=f（P1）+f（P2），這稱為可加性。同時滿足這兩個條件的函式f是對數函式，即。