←Research

Entropia di Shannon

La misura dell'incertezza di una variabile aleatoria: quanti bit servono in media.

Massima per la distribuzione uniforme, nulla per una variabile deterministica.

L'entropia di Shannon misura l'informazione media prodotta da una sorgente aleatoria. È una misura di ensemble: si applica a una distribuzione, non a una singola stringa. Per quella serve la complessità di Kolmogorov, che è un'altra cosa e non è calcolabile.

Shannon non chiede che i messaggi abbiano significato. La teoria è puramente sintattica, ed è insieme la sua forza e il suo limite: vale per qualunque sorgente, e non vede la struttura computazionale che genera i dati.

La caratterizzazione assiomatica del 1948 è la parte che si dimentica e che conta di più: H è l'unica funzione continua, massima sull'uniforme e additiva nel senso che H(X,Y) = H(X) + H(Y|X). Da quelle tre richieste la forma logaritmica è obbligata. Non è una definizione scelta perché comoda.

Da lì discende tutto il resto: l'informazione mutua I(X;Y) come riduzione di incertezza su X quando si conosce Y, sempre non negativa; la divergenza di Kullback-Leibler come misura canonica di quanto una distribuzione differisce da un'altra, nulla solo quando coincidono, e asimmetrica — il che la rende una misura utile e non una distanza.

Fonti

  • Shannon (1948)
  • Cover & Thomas, Elements of Information Theory
  • Jaynes, Probability Theory