Entropia di Shannon
La misura dell'incertezza di una variabile aleatoria: quanti bit servono in media.
L'entropia di Shannon misura l'informazione media prodotta da una sorgente aleatoria. È una misura di ensemble: si applica a una distribuzione, non a una singola stringa. Per quella serve la complessità di Kolmogorov, che è un'altra cosa e non è calcolabile.
Shannon non chiede che i messaggi abbiano significato. La teoria è puramente sintattica, ed è insieme la sua forza e il suo limite: vale per qualunque sorgente, e non vede la struttura computazionale che genera i dati.
La caratterizzazione assiomatica del 1948 è la parte che si dimentica e che conta di più: H è l'unica funzione continua, massima sull'uniforme e additiva nel senso che H(X,Y) = H(X) + H(Y|X). Da quelle tre richieste la forma logaritmica è obbligata. Non è una definizione scelta perché comoda.
Da lì discende tutto il resto: l'informazione mutua I(X;Y) come riduzione di incertezza su X quando si conosce Y, sempre non negativa; la divergenza di Kullback-Leibler come misura canonica di quanto una distribuzione differisce da un'altra, nulla solo quando coincidono, e asimmetrica — il che la rende una misura utile e non una distanza.
Fonti
- Shannon (1948)
- Cover & Thomas, Elements of Information Theory
- Jaynes, Probability Theory