Entropia di Shannon: misura dell'informazione

L'entropia di Shannon, introdotta da Claude Shannon nel seminale articolo A Mathematical Theory of Communication (1948), è la misura fondamentale dell'incertezza o del contenuto informativo di una sorgente aleatoria. Formalmente, per una variabile discreta X con distribuzione di probabilità {p₁, p₂, ..., pₙ}: H(X) = −Σᵢ pᵢ · log₂(pᵢ), misurata in bit (con base 2), nat (base e) o hartley (base 10). Un bit è la quantità di informazione associata a un lancio di moneta equa; H(X) rappresenta il numero medio di bit necessari per descrivere X.

Proprietà chiave

Non-negatività: H(X) ≥ 0. Massimo a distribuzione uniforme: H_max = log₂(N) per N esiti equiprobabili. Minimo zero quando un evento ha probabilità 1 (nessuna incertezza). Concavità: mescolare distribuzioni aumenta entropia. Sub-additività: H(X,Y) ≤ H(X) + H(Y), con uguaglianza se X e Y indipendenti. L'efficienza di codifica è η = H/H_max: un testo italiano ha η ≈ 0,5-0,6 rispetto al massimo di 26 lettere (log₂ 26 ≈ 4,7 bit).

Entropia binaria H(p)

Per una variabile binaria (bit) con probabilità p di 1 e 1−p di 0: H(p) = −p·log₂(p) − (1−p)·log₂(1−p). Questa funzione ha massimo 1 bit a p=0,5 (moneta equa), decresce simmetricamente verso 0 quando p→0 o p→1. A p=0,1 o p=0,9 vale ≈0,47 bit; a p=0,25 o p=0,75 vale ≈0,81 bit. È la base del tasso di codifica minimo in canali binari simmetrici e del teorema di capacità di Shannon.

Informazione e sorpresa

La self-information di un evento di probabilità p è I(x) = −log₂(p). Un evento certo (p=1) porta 0 bit; un evento con p=1/2 porta 1 bit; un evento raro con p=1/1024 porta 10 bit. L'entropia è il valore atteso della self-information: H = E[I(X)] = Σ pᵢ · (−log₂ pᵢ). Più la sorgente è imprevedibile, più informazione media emette.

Entropia di una stringa

Per un testo la frequenza di ciascun carattere fornisce la distribuzione empirica; calcolando H si ottiene il contenuto informativo medio per carattere. Inglese scritto ≈ 4,0-4,7 bit/char a livello di lettera; analizzando bigrammi, trigrammi e contesto semantico Shannon stimò l'entropia reale dell'inglese a circa 1,0-1,5 bit/char, mostrando che il 75% di una frase è ridondanza (compressibilità teorica ~75%). Testi italiani seguono un profilo simile (4,0-4,3 bit/char). Un file già compresso (ZIP, JPEG) ha H ≈ 8 bit/char (massima entropia).

Applicazioni

Compressione dati (Huffman, aritmetica, ANS raggiungono il limite di Shannon); crittografia (chiavi a massima entropia; misure di password strength); genetica (entropia di sequenze DNA/RNA, motif discovery); machine learning (cross-entropy loss, Kullback-Leibler divergence, decision trees via information gain); neuroscienze (entropia di spike train); ecologia (indice di Shannon-Wiener per biodiversità H' = −Σ pᵢ·ln pᵢ); linguistica (analisi stilistica, identificazione autore); finanza (entropia di rendimenti come proxy di rischio non gaussiano); segnali radar e comunicazioni (capacità di canale C = B·log₂(1+SNR) teorema Shannon-Hartley).

Ridondanza e efficienza

Ridondanza R = 1 − η = 1 − H/log₂(N). Una fonte binaria con p=0,9 ha H≈0,47, quindi ridondanza 53%: si può comprimere quasi della metà. La codifica di Huffman raggiunge il limite entro 1 bit/simbolo; la codifica aritmetica lo raggiunge asintoticamente; ANS (Asymmetric Numeral Systems) e la compressione contestuale (BWT, PPM) sono ottimali per sorgenti correlate.

Come usare

Seleziona la modalità: Probabilità (lista separata da virgole → H, H_max, efficienza), Binaria (p → H(p)), Stringa (testo → frequenze e H bit/char), Sorpresa (p singolo → self-information −log₂ p). La somma delle probabilità deve essere ≈1 (tolleranza 0,01).

Claude Shannon e la nascita della teoria dell'informazione

Nel 1948 Claude Shannon, ingegnere dei Bell Labs, pubblicò "A Mathematical Theory of Communication", l'articolo che fondò la teoria dell'informazione e introdusse il bit come unità di misura. Shannon dimostrò che ogni sorgente ha un'entropia che ne fissa il limite di compressione, e che ogni canale ha una capacità massima oltre la quale non si può trasmettere senza errori. Queste idee sono alla base di Internet, dei telefoni cellulari, dei codici correttori usati nelle sonde spaziali e degli algoritmi di compressione. Il nome "entropia" fu suggerito a Shannon da John von Neumann, per l'analogia formale con l'entropia della termodinamica.

Entropia nell'informatica di oggi

L'entropia di Shannon è uno strumento quotidiano: misura la forza delle password (una password davvero casuale di 12 caratteri ha circa 79 bit di entropia), guida la costruzione degli alberi decisionali nel machine learning attraverso il guadagno di informazione, e definisce il limite di compressione che algoritmi come gzip e i codec audio-video cercano di raggiungere. Nei corsi di ingegneria informatica dei Politecnici italiani è il primo concetto della teoria dei codici.

Aggiornato a luglio 2026