Entropía de Shannon: medida de la información

La entropía de Shannon, introducida por Claude Shannon en A Mathematical Theory of Communication (1948), es la medida fundamental de la incertidumbre o del contenido informativo de una fuente aleatoria. Formalmente, para una variable discreta X con distribución {p₁, p₂, ..., pₙ}: H(X) = −Σᵢ pᵢ · log₂(pᵢ), en bits (base 2), nats (base e) o hartleys (base 10). Un bit es la información de un lanzamiento de moneta equitativa; H(X) es el número medio de bits necesarios para describir X.

Propiedades clave

No-negatividad: H(X) ≥ 0. Máximo en distribución uniforme: H_max = log₂(N). Cero cuando un evento tiene p=1. Concavidad: mezclar distribuciones aumenta la entropía. Subaditividad: H(X,Y) ≤ H(X) + H(Y). Eficiencia de codificación η = H/H_max: un texto en español tiene η ≈ 0,5-0,6.

Entropía binaria H(p)

Para variable binaria con p y 1−p: H(p) = −p·log₂(p) − (1−p)·log₂(1−p). Máximo 1 bit en p=0,5. En p=0,1 vale ≈0,47 bits. Base del tasa mínima de codificación en canales binarios simétricos.

Información y sorpresa

Self-information de un evento con probabilidad p: I(x) = −log₂(p). p=1 → 0 bits; p=1/2 → 1 bit; p=1/1024 → 10 bits. La entropía es el valor esperado: H = E[I(X)].

Entropía de una cadena

Frecuencias relativas de cada carácter dan la distribución empírica. H da la información media por carácter. Inglés ≈4,2 bits/char a nivel de letra; con contexto baja a ~1,5. Archivos comprimidos (ZIP, JPEG) H ≈ 8 bits/char.

Aplicaciones

Compresión (Huffman, aritmética, ANS); criptografía (claves de máxima entropía); genética (secuencias DNA); ML (cross-entropy, KL-divergence); ecología (índice Shannon-Wiener); lingüística; capacidad de canal C = B·log₂(1+SNR) (Shannon-Hartley).

Redundancia

R = 1 − η. Fuente binaria con p=0,9 tiene H≈0,47, redundancia 53%. Huffman alcanza el límite en 1 bit/símbolo.

Cómo usar

Modo: Probabilidades (lista separada por comas), Binaria (p), Cadena (texto), Sorpresa (p → −log₂ p). Suma de probabilidades ≈1.

Claude Shannon y el nacimiento de la teoría de la información

En 1948 Claude Shannon, ingeniero de los Bell Labs, publicó "A Mathematical Theory of Communication", el artículo que fundó la teoría de la información e introdujo el bit como unidad de medida. Shannon demostró que cada fuente tiene una entropía que fija su límite de compresión, y que cada canal tiene una capacidad máxima más allá de la cual no se puede transmitir sin errores. Estas ideas sustentan Internet, los móviles, los códigos correctores de las sondas espaciales y los algoritmos de compresión. El nombre "entropía" se lo sugirió a Shannon John von Neumann, por la analogía formal con la entropía termodinámica.

Un ejemplo práctico de cálculo

Consideremos la palabra “CALCOI”: tiene 6 letras, todas distintas salvo la C que aparece dos veces. Las probabilidades son 2/6 para la C y 1/6 para A, L, O, I. La entropía resulta H = −[(2/6)log₂(2/6) + 4·(1/6)log₂(1/6)] ≈ 2,25 bits por carácter, frente a un máximo de log₂(5) ≈ 2,32 bits: una eficiencia del 97%. Es exactamente el cálculo que realiza el modo texto de la calculadora, útil para estimar la aleatoriedad de una contraseña o la compresibilidad de un archivo.

Actualizado a julio de 2026