Calculadora Divergencia Kullback-Leibler KL Bit

Calculadora divergencia Kullback-Leibler 1951 D_KL(P||Q)=Σp·log₂(p/q) bit. Cross-entropy ML, VAE. SISSA Trieste 1978, IIT Génova, PNRR 6,9 mil mill. €.

Parámetros de cálculo
¿Te ha sido útil esta calculadora?

Calculadora divergencia Kullback-Leibler KL bit teoría información

La calculadora divergencia Kullback-Leibler determina la distancia asimétrica D_KL(P||Q) entre dos distribuciones de probabilidad P y Q en bit (log base 2) o nat (logaritmo natural), según la formulación Solomon Kullback y Richard Leibler 1951 Annals of Mathematical Statistics vol. 22, p. 79 "On Information and Sufficiency" (relative entropy, information divergence). La fórmula general: D_KL(P || Q) = Σ_x P(x) · log₂(P(x)/Q(x)) en bit, o D_KL(P || Q) = Σ_x P(x) · ln(P(x)/Q(x)) en nat. Para distribuciones binarias P=(p, 1-p) y Q=(q, 1-q): D_KL(P||Q) = p·log(p/q) + (1-p)·log((1-p)/(1-q)). Asimetría: D_KL(P||Q) ≠ D_KL(Q||P) no es métrica verdadera, siempre ≥ 0 (desigualdad Gibbs 1902), = 0 sii P = Q. La Jensen-Shannon divergence simétrica: D_JS(P,Q) = ½·D_KL(P||M) + ½·D_KL(Q||M) con M = (P+Q)/2, rango [0, log(2)] nat o [0, 1] bit, √D_JS es métrica (Endres-Schindelin 2003). Cross-entropy: H(P,Q) = H(P) + D_KL(P||Q) con H(P) = -Σ P·log(P) entropía Shannon 1948. Las 10 categorías aplicaciones ML:

  • ML classification cross-entropy loss
  • VAE Kingma-Welling 2013 regularization ELBO
  • Bayesian inference posterior vs prior information gain
  • AIC Akaike 1974 model selection ~2·D_KL
  • NLP perplexity
  • Channel capacity Shannon 1948
  • RL TRPO/PPO Schulman 2015
  • t-SNE 2008 + UMAP 2018 dim. reduction
  • Cluster GMM EM
  • GAN Goodfellow 2014 minimax D_JS. Las aplicaciones italianas AI/ML:
  • SISSA Trieste 1978 Master HPC + Data Science + ML
  • ICTP Trieste 1964 Information Theory summer school
  • IIT Génova 2003 Istituto Italiano di Tecnología 1.700 investigadores robótica iCub + RL + Pattern Analysis + Computer Visión
  • Politecnico Milán 1863 + Politecnico Turín 1859 Master AI for Industry
  • Bocconi Milán 1902 BIDSA statistical learning Bayesian
  • Sapienza Roma 1303 Universidad más antigua + Centro Vito Volterra
  • Pisa 1343 + Scuola Normale Pisa 1810
  • INFN AI Atlas/CMS Higgs particle ID 2012-2024 deep learning
  • INDAM F. Severi 1939
  • ISTAT Roma 1926 + Bruno de Finetti 1931 Bayesian probability subjective. Cineca Bolonia 1969 Marconi100 30 PFlops + Leonardo 250 PFlops 2023 (5° TOP500) AI training LLM. Startups AI italianas: Bending Spoons Milán 2013 acquired Evernote; Translated Roma 1999 ModernMT; Almawave Roma 2008 NLP. Premios Nobel italianos física: Carlo Rubbia 1984 CERN W/Z + Riccardo Giacconi 2002 X-ray. Cataldo Agostinelli 1894-1988 matemático Politecnico Turín. Bonus italianos I+D 2025: Crédito I+D L. 160/2019 hasta 25% (PYMES 35%); Patent Box L. 178/2020 50%; PNRR Misión 4 Componente 2 IA 6,9 mil mill. €

Tablas KL divergence ML AI italianas

AplicaciónFórmulaD_KL/D_JSRango típicoInstitución italiana
Cross-entropy MLH(P,Q)=H(P)+D_KLD_KL(true||pred)0-5 bitPolitecnico Milán 1863
VAE (Kingma 2013)ELBO + D_KL(q||p)D_KL(q_φ(z|x)||p(z))0-10 natSISSA Trieste 1978
Bayesian inferenceInformation gainD_KL(post||prior)0-20 natde Finetti Roma 1931
NLP perplexityperplexity=2^H(P,Q)cross-entropy10-200Translated Roma 1999
RL TRPO/PPOD_KL(π_old||π_new)≤δD_KL policyδ=0,01-0,03IIT Génova 2003
t-SNE/UMAPmin Σ D_KL(p_ij||q_ij)D_KL high-low0-2 bitBocconi BIDSA 1902
GAN (Goodfellow 2014)min_G max_D V(D,G)D_JS(real||gen)0-log2 bitIIT Pattern Analysis
AIC (Akaike 1974)AIC=2k−2ln(L)~2·D_KLasintóticoINDAM Roma 1939
Channel capacity (Shannon 1948)C=max I(X;Y)mutual infobit/symbolICTP Trieste 1964
INFN Atlas/CMS HiggsBDT/DNN signal-bgD_KL features0,1-3 bitINFN Pisa CERN 2012

(Fuente: Kullback-Leibler 1951 + Shannon 1948 + Cover-Thomas 2006 + SISSA Trieste 1978 + IIT Génova 2003 + INFN CERN 2012-2024).

Ejemplos cálculo italiano KL divergencia

  • Distribuciones idénticas p=0,5 q=0,5 (test base): D_KL(P||Q) = 0,5·log₂(0,5/0,5) + 0,5·log₂(0,5/0,5) = 0 bit exactamente (Gibbs). D_KL(Q||P) = 0 bit. M = 0,5. D_JS = 0 bit
  • Distribuciones extremadamente diferentes p=0,9 q=0,1: D_KL(P||Q) = 0,9·log₂(0,9/0,1) + 0,1·log₂(0,1/0,9) = 2,536 bit. D_KL(Q||P) ≈ 2,536 bit (caso especial binario simétrico q=1−p). D_JS ≈ 0,531 bit (cerca máx 1 bit). Detección moneda truncada p=90% vs onesta p=50%
  • Asimetría evidente p=0,3 q=0,7: D_KL(P||Q) = 0,3·log₂(0,3/0,7) + 0,7·log₂(0,7/0,3) = 0,489 bit. D_KL(Q||P) ≈ 0,489 bit. D_JS ≈ 0,121 bit
  • Distribuciones similares p=0,5 q=0,6 (ruido leve): D_KL(P||Q) ≈ 0,029 bit muy pequeño. D_JS ≈ 0,007 bit
  • Spam classification P=spam Q=ham Translated Roma 1999: P(word|spam)=0,8 vs Q(word|ham)=0,1 → D_KL ≈ 1,86 bit
  • ImageNet softmax cross-entropy IIT Génova 2003: 1000 clases, cross-entropy reducido de 6,9 (random) a ~1 bit
  • Bayesian update SISSA Trieste 1978 + de Finetti 1931: prior Beta(1,1), después n=10 obs 7 éxitos → posterior Beta(8,4), D_KL ≈ 0,87 nat = 1,26 bit
  • VAE Kingma 2013 IIT Pattern Analysis: D_KL cerrada = ½ Σ (μ² + σ² − log σ² − 1); típico 5-50 nat
  • Higgs CMS Atlas INFN Pisa 2012-2024: BDT/DNN D_KL ~1-3 bit signal separation
  • Cineca Leonardo HPC LLM training 250 PFlops, cross-entropy converge de 10 nat a ~1 nat

Investigación italiana information theory AI ML

La investigación italiana information theory + ML + AI:

  • SISSA Trieste 1978 Master HPC 2014 + Data Science 2018 + ML 2020 (collab. Trieste 1924 + ICTP)
  • ICTP Trieste 1964 Abdus Salam Quantitative Life Sciences + Information Theory + Bayesian summer school + diploma 1.500 alumni
  • IIT Génova 2003 Istituto Italiano di Tecnología 1.700 investigadores: robótica iCub humanoide 2008 + RL + Pattern Analysis + Computer Visión Génova-Milán-Trento-Lecce-Pisa-Roma
  • Politecnico Milán 1863 DEIB + Master AI for Industry
  • Politecnico Turín 1859 CINI + AI Lab
  • Bocconi Milán 1902 BIDSA + Carlo Vercellis statistical learning
  • Sapienza Roma 1303 Centro Vito Volterra + AI Lab Daniele Nardi
  • Pisa 1343 + Scuola Normale 1810 Tomaso Aste + Sandro Veronesi statistical learning
  • Bolonia 1088 + DISI
  • Padua 1222 Galileo
  • INFN Roma 1951 Atlas + CMS Higgs particle ID 2012-2024 deep learning
  • INDAM F. Severi 1939
  • ISTAT Roma 1926 + Bruno de Finetti 1931 Bayesian probability subjective
  • Cataldo Agostinelli 1894-1988 matemático Politecnico Turín
  • Cineca Bolonia 1969 Marconi100 30 PFlops + Leonardo 250 PFlops 2023 (5° TOP500) AI training LLM Italia
  • ELLIS Laboratory 2018 unit IIT + Politecnico + Bolonia + Sapienza
  • Startups AI italianas: Bending Spoons Milán 2013 acquired Evernote 2023 + Meetup + WeTransfer; Translated Roma 1999 ModernMT NMT; Almawave Roma 2008 NLP
  • Premios Nobel italianos física: Carlo Rubbia 1984 CERN W/Z + Riccardo Giacconi 2002 X-ray
  • PNRR Misión 4 Componente 2 ricerca AI 6,9 mil mill. € (Centros Nacionales HPC, AI4I); Bonus italianos I+D 2025: Crédito I+D L. 160/2019 25% (PYMES 35%); Patent Box L. 178/2020 50%; PNRR Misión 4 6,9 mil mill. € + Italian Tech Alliance + CDP Venture Capital AI 1 mil mill. €

Actualizado a julio de 2026

Preguntas frecuentes

¿Qué es la divergencia Kullback-Leibler?

Medida asimétrica de distancia entre dos distribuciones de probabilidad P y Q, definida Solomon Kullback y Richard Leibler 1951 Annals Math. Statistics 22, 79: D_KL(P||Q) = Σ P(x)·log₂(P(x)/Q(x)) bit, o ln nat. También llamada relative entropy o information divergence. Siempre ≥ 0 (desigualdad Gibbs), = 0 sii P=Q. Asimetría: D_KL(P||Q) ≠ D_KL(Q||P), no es métrica verdadera. Usada ML cross-entropy.

¿Fórmula KL divergence binaria?

Para distribuciones binarias P=(p, 1-p) y Q=(q, 1-q): D_KL(P||Q) = p·log(p/q) + (1-p)·log((1-p)/(1-q)). En bit usa log₂, en nat usa ln. Ejemplo p=0,9, q=0,1 → D_KL ≈ 2,536 bit, distribuciones muy diferentes. Asimetría: D_KL(Q||P) calculada intercambiando p y q. Para datos continuos: integral ∫ p(x)·log(p(x)/q(x)) dx. Siempre ≥ 0 con igualdad sii P=Q casi en todas partes (Gibbs).

¿Jensen-Shannon divergence simétrica?

Jensen-Shannon divergence es la versión simétrica de KL: D_JS(P,Q) = ½·D_KL(P||M) + ½·D_KL(Q||M) con M = (P+Q)/2. Rango [0, log(2)] nat o [0, 1] bit. Ventajas: D_JS simétrica, siempre finita aun con soportes diferentes, √D_JS es métrica verdadera (Endres-Schindelin 2003 IEEE Trans. Information Theory). Usada GAN Goodfellow 2014 minimax real vs generated.

¿KL divergence machine learning?

KL divergence aplicaciones ML: 1) Cross-entropy loss H(P,Q)=H(P)+D_KL(P||Q); 2) VAE Kingma-Welling 2013 regularization D_KL(q_φ(z|x)||p(z)) ELBO; 3) Bayesian inference posterior vs prior information gain; 4) RL TRPO PPO Schulman 2015 policy update bound; 5) t-SNE 2008 + UMAP 2018 dim. reduction; 6) AIC Akaike 1974 model selection; 7) GAN minimax D_JS.

¿Ejemplo distribuciones binarias?

Ejemplos KL binario: 1) p=0,5 q=0,5 idénticas → D_KL = 0 bit (Gibbs); 2) p=0,9 q=0,1 extremas → D_KL ≈ 2,536 bit (coin biased detection); 3) p=0,3 q=0,7 asimetría → D_KL ≈ 0,489 bit; 4) p=0,5 q=0,6 similares → D_KL ≈ 0,029 bit (ruido leve). Jensen-Shannon: para p=0,9, q=0,1 → D_JS ≈ 0,531 bit, rango [0, 1] bit. Asymmetric examples p=0,3 vs q=0,7.

¿Investigación italiana KL AI?

Investigación italiana info theory + AI: SISSA Trieste 1978 Master HPC + Data Science + ML; ICTP Trieste 1964 Information Theory summer school; IIT Génova 2003 1.700 investigadores RL iCub Pattern Analysis; Politecnico Milán 1863 + Turín 1859; Bocconi BIDSA 1902; Sapienza Roma 1303; Pisa Scuola Normale 1810; INFN Higgs Atlas CMS 2012-2024; Cineca Leonardo 250 PFlops 2023.

¿Bonus italianos AI 2025?

Bonus italianos AI 2025: 1) Crédito I+D art. 1 c. 200 L. 160/2019 tasa 25% (PYMES 35%) cumulable; 2) Patent Box L. 178/2020 deducción 50% I+D patentados; 3) PNRR Misión 4 Componente 2 AI 6,9 mil mill. € (Centros Nacionales HPC, AI4I, BioMS); 4) CDP Venture Capital AI Fondo 1 mil mill. €; 5) ELLIS European Laboratory.

Comentarios (0)

Sin comentarios aún. ¡Sé el primero!