Entropie de Shannon

Théorie de l'information · 1948

Équation: H = −Σᵢ pᵢ·log₂ pᵢ
Domaine: Théorie de l'information
Nommé d'après: Claude Shannon
Symboles: H quantité d'information en bits · pᵢ probabilité de chaque message possible · les messages rares portent plus d'information que les messages attendus
Année: 1948

Portée

La quantité de surprise que porte un message — la définition du bit, et le plancher dur sous lequel aucune compression ne peut tasser les données. La formule est l'entropie de Boltzmann sous des habits neufs, un lien que Shannon connaissait : information et désordre thermodynamique relèvent des mêmes mathématiques.

Chronologie

Les derniers trous noirs s'en vont

Théories

Principe holographique Théorie de l'information quantique Théorie de l'information

Connexes

État de qubit Entropie de Boltzmann Deuxième principe de la thermodynamique Capacité de canal de Shannon–Hartley Théorème de Bayes

Référencé par

équation

Théorème de Bayes Entropie de Boltzmann État de qubit Deuxième principe de la thermodynamique Capacité de canal de Shannon–Hartley

événement

Les derniers trous noirs s'en vont

théorie

Principe holographique Théorie de l'information Théorie de l'information quantique

Ouvrir sur l'étagère Équations — la fiche interactive, les filtres et tout ce qui l'accompagne.

Issu de la base Équations dans Notion, dernière modification le 2026-08-15. Cette page est la ligne, rendue par le build ; rien n'y est écrit à la main.