Théorie de l’Information et RNG (Générateur de Nombres Aléatoires)

Auteur : Zavian Thornell

Au cœur du numérique, l’entropie et le hasard

Dans notre monde hyperconnecté où circulent chaque seconde des milliards de données, deux concepts mathématiques fondamentaux façonnent invisiblement notre quotidien numérique : la théorie de l’information et les générateurs de nombres aléatoires (RNG). Ces deux piliers, apparemment distincts, sont en réalité profondément intriqués. La première, développée par Claude Shannon en 1948, quantifie l’information elle-même ; les seconds produisent le hasard indispensable à la sécurité et au fonctionnement de nos systèmes numériques.

Qu’ont en commun le chiffrement de vos messages, la compression de vos vidéos, la sécurité de vos transactions bancaires et le brassage des cartes dans un jeu en ligne ? Tous reposent sur ces fondements mathématiques que nous allons explorer en profondeur.

Claude Shannon et la naissance de la théorie de l’information

L’homme qui a quantifié l’information

En 1948, Claude Elwood Shannon, ing

énieur en génie électrique aux Laboratoires Bell, publie un article révolutionnaire intitulé « A Mathematical Theory of Communication » Wikipedia. Ce travail fondateur répond à une question apparemment simple mais profonde : comment mesurer l’information ?

À l’époque, les télécommunications étaient dominées par le mode analogique. Shannon cherchait à formaliser mathématiquement la nature statistique de « l’information perdue » dans les signaux des lignes téléphoniques. Pour ce faire, il développa le concept général d’entropie de l’information, une mesure révolutionnaire qui allait transformer notre compréhension de la communication.

Comme le note Wikipedia, « l’entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d’information contenue ou fournie par une source d’information ».

L’entropie : mesure de l’incertitude

Le terme « entropie » fut suggéré par le mathématicien John von Neumann lui-même. Selon l’anecdote, von Neumann recommanda à Shannon d’utiliser ce terme car « personne ne sait vraiment ce qu’est l’entropie, donc dans un débat, vous aurez toujours l’avantage » CultureMath.

Mathématiquement, pour une source X comportant n symboles, chaque symbole xᵢ ayant une probabilité Pᵢ d’apparaître, l’entropie H de la source X est définie comme :

H(X) = -Σ Pᵢ log₂(Pᵢ)

où la somme porte sur tous les symboles i.

Cette formule capture une idée intuitive puissante : plus une source est imprévisible, plus son entropie est élevée. Si une source envoie toujours le même symbole (par exemple, toujours la lettre ‘a’), son entropie est nulle — il n’y a aucune incertitude. À l’inverse, si tous les symboles sont équiprobables, l’entropie est maximale.

Exemple concret : le lancer de pièce

Considérons une pièce de monnaie équilibrée. La probabilité d’obtenir pile ou face est de 0,5 pour chacun. L’entropie du résultat est :

H(X) = -(0,5 × log₂(0,5)) – (0,5 × log₂(0,5))
H(X) = -(0,5 × (-1)) – (0,5 × (-1))
H(X) = 0,5 + 0,5 = 1 bit

Cela signifie qu’il faut exactement 1 bit d’information pour communiquer le résultat d’un lancer de pièce équilibrée.

Mais si la pièce est truquée avec une probabilité de 0,7 pour pile et 0,3 pour face :

H(X) = -(0,7 × log₂(0,7)) – (0,3 × log₂(0,3))
H(X) ≈ 0,36 + 0,52 = 0,88 bit

L’incertitude est réduite, donc l’entropie aussi. Le résultat est plus prévisible Wikipedia.

Les générateurs de nombres aléatoires : du concept à la réalité

Qu’est-ce qu’un RNG ?

Un générateur de nombres aléatoires (RNG – Random Number Generator) est un système produisant une séquence de nombres qui semble aléatoire. Ces générateurs sont omniprésents dans nos systèmes numériques, des simulations scientifiques à la cryptographie, en passant par les jeux vidéo et les machines à sous.

Cependant, tous les RNG ne sont pas créés égaux. Il existe deux catégories fondamentalement différentes :

PRNG : Générateurs pseudo-aléatoires

Les PRNG (Pseudo-Random Number Generators) utilisent des algorithmes mathématiques déterministes pour produire des séquences qui semblent aléatoires. Comme l’explique Science Mainguet, « un PRNG utilise un algorithme qui, à partir d’une valeur initiale appelée ‘graine’ (seed), génère une suite de nombres qui paraissent aléatoires mais sont en réalité totalement déterministes ».

Caractéristiques des PRNG :

• Déterminisme : la même graine produit toujours la même séquence
• Rapidité : très rapides, peuvent générer des millions de nombres par seconde
• Périodicité : finissent par se répéter après un certain nombre de valeurs (la période)
• Prévisibilité : si l’on connaît l’algorithme et la graine, la séquence est prévisible

Les PRNG sont largement utilisés pour les simulations, les jeux vidéo et toute application ne nécessitant pas de sécurité cryptographique absolue.

TRNG : Générateurs vraiment aléatoires

Les TRNG (True Random Number Generators) exploitent des phénomènes physiques intrinsèquement aléatoires pour générer des nombres véritablement imprévisibles Secure-IC.

Sources physiques d’aléa :

• Bruit électronique : fluctuations thermiques dans les composants électroniques
• Désintégration radioactive : processus quantique fondamentalement aléatoire
• Bruit atmosphérique : variations imprévisibles dans les signaux radio
• Effet tunnel quantique : phénomène de mécanique quantique
• Jitter d’horloge : variations microscopiques dans les signaux d’horloge

Un exemple célèbre est celui de Cloudflare, qui utilise un mur de lampes à lave pour générer de l’aléa. Les mouvements chaotiques de la cire dans les lampes sont filmés, et les variations d’image fournissent une source d’entropie physique Cloudflare.

Avantages des TRNG :

• Imprévisibilité totale
• Pas de période de répétition
• Sécurité cryptographique maximale

Inconvénients :

• Plus lents que les PRNG
• Plus coûteux à implémenter
• Nécessitent du matériel spécialisé

Le lien profond entre entropie et RNG

L’entropie comme mesure de la qualité d’un RNG

La théorie de l’information de Shannon fournit un cadre mathématique rigoureux pour évaluer la qualité d’un générateur de nombres aléatoires. Un RNG parfait devrait produire une séquence dont l’entropie est maximale — c’est-à-dire où chaque nombre est totalement imprévisible connaissant les précédents.

Pour une séquence binaire (0 et 1) parfaitement aléatoire, l’entropie devrait être exactement de 1 bit par bit. Toute déviation de cette valeur indique soit une redondance (entropie trop faible), soit une structure cachée dans la séquence.

Tests statistiques : NIST et Diehard

Pour valider la qualité des RNG, des batteries de tests statistiques ont été développées. Les deux plus célèbres sont :

1. La suite de tests NIST (National Institute of Standards and Technology)

Le NIST a développé une suite complète de 15 tests statistiques incluant :

• Test de fréquence (monobit)
• Test de fréquence par blocs
• Test des séquences (runs)
• Test du rang de matrice
• Test spectral (transformée de Fourier discrète)
• Test d’entropie approximative
• Test universel statistique de Maurer

Ces tests nécessitent généralement au moins 1 million de bits pour être significatifs.

2. Les tests Diehard

Développés par George Marsaglia, les tests Diehard comprennent 15 tests différents et requièrent environ 80 millions de bits. Comme le note Science Mainguet, « DIEHARD propose 15 tests statistiques similaires aux tests du NIST mais avec des exigences plus strictes ».

Entropie et compression de données

L’entropie de Shannon détermine également la limite théorique de compression d’un fichier. Comme l’explique Wikipedia, « l’entropie de Shannon permet de quantifier le nombre minimum de bits sur lesquels on peut coder un fichier, mesurant ainsi les limites que peuvent espérer atteindre les algorithmes de compression sans perte comme le codage de Huffman ».

Algorithmes de compression basés sur l’entropie :

1. Codage de Huffman : attribue des codes courts aux symboles fréquents et des codes longs aux symboles rares. La longueur moyenne du code se rapproche de l’entropie de la source Wikibooks.
2. Algorithmes Lempel-Ziv (LZ77, LZ78, LZW) : exploitent les redondances dans les données en construisant des dictionnaires dynamiques. Utilisés dans ZIP, GZIP, PNG Marco Cagnazzo.
3. Codage arithmétique : peut théoriquement atteindre l’entropie exacte d’une source (contrairement à Huffman qui est limité à des longueurs entières de bits).

Exemple pratique : Un texte en français a une entropie d’environ 1,93 bits par lettre (selon les expériences de Shannon), bien inférieure aux 4,75 bits nécessaires pour 27 symboles équiprobables. Cette redondance explique pourquoi les textes sont si facilement compressibles Wikipedia.

Applications critiques dans le monde moderne

Cryptographie : le règne des CSPRNG

En cryptographie, la qualité de l’aléa est une question de vie ou de mort numérique. Un générateur faible peut compromettre l’intégralité d’un système cryptographique, quel que soit l’algorithme utilisé.

Les CSPRNG (Cryptographically Secure Pseudo-Random Number Generators) sont des PRNG spécialement conçus pour la cryptographie I’MTech. Ils doivent satisfaire des critères stricts :

Critères de sécurité cryptographique :

1. Imprévisibilité : connaître n bits générés ne doit pas permettre de prédire le bit n+1
2. Résistance à l’analyse : même avec une connaissance partielle de l’état interne, impossible de reconstruire la séquence
3. Non-réversibilité : impossible de retrouver l’état interne à partir des sorties

Applications :

• Génération de clés cryptographiques (AES, RSA)
• Vecteurs d’initialisation (IV) pour le chiffrement par blocs
• Nombres aléatoires pour les protocoles (nonces, challenges)
• Génération de sel pour le hachage de mots de passe

Comme le souligne OpenClassrooms, « la qualité de la génération des nombres aléatoires est effectivement un problème de sécurité. Les systèmes d’exploitation s’exécutant sur des ordinateurs modernes disposent de pools d’entropie qu’ils alimentent avec diverses sources physiques ».

Blockchain et cryptomonnaies

Les technologies blockchain reposent massivement sur des RNG de qualité cryptographique pour :

1. Génération de clés privées

Chaque portefeuille Bitcoin ou Ethereum commence par un nombre aléatoire de 256 bits qui devient la clé privée. Une faiblesse dans le RNG pourrait permettre à un attaquant de deviner les clés et voler des fonds.

2. Proof-of-Work

Le minage de Bitcoin nécessite de trouver un nonce aléatoire qui, combiné au bloc, produise un hash satisfaisant certaines conditions. Les mineurs génèrent des milliards de nonces aléatoires par seconde.

3. Protocoles de consensus

Certaines blockchains modernes utilisent des mécanismes de sélection aléatoire des validateurs. Par exemple, Ethereum 2.0 utilise un système de sélection aléatoire vérifiable (VRF – Verifiable Random Function).

Jeux et simulations

Dans le domaine ludique et scientifique, les RNG sont omniprésents :

Jeux vidéo :

• Génération procédurale de mondes (Minecraft, No Man’s Sky)
• Drops de loot et récompenses
• Comportement des ennemis IA
• Systèmes de combat avec jets de dés virtuels

Simulations scientifiques :

• Méthodes de Monte-Carlo (physique, finance, ingénierie)
• Modélisation de phénomènes quantiques
• Simulations de systèmes biologiques
• Prédictions météorologiques

Sécurité informatique au quotidien

Les RNG protègent vos données personnelles chaque jour :

Protocoles HTTPS/TLS : Chaque fois que vous vous connectez à un site web sécurisé (https://), un nombre aléatoire est généré pour établir une session chiffrée unique. La sécurité de votre connexion bancaire ou de vos achats en ligne dépend directement de la qualité de ce RNG.

Authentification multi-facteurs : Les codes à usage unique (OTP) générés par vos applications d’authentification (Google Authenticator, Authy) reposent sur des générateurs cryptographiques.

Protection contre les attaques :

• ASLR (Address Space Layout Randomization) : randomise l’emplacement mémoire des programmes pour contrer les exploits
• CSRF tokens : jetons aléatoires protégeant contre les attaques de falsification de requêtes
• Session IDs : identifiants aléatoires empêchant le détournement de session

Les défis contemporains

Le paradoxe de l’aléatoire informatique

Un ordinateur, machine déterministe par excellence, peut-il produire du vrai hasard ? C’est le paradoxe fondamental des RNG informatiques. Comme le note Le Cortex, « il existe deux types d’aléatoire en informatique : le pseudo-aléatoire et le ‘vrai’ aléatoire ».

Les PRNG, aussi sophistiqués soient-ils, restent déterministes. Leur « aléa » n’est qu’une illusion mathématique — une séquence si complexe qu’elle paraît aléatoire aux tests statistiques.

Les TRNG résolvent ce paradoxe en sortant du domaine purement numérique pour exploiter le hasard physique. Mais même là, des questions philosophiques subsistent : la désintégration radioactive est-elle « vraiment » aléatoire ou simplement trop complexe pour être prédite ?

Attaques sur les RNG

Les générateurs de nombres aléatoires sont des cibles privilégiées pour les attaquants :

1. Attaques sur l’initialisation (seed)

Si un attaquant peut deviner ou influencer la graine d’un PRNG, il peut prédire toute la séquence. Des vulnérabilités célèbres incluent :

• L’utilisation du timestamp comme seule source d’entropie (trop prévisible)
• Des graines de faible entropie sur des systèmes embarqués
• L’attaque Dual_EC_DRBG (générateur compromis par la NSA)

2. Attaques par canaux auxiliaires

Sur les TRNG matériels, un attaquant peut exploiter :

• Les variations de consommation électrique
• Les émissions électromagnétiques
• Le timing des opérations
• Les variations de température

3. Backdoors cryptographiques

L’affaire Dual_EC_DRBG a révélé qu’une agence de renseignement avait introduit une porte dérobée dans un générateur recommandé par le NIST, permettant de prédire les sorties.

Défis quantiques

L’avènement de l’informatique quantique pose de nouveaux défis :

Menaces :

• Les ordinateurs quantiques pourraient casser les algorithmes cryptographiques actuels (RSA, ECC)
• Les PRNG classiques pourraient devenir vulnérables

Opportunités :

• Les QRNG (Quantum Random Number Generators) exploitent l’indéterminisme quantique fondamental
• Génération d’aléa véritablement incassable basée sur les principes de mécanique quantique
• Distribution de clés quantiques (QKD) garantie par les lois de la physique

Perspectives d’avenir

Vers des RNG hybrides

La tendance actuelle combine le meilleur des deux mondes :

Architecture hybride TRNG + PRNG :

1. Un TRNG récolte de l’entropie physique (lent mais sûr)
2. Cette entropie alimente périodiquement un CSPRNG (rapide)
3. Le CSPRNG génère les nombres à haute vitesse pour les applications

Cette approche offre à la fois sécurité (grâce à l’entropie physique) et performance (grâce au PRNG).

Blockchain et oracles décentralisés

Les smart contracts et applications décentralisées nécessitent des sources d’aléa vérifiables et inviolables. Des projets comme Chainlink VRF (Verifiable Random Function) proposent des solutions où l’aléa est généré de manière cryptographiquement prouvable et vérifiable on-chain.

Intelligence artificielle et aléa

Les réseaux de neurones utilisent massivement l’aléatoire :

• Initialisation aléatoire des poids
• Dropout aléatoire pour la régularisation
• Échantillonnage stochastique dans les algorithmes d’entraînement
• Augmentation de données par transformations aléatoires

La qualité du RNG peut significativement impacter les performances d’entraînement et la reproductibilité des résultats.

L’invisible omniprésence du hasard contrôlé

La théorie de l’information de Shannon et les générateurs de nombres aléatoires forment un duo indissociable au cœur de notre civilisation numérique. L’une quantifie l’incertitude et l’information ; les autres la matérialisent sous forme de séquences imprévisibles.

De la compression de vos fichiers multimédia à la sécurité de vos transactions bancaires, de la génération de mondes virtuels infinis aux simulations climatiques les plus avancées, ces concepts mathématiques travaillent en coulisses pour rendre possible l’impossible.

L’entropie de Shannon nous apprend que l’information naît de l’imprévisibilité. Les RNG incarnent cette vérité en produisant le hasard contrôlé dont nos systèmes ont besoin. Comme le notait von Neumann avec ironie : « Quiconque considère des méthodes arithmétiques pour produire des chiffres aléatoires est, bien sûr, en état de péché ». Pourtant, ce « péché » mathématique est devenu la pierre angulaire de notre sécurité numérique.

Dans un monde de plus en plus numérisé, comprendre ces fondamentaux n’est plus réservé aux spécialistes. C’est une littératie essentielle pour naviguer en conscience dans l’océan de données qui nous entoure, où chaque bit compte et où le hasard n’est jamais vraiment le fruit du hasard.

Sources

1. Wikipedia – Entropie de Shannon : https://fr.wikipedia.org/wiki/Entropie_de_Shannon
2. CultureMath – Qu’est-ce que la théorie de l’information ? : https://culturemath.ens.fr/thematiques/probabilites/qu-est-ce-que-la-theorie-de-l-information
3. Science Mainguet – Les générateurs de nombres aléatoires : https://science.mainguet.org/cybersec/TRNG/TRNG_00.htm
4. Secure-IC – Générateur de nombres aléatoires réels (TRNG) : https://www.secure-ic.fr/produits/plateforme-de-services-de-securite-integree/ip-de-securite/gestion-des-cles/generateur-de-nombres-aleatoires-reels-trng/
5. Cloudflare – Comment les lampes à lave contribuent au chiffrement Internet : https://www.cloudflare.com/fr-fr/learning/ssl/lava-lamp-encryption/
6. I’MTech – Cryptographie : à quoi servent les nombres aléatoires ? : https://imtech.imt.fr/2022/04/06/cryptographie-a-quoi-servent-les-nombres-aleatoires/
7. OpenClassrooms – Générez des nombres aléatoires : https://openclassrooms.com/fr/courses/1757741-securisez-vos-donnees-avec-la-cryptographie/6031863-generez-des-nombres-aleatoires
8. Wikipedia – Tests Diehard : https://fr.wikipedia.org/wiki/Tests_Diehard
9. NIST – A Statistical Test Suite for Random and Pseudorandom Number Generators : https://nvlpubs.nist.gov/nistpubs/legacy/sp/nistspecialpublication800-22r1a.pdf
10. Wikibooks – Compression de données/Codage entropique : https://fr.wikibooks.org/wiki/Compression_de_données/Codage_entropique
11. Marco Cagnazzo – Codage d’Huffman, Lempel-Ziv, arithmétique : https://cagnazzo.wp.imt.fr/files/2013/05/compression_03_lossless_coding.pdf
12. Le Cortex – Ordinateurs et aléatoire : le hasard existe-t-il ? : https://www.le-cortex.com/media/articles/ordinateurs-et-aleatoire-le-hasard-existe-t-il