Comment fonctionne la quantification des modèles d'IA – et pourquoi c'est important

Le problème : les modèles d'IA sont trop volumineux

Les modèles d'IA modernes sont énormes. Un grand modèle linguistique avec sept milliards de paramètres nécessite environ 14 gigaoctets de mémoire au format standard à virgule flottante 16 bits – et les plus grands modèles sont des centaines de fois plus grands. L'exécution de ces modèles exige du matériel spécialisé coûteux, consomme d'énormes quantités d'énergie et rend le déploiement sur les téléphones, les ordinateurs portables ou les appareils périphériques presque impossible.

La quantification offre une solution élégante : réduire la taille du modèle en diminuant la précision numérique de ses valeurs internes. Au lieu de stocker chaque nombre sous forme de valeur à virgule flottante de 32 bits ou de 16 bits, la quantification les convertit en entiers de 8 bits ou même dans des formats plus petits. Le résultat est un modèle qui utilise une fraction de la mémoire, s'exécute plus rapidement et consomme moins d'énergie – souvent avec une perte de précision négligeable.

Comment fonctionne la quantification

Au fond, la quantification est un problème de mappage. Les réseaux neuronaux stockent deux principaux types de nombres : les poids (les paramètres appris qui définissent le modèle) et les activations (les sorties dynamiques produites lorsque les données circulent dans chaque couche). Dans les modèles à pleine précision, ces valeurs sont généralement stockées sous forme de nombres à virgule flottante de 32 bits (FP32), ce qui donne à chaque valeur environ sept chiffres décimaux de précision.

La quantification compresse ces valeurs dans des formats de plus faible précision. Les cibles les plus courantes incluent FP16 (virgule flottante 16 bits), BF16 (virgule flottante cérébrale, privilégiée pour l'entraînement), INT8 (entier 8 bits) et le nouveau format FP8. Chaque format alloue les bits différemment entre le signe, l'exposant et la mantisse, échangeant la plage et la précision contre la compacité.

Le processus fonctionne en calculant un facteur d'échelle qui mappe la plage de valeurs d'origine dans la plage plus petite du format cible. Par exemple, si les valeurs d'un tenseur varient de −3,0 à 3,0, un facteur d'échelle mappe cette plage sur la plage −128 à 127 d'un format INT8. La granularité de ce mappage – qu'il soit appliqué par tenseur, par canal ou par bloc – affecte directement la précision.

Deux approches principales

Quantification post-entraînement (PTQ)

La PTQ est la méthode la plus simple et la plus populaire. Elle prend un modèle entièrement entraîné et convertit ses poids (et éventuellement ses activations) en une précision inférieure sans réentraînement. La PTQ avec poids uniquement quantifie directement les paramètres statiques. La PTQ avec poids et activations compresse également les activations dynamiques, mais nécessite un petit ensemble de données d'étalonnage pour déterminer les facteurs d'échelle optimaux. Selon la documentation technique de NVIDIA, les algorithmes PTQ avancés comme AWQ protègent les canaux de poids critiques grâce à l'analyse de l'activation, tandis que GPTQ utilise les informations de la matrice hessienne pour une compression plus précise.

Entraînement conscient de la quantification (QAT)

La QAT intègre la quantification dans le processus d'entraînement lui-même. Elle insère des modules de « fausse quantification » qui simulent les effets de faible précision pendant les passes avant, permettant au modèle d'adapter ses poids pour compenser les erreurs d'arrondi. La QAT produit généralement des modèles quantifiés plus précis que la PTQ, mais nécessite un accès aux données d'entraînement et des ressources de calcul importantes.

Les avantages en termes de performances

Les avantages sont considérables. La quantification INT8 peut réduire l'empreinte mémoire d'un modèle de 75 % par rapport à FP32, tout en offrant une inférence jusqu'à quatre fois plus rapide sur du matériel compatible. Le passage de FP16 à FP8 réduit à nouveau de moitié la mémoire – réduisant un modèle de 14 gigaoctets à environ sept gigaoctets. Les GPU modernes comme les H100 et H200 de NVIDIA incluent des cœurs de tenseur dédiés pour les opérations FP8, ce qui rend l'inférence quantifiée non seulement plus petite, mais aussi nativement plus rapide.

L'algorithme TurboQuant récemment annoncé par Google repousse encore les limites, compressant la mémoire cache clé-valeur par six en utilisant seulement trois bits par valeur – sans perte de précision mesurable. Comme l'a rapporté TechCrunch, la technique est sans entraînement et indifférente aux données, ce qui signifie que les organisations peuvent l'appliquer aux modèles existants sans réentraînement.

Les compromis

La quantification n'est pas gratuite. Une compression agressive – en particulier en dessous de 8 bits – peut dégrader la précision sur les tâches nécessitant un raisonnement numérique précis. Les valeurs aberrantes dans les poids ou les activations peuvent être mal représentées dans les formats de faible précision, ce qui entraîne des erreurs qui se propagent dans le réseau. Des techniques comme SmoothQuant, qui applique une mise à l'échelle par canal pour redistribuer les amplitudes des valeurs aberrantes, aident à atténuer ces effets.

Le choix de la méthode est également important. La PTQ est rapide et pratique, mais peut sacrifier la précision sur les tâches sensibles. La QAT préserve mieux la précision, mais coûte plus cher à mettre en œuvre. En pratique, la plupart des déploiements en production utilisent une combinaison : la PTQ pour la compression initiale, avec une QAT ciblée pour les composants de modèle critiques.

Pourquoi c'est important maintenant

Alors que les modèles d'IA deviennent de plus en plus grands et que la demande d'inférence sur les appareils explose, la quantification est devenue une infrastructure essentielle. Elle permet aux chatbots de fonctionner sur les smartphones, à l'IA médicale de fonctionner dans les cliniques rurales sans connectivité au cloud, et aux entreprises de servir des millions d'utilisateurs sans construire de nouveaux centres de données. Avec de nouveaux formats comme FP8 devenant natifs du matériel et des algorithmes comme TurboQuant poussant les taux de compression toujours plus haut, la quantification remodèle discrètement où et comment l'IA peut fonctionner.