Comment fonctionne l'inférence de l'IA – et pourquoi elle coûte plus cher que l'entraînement

La partie de l'IA dont personne ne parle

Lorsqu'OpenAI entraîne une nouvelle version de GPT, le processus dure des semaines sur des milliers de processeurs spécialisés, consommant d'énormes quantités d'électricité et d'argent. Cette phase d'entraînement fait la plupart des gros titres. Mais une fois que le modèle est en ligne et que des millions de personnes commencent à discuter avec lui, une phase différente – et bien plus coûteuse – commence : l'inférence.

L'inférence est le processus par lequel un modèle d'IA entraîné traite de nouvelles entrées et produit une sortie. Cela se produit chaque fois que vous tapez une requête, posez une question à un assistant vocal ou recevez une recommandation de produit en ligne. En bref, c'est l'IA qui fait ce pour quoi elle a été conçue.

Entraînement vs. Inférence : Deux tâches complètement différentes

Pour comprendre l'inférence, il est utile de la comparer à l'entraînement. Pendant l'entraînement, un réseau neuronal apprend à partir de vastes ensembles de données en ajustant à plusieurs reprises des milliards de paramètres internes – un processus de calcul brutal appelé rétropropagation. Le modèle voit des exemples, mesure à quel point ses suppositions sont fausses et ajuste ses poids dans la bonne direction, encore et encore, jusqu'à ce qu'il devienne utile.

L'inférence saute tout cela. Les poids du modèle sont désormais fixes. Lorsque de nouvelles données arrivent – disons, votre question tapée – elles traversent le réseau en un seul passage direct : couche par couche, le modèle utilise ces poids figés pour interpréter le contexte et générer une réponse. Il n'y a pas d'apprentissage, pas de calcul de gradient, pas de mise à jour des poids. Juste une transformation mathématique rapide de l'entrée à la sortie.

Selon NVIDIA, l'entraînement est généralement un événement ponctuel ou peu fréquent, tandis que l'inférence est continue – fonctionnant sans arrêt en production pour servir de vrais utilisateurs à grande échelle.

Pourquoi l'inférence est plus difficile qu'il n'y paraît

L'inférence semble plus simple que l'entraînement, et mathématiquement, elle l'est. Mais l'exécution de l'inférence à grande échelle introduit un ensemble distinct de cauchemars d'ingénierie.

• Latence : Les utilisateurs s'attendent à des réponses en moins d'une seconde. Chaque milliseconde compte. Un pipeline d'inférence lent détruit l'expérience utilisateur.
• Débit : Un service d'IA populaire peut gérer des millions de requêtes simultanées. L'infrastructure doit évoluer horizontalement sans s'effondrer.
• Coût par requête : Chaque inférence consomme du calcul. Multipliez une requête bon marché par un milliard d'utilisateurs quotidiens et la facture devient stupéfiante.

Comme Cloudflare l'explique, bien qu'une seule inférence soit beaucoup moins intensive qu'une exécution d'entraînement, le coût cumulé de la diffusion d'un modèle largement utilisé peut éclipser ce qu'il a coûté de le construire en premier lieu.

L'économie stupéfiante

Les chiffres le confirment. Selon une analyse rapportée par PYMNTS, environ 80 % des budgets de calcul de l'IA sont consacrés à l'inférence et seulement 20 % à l'entraînement. Pour GPT-4 d'OpenAI, la facture d'inférence a été estimée à environ 2,3 milliards de dollars par an – environ 15 fois son coût d'entraînement. Comme RCR Tech le note, le cluster d'inférence de ChatGPT est plus de dix fois plus grand que le cluster utilisé pour l'entraîner.

La bonne nouvelle est que les améliorations de l'efficacité sont rapides. Le coût d'exécution d'un modèle de niveau GPT-3.5 a chuté de plus de 280 fois entre fin 2022 et fin 2024, grâce aux optimisations algorithmiques, à une meilleure utilisation du matériel et à des puces d'inférence dédiées.

Puces dédiées et inférence en périphérie

L'entraînement a longtemps été dominé par les GPU à usage général, car la flexibilité est importante lorsque les orientations de la recherche évoluent rapidement. L'inférence est différente. Une fois qu'une architecture de modèle est stable, les concepteurs de puces peuvent construire des ASIC (circuits intégrés spécifiques à une application) qui câblent directement les modèles de calcul du modèle dans le silicium – éliminant les circuits inutiles et maximisant les performances par watt.

Au-delà des centres de données, l'inférence se déplace de plus en plus vers la périphérie – s'exécutant directement sur les smartphones, les voitures, les caméras et les capteurs industriels. L'inférence en périphérie réduit la latence, réduit les coûts de bande passante et maintient les données sensibles en local. Des techniques telles que la quantification (réduction de la précision numérique des poids du modèle) et l'élagage (suppression des connexions redondantes) réduisent suffisamment les modèles pour qu'ils puissent fonctionner sur des appareils à faible consommation d'énergie sans perte de précision significative.

Pourquoi c'est important

Comprendre l'inférence aide à démystifier pourquoi l'IA est si coûteuse à déployer, pourquoi les puces spécialisées deviennent un atout stratégique et pourquoi les percées en matière d'efficacité comptent autant que la capacité brute du modèle. L'entraînement produit l'intelligence ; l'inférence la fournit – des milliards de fois par jour, à un coût que l'industrie apprend encore à gérer.