Wie KI-Inferenz funktioniert – und warum sie mehr kostet als das Training

Der Teil der KI, über den niemand spricht

Wenn OpenAI eine neue Version von GPT trainiert, läuft der Prozess wochenlang auf Tausenden von spezialisierten Prozessoren und verbraucht enorme Mengen an Strom und Geld. Diese Trainingsphase sorgt für die meisten Schlagzeilen. Aber sobald das Modell live ist und Millionen von Menschen anfangen, mit ihm zu chatten, beginnt eine andere – und weitaus teurere – Phase: die Inferenz.

Inferenz ist der Prozess, bei dem ein trainiertes KI-Modell neue Eingaben verarbeitet und eine Ausgabe erzeugt. Sie findet jedes Mal statt, wenn Sie eine Eingabeaufforderung eingeben, einem Sprachassistenten eine Frage stellen oder eine Produktempfehlung online erhalten. Kurz gesagt, es ist die KI, die das tut, wofür sie gebaut wurde.

Training vs. Inferenz: Zwei völlig unterschiedliche Aufgaben

Um die Inferenz zu verstehen, ist es hilfreich, sie mit dem Training zu vergleichen. Während des Trainings lernt ein neuronales Netzwerk aus riesigen Datensätzen, indem es wiederholt Milliarden interner Parameter anpasst – ein rechnerisch brutaler Prozess, der als Backpropagation bezeichnet wird. Das Modell sieht Beispiele, misst, wie falsch seine Vermutungen sind, und justiert seine Gewichtungen immer wieder in die richtige Richtung, bis es nützlich wird.

Die Inferenz überspringt all das. Die Gewichtungen des Modells sind nun festgelegt. Wenn neue Daten eintreffen – sagen wir, Ihre getippte Frage – fließen sie in einem einzigen Forward Pass durch das Netzwerk: Schicht für Schicht verwendet das Modell diese fixierten Gewichtungen, um den Kontext zu interpretieren und eine Antwort zu generieren. Es gibt kein Lernen, keine Gradientenberechnung, keine Gewichtungsaktualisierung. Nur eine schnelle mathematische Transformation von der Eingabe zur Ausgabe.

Laut NVIDIA ist das Training typischerweise ein einmaliges oder seltenes Ereignis, während die Inferenz kontinuierlich ist – sie läuft ununterbrochen in der Produktion, um echte Benutzer in großem Maßstab zu bedienen.

Warum Inferenz schwieriger ist, als es aussieht

Inferenz klingt einfacher als Training, und mathematisch ist es das auch. Aber die Durchführung von Inferenz in großem Maßstab führt zu einer Reihe von besonderen technischen Alpträumen.

• Latenz: Benutzer erwarten Antworten in weniger als einer Sekunde. Jede Millisekunde zählt. Eine langsame Inferenz-Pipeline zerstört die Benutzererfahrung.
• Durchsatz: Ein beliebter KI-Dienst kann Millionen von gleichzeitigen Anfragen bearbeiten. Die Infrastruktur muss horizontal skalieren, ohne zusammenzubrechen.
• Kosten pro Anfrage: Jede Inferenz verbraucht Rechenleistung. Multiplizieren Sie eine billige Anfrage mit einer Milliarde täglicher Benutzer, und die Rechnung wird atemberaubend.

Wie Cloudflare erklärt, sind die kumulativen Kosten für die Bereitstellung eines weit verbreiteten Modells weitaus höher als die Kosten für den Aufbau des Modells selbst, obwohl eine einzelne Inferenz weitaus weniger intensiv ist als ein Trainingslauf.

Die atemberaubende Wirtschaftlichkeit

Die Zahlen belegen dies. Laut einer Analyse, über die PYMNTS berichtet, fließen etwa 80 % der KI-Rechenbudgets in die Inferenz und nur 20 % in das Training. Für GPT-4 von OpenAI wurden die Inferenzkosten auf etwa 2,3 Milliarden Dollar pro Jahr geschätzt – etwa das 15-fache der Trainingskosten. Wie RCR Tech anmerkt, ist der Inferenz-Cluster von ChatGPT mehr als zehnmal größer als der Cluster, der für das Training verwendet wurde.

Die gute Nachricht ist, dass die Effizienzsteigerungen rasant sind. Die Kosten für den Betrieb eines Modells auf GPT-3.5-Niveau sind zwischen Ende 2022 und Ende 2024 um mehr als das 280-fache gesunken, was auf algorithmische Optimierungen, eine bessere Hardwareauslastung und dedizierte Inferenz-Chips zurückzuführen ist.

Dedizierte Chips und Edge-Inferenz

Das Training wird seit langem von Allzweck-GPUs dominiert, da Flexibilität wichtig ist, wenn sich die Forschungsrichtungen schnell ändern. Die Inferenz ist anders. Sobald eine Modellarchitektur stabil ist, können Chipdesigner ASICs (anwendungsspezifische integrierte Schaltungen) bauen, die die Rechenmuster des Modells direkt in Silizium verdrahten – wodurch unnötige Schaltungen eliminiert und die Leistung pro Watt maximiert wird.

Über Rechenzentren hinaus verlagert sich die Inferenz zunehmend an den Edge – sie läuft direkt auf Smartphones, Autos, Kameras und Industriesensoren. Edge-Inferenz reduziert die Latenz, senkt die Bandbreitenkosten und hält sensible Daten lokal. Techniken wie Quantisierung (Reduzierung der numerischen Präzision von Modellgewichtungen) und Pruning (Entfernung redundanter Verbindungen) verkleinern Modelle so weit, dass sie auf Low-Power-Geräten ohne signifikanten Genauigkeitsverlust laufen können.

Warum es wichtig ist

Das Verständnis der Inferenz hilft zu entmystifizieren, warum die Bereitstellung von KI so teuer ist, warum spezialisierte Chips zu einem strategischen Vorteil werden und warum Effizienz-Durchbrüche genauso wichtig sind wie die reine Modellfähigkeit. Das Training erzeugt Intelligenz; die Inferenz liefert sie – Milliarden Mal am Tag, zu einem Preis, den die Industrie erst noch lernen muss zu bewältigen.