Wie KI-Modellquantisierung funktioniert – und warum sie wichtig ist

Das Problem: KI-Modelle sind zu groß

Moderne KI-Modelle sind enorm. Ein großes Sprachmodell mit sieben Milliarden Parametern benötigt im Standard-16-Bit-Gleitkommaformat etwa 14 Gigabyte Speicher – und die größten Modelle sind Hunderte Male größer. Das Ausführen dieser Modelle erfordert teure Spezialhardware, verbraucht enorme Mengen an Energie und macht den Einsatz auf Telefonen, Laptops oder Edge-Geräten nahezu unmöglich.

Die Quantisierung bietet eine elegante Lösung: Verkleinern Sie das Modell, indem Sie die numerische Präzision seiner internen Werte reduzieren. Anstatt jede Zahl als 32-Bit- oder 16-Bit-Gleitkommawert zu speichern, konvertiert die Quantisierung sie in 8-Bit-Ganzzahlen oder sogar kleinere Formate. Das Ergebnis ist ein Modell, das einen Bruchteil des Speichers benötigt, schneller läuft und weniger Strom verbraucht – oft mit vernachlässigbarem Genauigkeitsverlust.

Wie Quantisierung funktioniert

Im Kern ist Quantisierung ein Abbildungsproblem. Neuronale Netze speichern zwei Haupttypen von Zahlen: Gewichte (die gelernten Parameter, die das Modell definieren) und Aktivierungen (die dynamischen Ausgaben, die erzeugt werden, wenn Daten durch jede Schicht fließen). In Modellen mit voller Präzision werden diese Werte typischerweise als 32-Bit-Gleitkommazahlen (FP32) gespeichert, wodurch jeder Wert etwa sieben Dezimalstellen Genauigkeit erhält.

Die Quantisierung komprimiert diese Werte in Formate mit geringerer Präzision. Zu den häufigsten Zielen gehören FP16 (16-Bit-Gleitkomma), BF16 (Brain Floating-Point, bevorzugt für das Training), INT8 (8-Bit-Integer) und das neuere FP8-Format. Jedes Format weist Bits unterschiedlich auf Vorzeichen, Exponent und Mantisse zu und tauscht Bereich und Präzision gegen Kompaktheit.

Der Prozess funktioniert, indem ein Skalierungsfaktor berechnet wird, der den ursprünglichen Wertebereich auf den kleineren Bereich des Zielformats abbildet. Wenn beispielsweise die Werte eines Tensors zwischen -3,0 und 3,0 liegen, bildet ein Skalierungsfaktor diesen Bereich auf den Bereich von -128 bis 127 eines INT8-Formats ab. Die Granularität dieser Abbildung – ob pro Tensor, pro Kanal oder pro Block angewendet – beeinflusst die Genauigkeit direkt.

Zwei Hauptansätze

Post-Training-Quantisierung (PTQ)

PTQ ist die einfachere und beliebtere Methode. Sie nimmt ein vollständig trainiertes Modell und konvertiert seine Gewichte (und optional Aktivierungen) in eine geringere Präzision, ohne dass ein erneutes Training erforderlich ist. Weight-only PTQ quantisiert die statischen Parameter direkt. Weight-and-activation PTQ komprimiert auch die dynamischen Aktivierungen, benötigt aber einen kleinen Kalibrierungsdatensatz, um optimale Skalierungsfaktoren zu bestimmen. Laut NVIDIAs technischer Dokumentation schützen fortschrittliche PTQ-Algorithmen wie AWQ kritische Gewichtungskanäle durch Aktivierungsanalyse, während GPTQ Informationen aus der Hesse-Matrix für eine präzisere Komprimierung verwendet.

Quantisierungsbewusstes Training (QAT)

QAT integriert die Quantisierung in den Trainingsprozess selbst. Es fügt "Fake-Quantisierungs"-Module ein, die Low-Precision-Effekte während der Vorwärtsdurchläufe simulieren, sodass das Modell seine Gewichte anpassen kann, um Rundungsfehler zu kompensieren. QAT erzeugt im Allgemeinen genauere quantisierte Modelle als PTQ, erfordert jedoch Zugriff auf Trainingsdaten und erhebliche Rechenressourcen.

Der Performance-Gewinn

Die Vorteile sind erheblich. Die INT8-Quantisierung kann den Speicherbedarf eines Modells im Vergleich zu FP32 um 75 Prozent reduzieren und gleichzeitig eine bis zu viermal schnellere Inferenz auf kompatibler Hardware ermöglichen. Der Wechsel von FP16 zu FP8 halbiert den Speicher erneut – wodurch ein 14-Gigabyte-Modell auf etwa sieben Gigabyte schrumpft. Moderne GPUs wie NVIDIAs H100 und H200 enthalten dedizierte Tensor-Kerne für FP8-Operationen, wodurch die quantisierte Inferenz nicht nur kleiner, sondern auch nativ schneller wird.

Googles kürzlich angekündigter TurboQuant-Algorithmus verschiebt die Grenzen weiter und komprimiert den Key-Value-Cache-Speicher um das Sechsfache mit nur drei Bits pro Wert – ohne messbaren Genauigkeitsverlust. Wie TechCrunch berichtete, ist die Technik trainingsfrei und datenunabhängig, was bedeutet, dass Unternehmen sie auf bestehende Modelle anwenden können, ohne ein erneutes Training durchführen zu müssen.

Die Kompromisse

Quantisierung ist nicht kostenlos. Eine aggressive Komprimierung – insbesondere unter 8 Bit – kann die Genauigkeit bei Aufgaben beeinträchtigen, die eine feinkörnige numerische Argumentation erfordern. Ausreißerwerte in Gewichten oder Aktivierungen können in Formaten mit geringer Präzision schlecht dargestellt werden, was zu Fehlern führt, die sich durch das Netzwerk ziehen. Techniken wie SmoothQuant, die eine kanalweise Skalierung anwenden, um Ausreißergrößen neu zu verteilen, helfen, diese Effekte zu mildern.

Auch die Wahl der Methode ist wichtig. PTQ ist schnell und bequem, kann aber bei sensiblen Aufgaben die Genauigkeit beeinträchtigen. QAT erhält die Genauigkeit besser, ist aber teurer in der Implementierung. In der Praxis verwenden die meisten Produktionsbereitstellungen eine Kombination: PTQ für die anfängliche Komprimierung, mit gezieltem QAT für kritische Modellkomponenten.

Warum es jetzt wichtig ist

Da KI-Modelle immer größer werden und die Nachfrage nach On-Device-Inferenz explodiert, ist die Quantisierung zu einer wesentlichen Infrastruktur geworden. Sie ermöglicht es Chatbots, auf Smartphones zu laufen, medizinischer KI, in ländlichen Kliniken ohne Cloud-Konnektivität zu arbeiten, und Unternehmen, Millionen von Benutzern zu bedienen, ohne neue Rechenzentren zu bauen. Da neue Formate wie FP8 hardwarenatürlich werden und Algorithmen wie TurboQuant die Komprimierungsraten immer weiter erhöhen, verändert die Quantisierung still und leise, wo und wie KI eingesetzt werden kann.