DEF.: Activation-aware Weight Quantization (AWQ) ist eine Methode zur Gewichtsquantisierung von großen Sprachmodellen (Large Language Models, LLMs), die die Aktivierungen des Modells während des Quantisierungsprozesses berücksichtigt. Im Gegensatz zu herkömmlichen Quantisierungsansätzen, die Gewichte unabhängig von den durch sie verarbeiteten Daten quantisieren, passt AWQ den Quantisierungsprozess an die tatsächliche Datenverteilung der Aktivierungen an, die das Modell während der Inferenz erzeugt. Dieser prozessaktive Ansatz ermöglicht eine präzisere Reduzierung der Gewichtsbitbreite (z.B. auf 3 oder 4 Bit), was zu einer effizienteren Ausführung auf Hardware bei gleichzeitigem Erhalt der Modellgenauigkeit führt​​​​​​.

Beispiel: Eine praktische Anwendung von AWQ wäre die Optimierung eines LLMs wie LLaMA oder MPT für effizientere Inferenzen. Durch AWQ können Gewichte solcher Modelle mit weniger Bits dargestellt werden, was den Speicherbedarf verringert und die Ausführung auf GPUs beschleunigt, ohne die Genauigkeit des Modells wesentlich zu beeinträchtigen. Ein LLM mit 70 Milliarden Parametern könnte beispielsweise durch AWQ so quantisiert werden, dass es auf einer einzigen NVIDIA A100 80GB GPU mit 4-Bit Gewichten effizient läuft​​.

Vorteile:

1. Verbesserte Genauigkeit: Durch die Berücksichtigung der Verteilung der Aktivierungen während der Quantisierung kann AWQ die Modellgenauigkeit besser erhalten als traditionelle Quantisierungsmethoden.
2. Effizienzsteigerung: Die Gewichte können mit schmaleren Bits dargestellt werden, ohne Genauigkeitsverluste zu erleiden, was den Speicherbedarf um bis zu 4x reduziert und die Latenz der Token-Generierung durch Einsparungen bei der Speicherbandbreite der GPUs verringert.
3. Robustheit: AWQ sorgt dafür, dass das Modell auch bei anspruchsvollen oder vielfältigen Eingabedaten genau bleibt.
4. Kein zusätzliches Training erforderlich: AWQ ist eine Methode der Nachtrainingsquantisierung (Post-Training Quantization, PTQ), die kein kostspieliges zusätzliches Training oder große Mengen an Trainingsdaten erfordert​​.

Zusammenfassung: AWQ ist eine fortschrittliche Quantisierungsmethode, die die Aktivierungen von LLMs während des Quantisierungsprozesses berücksichtigt, um die Ausführungseffizienz zu optimieren und gleichzeitig die Modellgenauigkeit zu erhalten. Durch die Anpassung der Quantisierung an die spezifischen Merkmale der Eingabedaten des Modells ermöglicht AWQ die effiziente Ausführung großer Modelle auf einer breiteren Palette von Geräten, ohne Kompromisse bei der Leistung einzugehen.