DEF.: Low Rank Adaption (LoRA) ist eine Technik zur effizienten Feinabstimmung vortrainierter neuronaler Netze, die den Speicherbedarf und die Rechenkosten reduziert.
LoRA ersetzt die großen Gewichtsmatrizen in neuronalen Netzen durch Produkte von zwei kleineren, niedrig-rangigen Matrizen. Dadurch werden die Parameteranzahl und der Speicherbedarf verringert, während die Leistung des Modells weitgehend erhalten bleibt.
Beispiel: Angenommen, ein vortrainiertes Sprachmodell hat eine Gewichtsmatrix W mit den Dimensionen 1000 x 1000. Mit LoRA wird W als Produkt von zwei kleineren Matrizen A (1000 x 10) und B (10 x 1000) dargestellt. Dies reduziert den Speicherbedarf erheblich, da A und B zusammen nur 20.000 Parameter im Vergleich zu den ursprünglichen 1.000.000 Parametern enthalten.
Vorteile:
- Speicheroptimierung: Reduzierung des Speicherbedarfs durch niedrig-rangige Approximationen.
- Rechenleistung: Geringere Rechenkosten, da weniger Parameter angepasst werden müssen.
- Effizienz: Schnellere Feinabstimmung vortrainierter Modelle, besonders nützlich bei großen Datensätzen.
- Anpassungsfähigkeit: Ermöglicht die Anwendung komplexer Modelle auf Geräten mit begrenzten Ressourcen, wie z.B. mobilen Endgeräten.
Zusammenfassung: Low Rank Adaption (LoRA) ist eine Methode zur effizienteren Feinabstimmung neuronaler Netze durch den Einsatz niedrig-rangiger Matrizen. Dies spart Speicher und Rechenleistung und ermöglicht die Anwendung komplexer Modelle auf ressourcenbeschränkten Geräten.