Eine bahnbrechende Entwicklung in der Feinabstimmung von KI-Modellen könnte die Effizienz und Genauigkeit auf ein neues Level heben.
Forscher von Nvidia haben eine neue Methode zur ressourceneffizienten Feinabstimmung von KI-Modellen vorgestellt, genannt DoRA (Weight-Decomposed Low-Rank Adaption). Diese Methode erreicht eine höhere Genauigkeit als die weit verbreitete LoRA (Low-Rank Adaption), ohne den Rechenaufwand für Inferenz zu erhöhen.
Der LoRA-Ansatz hat sich für das Fine-Tuning großer KI-Sprachmodelle etabliert, indem er die Gewichte des vortrainierten Modells mit wenigen Parametern anpasst und so den Rechenaufwand im Vergleich zum klassischen Fine-Tuning des gesamten Netzes reduziert. Jedoch erreicht das vollständige Fine-Tuning immer noch eine höhere Genauigkeit.
Nvidia-Forscher haben nun die Unterschiede im Lernverhalten zwischen LoRA und klassischem Full Fine-Tuning untersucht, um die Schwächen von LoRA zu minimieren. Sie analysierten die Änderungen der Modellgewichte während des Fine-Tunings, wobei sie besonders die Betrags- und Richtungskomponenten der Gewichte betrachteten. Während LoRA beide Komponenten proportional verändert, erlaubt Full Fine-Tuning subtilere Anpassungen.
DoRA nähert sich der Lernfähigkeit des Full Fine-Tunings an, indem es die vortrainierten Gewichte in Betrags- und Richtungskomponenten zerlegt und beide separat trainiert. Die Richtungskomponente, die viele Parameter umfasst, wird zusätzlich mit LoRA zerlegt, um das Training zu beschleunigen. Diese getrennte Optimierung stabilisiert die Anpassung und ermöglicht es DoRA, in Experimenten mit verschiedenen Aufgaben wie Visueller Anweisungsoptimierung, Commonsense Reasoning und Bild-Text-Verständnis konsistent bessere Ergebnisse als LoRA zu erzielen.
DoRA erreicht diese Verbesserungen ohne zusätzlichen Rechenaufwand bei der Inferenz und ermöglicht eine höhere Genauigkeit mit weniger Parametern in getesteten Benchmarks. Zudem ist die Methode kompatibel mit LoRA und seinen Varianten sowie anwendbar auf verschiedene Modellarchitekturen wie Large Language Models (LLM) und Large Vision Language Models (LVLM). Zukünftig soll DoRA auch auf andere Domänen wie Audio übertragen werden.