Wissenschaftler von BitEnergy AI haben mit dem Algorithmus „Linear-complexity multiplication“ (L-Mul) einen Durchbruch erzielt, der das Potenzial hat, die Energieeffizienz von Künstlicher Intelligenz maßgeblich zu verbessern.
L-Mul ersetzt die rechenintensiven Gleitkomma-Multiplikationen, die in Sprachmodellen und anderen KI-Anwendungen eine zentrale Rolle spielen, durch einfachere und energieeffizientere Ganzzahl-Additionen. In einer Studie mit dem Titel Addition is All You Need for Energy-Efficient Language Models wurde gezeigt, dass der Algorithmus den Energiebedarf für elementweise Gleitkomma-Tensor-Multiplikationen um bis zu 95 % und für Skalarprodukte um bis zu 80 % senken kann. Die Methode wurde in einer Vielzahl von Aufgabenfeldern getestet, darunter Sprachverständnis, Mathematik und symbolisches Schlussfolgern, und hat dort beeindruckende Ergebnisse geliefert.
Besonders spannend ist der mögliche Einsatz von L-Mul in Aufmerksamkeitsmechanismen, einem Kernbestandteil moderner Transformer-Modelle wie GPT. Tests haben gezeigt, dass L-Mul nahezu verlustfrei auf gängigen Benchmarks funktioniert und damit enorme Effizienzvorteile ohne spürbaren Leistungsabfall ermöglicht. Diese Effizienzsteigerung könnte die Entwicklung maßgeschneiderter KI-Modelle für große Organisationen nicht nur schneller, sondern auch erheblich kostengünstiger machen.
Das Team von BitEnergy AI plant bereits die Implementierung von L-Mul und dem zugehörigen Kernelalgorithmus L-Matmul auf Hardwareebene. Ziel ist es, Programmier-APIs für das High-Level-Modelldesign bereitzustellen und KI-Modelle zu entwickeln, die speziell für den Einsatz auf L-Mul-optimierten Systemen trainiert wurden.