Kurz gesagt: Gartner erwartet, dass sich die Inferenzkosten pro agentenbasiertem Workflow bis 2028 mehr als verfünffachen. Grund ist der stark steigende Token- und Rechenbedarf autonomer KI-Agenten. Für Unternehmen wird Kostenkontrolle damit zu einem zentralen Thema bei Architektur, Modellwahl und KI-Beratung.
Sinkende Preise für KI-Modelle bedeuten nicht automatisch sinkende Gesamtkosten. Gerade beim Einsatz autonom arbeitender KI-Agenten könnte sich dieser Effekt sogar umkehren. Warum rechnet Gartner bis 2028 mit mehr als fünfmal so hohen Inferenzkosten pro agenten-basiertem Workflow?
Die Marktforscher sprechen von einem „Inferenz-Paradox“: Werden KI-Modelle günstiger, lassen sich umfangreichere und komplexere Abläufe wirtschaftlich einsetzen. Diese benötigen jedoch deutlich mehr Token. Nach Einschätzung von Gartner wachsen die Fähigkeiten der Systeme derzeit schneller, als die Preise für ihre Nutzung sinken können.
Der Unterschied zeigt sich bereits beim Vergleich mit klassischen Chatbots. Ein Chatbot verarbeitet eine Anfrage und erzeugt darauf eine passende Antwort. Ein KI-Agent muss bei umfangreicheren Aufgaben dagegen fortlaufend Schlussfolgerungen ziehen, Entscheidungen abstimmen und eigene Ergebnisse überprüfen. Mit zunehmender Zahl dieser Arbeitsschritte steigt entsprechend der Rechen- und Tokenbedarf.
Kostenkontrolle wird Teil der Agenten-Architektur
Gartner warnt deshalb davor, bei der Entwicklung agentischer Systeme allein auf sinkende Tokenpreise zu setzen. Neue Generationen von KI-Funktionen benötigen nach Einschätzung der Analysten mehr und teilweise auch teurere Token. Ein langfristig verlässliches Kostenmodell pro Arbeitseinheit sei derzeit nicht absehbar.
Für wettbewerbsfähige KI-Produkte müssen Unternehmen daher möglicherweise mehrere Modelle miteinander kombinieren und dieses Ökosystem dauerhaft betreiben. Inferenztiering, Routing und Orchestrierung sollen dabei helfen, einzelne Aufgaben gezielt an kosteneffizientere Modelle zu verteilen. Ohne entsprechende Steuerung können bei autonom arbeitenden Systemen stark steigende Kosten entstehen.
Die wirtschaftliche Tragfähigkeit bleibt damit ein entscheidender Faktor. Gartner hatte bereits im vergangenen Jahr prognostiziert, dass bis 2027 mehr als 40 Prozent der geplanten oder bereits eingesetzten KI-Agenten wieder eingestellt werden könnten. Als Gründe wurden steigende Kosten, fehlender wirtschaftlicher Ertrag und unzureichende Risikokontrolle genannt.
Für Unternehmen rückt damit neben der technischen Leistungsfähigkeit vor allem die Architektur hinter einem KI-Agenten in den Fokus. Wer agentische Systeme produktiv einsetzen möchte, muss nicht nur deren Fähigkeiten, sondern auch Tokenverbrauch, Modellwahl und laufende Betriebskosten beherrschbar machen.
Weitere Entwicklungen rund um KI-Agenten, Modelle und ihren wirtschaftlichen Einsatz ordnen wir regelmäßig im Newsletter „Beratung-KI“ ein.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.