Wurde das KI-Sprachmodell Claude 3.5 Sonnet wirklich für Milliardenbeträge trainiert? Anthropic-CEO Dario Amodei klärt auf und nimmt zudem Stellung zu den Diskussionen rund um Deepseek.
Claude 3.5 Sonnet: Hohe Leistung zu vergleichsweise geringen Kosten
In den letzten Wochen kursierten zahlreiche Gerüchte über die Entwicklungskosten von Claude 3.5 Sonnet. Doch laut Amodei wurde das Modell für „ein paar zehn Millionen Dollar“ trainiert – eine Summe, die weit unter den häufig spekulierten Milliardenbeträgen liegt. Zudem widerspricht er klar der Annahme, dass Claude 3.5 Sonnet auf Basis eines weiterentwickelten, aber unveröffentlichten Opus 3.5-Modells trainiert wurde.
Trotz der Tatsache, dass das Training bereits neun bis zwölf Monate zurückliegt, sieht Amodei das Modell noch immer als führend. Interne und externe Tests zeigen, dass Claude 3.5 Sonnet besonders in Bereichen wie Programmierung und Mensch-KI-Interaktion überzeugend performt – und das trotz wachsender Konkurrenz durch Deepseek.
Deepseek und die Kostenrevolution – oder doch nicht?
Deepseek hat mit seinem neuesten Modell für Aufsehen gesorgt – vor allem, weil es angeblich zu revolutionär niedrigen Kosten entwickelt wurde. Doch Amodei relativiert: Die Kostenreduktion entspricht lediglich dem natürlichen Trend in der KI-Entwicklung. Durchschnittlich sinken die Trainingskosten für vergleichbare Modelle pro Jahr um den Faktor 4.
Zwar ist Deepseek mit rund 50.000 Hopper-Generation-Chips und einer Investition von etwa einer Milliarde US-Dollar im Rennen, doch damit bewegt sich das Unternehmen immer noch um den Faktor 2–3 unter den größten US-KI-Unternehmen.
Die Zukunft der KI: Reinforcement Learning als Schlüssel?
Während Effizienzsteigerungen ein wichtiges Thema bleiben, sieht Amodei die wahre Innovation in einem anderen Bereich: Reinforcement Learning (RL). Diese Technik, die sowohl hinter Deepseek R1 als auch OpenAIs o-Modellen steckt, gewinnt zunehmend an Bedeutung für die Skalierung leistungsfähiger KI-Systeme.
Trotz sinkender Kosten für einzelne Modelle steigen die Gesamtinvestitionen der KI-Unternehmen weiter an. Laut Amodei wird die Entwicklung von KI-Systemen mit Intelligenz auf oder über menschlichem Niveau Millionen von Chips erfordern. Ein solcher Durchbruch könnte schon 2026 oder 2027 Realität werden.
Deepseek R1: Wirkliche Innovation oder Neuverpackung?
Ein weiterer Punkt, den Amodei anspricht: Die eigentliche technische Innovation von Deepseek liegt nicht in dem derzeit oft diskutierten R1-Modell, sondern in Deepseek-V3. Dieses Modell brachte bedeutende Fortschritte beim Key-Value-Cache und der „Mixture of Experts“-Methode. R1 hingegen sei weniger spektakulär und basiere größtenteils auf bekannten Konzepten.
Fazit: Mythen entzaubert, aber spannende Entwicklungen stehen bevor
Amodeis Klarstellungen zeigen, dass sich viele aktuelle KI-Debatten um übertriebene Annahmen drehen. Weder sind die Trainingskosten von Claude 3.5 Sonnet so hoch wie vermutet, noch ist Deepseek die bahnbrechende Kostenrevolution, als die es manche darstellen. Dennoch sind die aktuellen Entwicklungen hochspannend – insbesondere im Bereich Reinforcement Learning. Es bleibt abzuwarten, welche KI-Unternehmen die nächsten großen Fortschritte machen.