OpenAI stellt eine neue Funktion für GPT-4o und GPT-4o-mini vor, die die Bearbeitungsgeschwindigkeit bei Textaufgaben spürbar erhöhen soll. Aber was steckt hinter „Predicted Outputs“?
Mit „Predicted Outputs“ zu schnelleren Ergebnissen
Die neue Funktion „Predicted Outputs“ erlaubt Entwicklern, erwartete Teile einer Ausgabe bereits vorab einzugeben. Das reduziert den Aufwand für das Modell, indem es weniger neue Tokens generieren muss, was besonders bei wiederkehrenden Aufgaben Zeit spart. Erste Tests zeigen vielversprechende Ergebnisse: Die Bearbeitungszeiten bei der Codebearbeitung sind zwei- bis viermal schneller als bei früheren Modellen. Beispielsweise sinkt die Bearbeitungszeit für umfangreiche Dateien von rund 70 Sekunden auf 20 Sekunden. OpenAI nennt als Anwendungsbeispiele das Aktualisieren von Blog-Einträgen, die Iteration bestehender Antworten und das Neuschreiben von Code.
Einfaches Prinzip, wirkungsvoller Effekt
Die Funktion basiert auf einem simplen, aber effektiven Prinzip: Entwickler geben den erwarteten Antwortteil vorab ein, was in vorhersehbaren und sich wiederholenden Aufgaben für eine deutliche Beschleunigung sorgt. OpenAI erklärt, dass die Funktion dann am besten funktioniert, wenn die Vorhersage eng an die erwartete Antwort gekoppelt ist. Wenn etwa die Hälfte der Ausgabe-Tokens eingespart werden kann, sinkt die Latenzzeit ebenfalls um etwa 50 Prozent – eine Faustregel, die vor allem bei der Bearbeitung von Code oder kleineren Dokumentenänderungen signifikante Effizienzgewinne verspricht.
„Predicted Outputs“ ist für spezifische Anwendungen geeignet
OpenAI hebt hervor, dass die neue Funktion vor allem für Aufgaben gedacht ist, bei denen die Antwort vorhersehbar ist, und für die Neugenerierung von Inhalten weniger geeignet ist. Die Funktion ist außerdem nur mit GPT-4o und GPT-4o-mini nutzbar und unterstützt keine erweiterten API-Parameter wie Mehrfachausgaben oder Funktionsaufrufe. Erste Tests in Programmiersprachen wie Python, JavaScript, Go und C++ verliefen jedoch erfolgreich. Entwickler werden ermutigt, die Funktion in kontrollierten, vorhersehbaren Aufgaben zu testen, um die bestmögliche Effizienz zu erreichen.