Die rasante Entwicklung generativer KI-Modelle macht sie zu wertvollen Werkzeugen für Entwickler. Doch wie viel Effizienz ist zu viel, wenn die Fehlerquote steigt?
Neue Geschwindigkeit durch KI, aber mit Tücken
Max Woolf, Senior Data Scientist bei Buzzfeed, zeigt in einem Experiment, wie leistungsfähig generative KI bei der Programmierhilfe sein kann – und welche Herausforderungen das mit sich bringt. Die Aufgabe: Ein Python-Code sollte die Differenz zwischen der kleinsten und größten Ganzzahl mit einer Quersumme von 30 berechnen. Die erste von der KI generierte Version war korrekt, wurde jedoch auf Anfrage immer weiter optimiert. Bereits der erste Verbesserungsvorschlag machte den Code fast dreimal schneller. Mit Multithreading wurde er fünfmal schneller, jedoch fehlerhaft. Schließlich gelang eine Optimierung, die den Code um den Faktor 100 beschleunigte.
In einem weiteren Experiment spezifizierte Woolf die Anforderungen noch genauer und ergänzte Beispiele wie Parallelisierung und Vektorisierung. Zudem drohte er der KI mit einer fiktiven Geldstrafe bei unzureichender Optimierung. Das Ergebnis? Ein neunmal schnellerer Code, der nach weiteren Iterationen fast hundertfach schneller lief. Doch auch hier traten Fehler auf, die manuell behoben werden mussten.
Prompt Engineering: Fluch und Segen
Woolfs Experimente zeigen, wie entscheidend Prompt Engineering für die Leistung generativer KI-Modelle ist. Die KI präsentierte kreative Ansätze, doch die Fehlerrate stieg mit der Optimierung. Ohne tiefgreifendes Fachwissen wären die Fehler nicht zu beheben gewesen. Für Woolf ist klar: KI ersetzt keine Arbeitskräfte, sondern erweitert ihre Möglichkeiten – vorausgesetzt, man weiß, wie man sie einsetzt.