Googles neue KI-Version Gemini erzielt in den Testkategorien der Chatbot-Arena Spitzenleistungen und überrascht die Fachwelt. Worin liegen die Stärken und Herausforderungen dieses Modells?
Die neueste Version von Googles KI-Modell Gemini, genannt Gemini-Exp-1114, hat es in der Chatbot-Arena auf Platz 1 der Gesamtwertung geschafft und teilt sich diesen Platz nun mit OpenAIs GPT-4o. Mit mehr als 6.000 Community-Bewertungen konnte sich das Modell in den Kategorien Mathematik, Bildverarbeitung und kreativem Schreiben als führend behaupten und erzielte selbst in der anspruchsvollen Programmierkategorie den dritten Platz. In direkten Vergleichen gewann Gemini 50 Prozent der Tests gegen GPT-4o, 56 Prozent gegen das Modell o1-preview und sogar 62 Prozent gegen Claude 3.5 Sonnet.
Die Rolle des Stil-Bonus in der Bewertung
Interessant ist allerdings, dass Gemini-Exp-1114 ohne den sogenannten „Stil-Bonus“ in der Rangliste auf Platz vier zurückfällt. Diese spezielle Bewertungskategorie, die als „Style Control“ bekannt ist, reduziert die Gewichtung von Stilfaktoren wie Textlänge, optische Struktur und Formatierung. Dies soll gewährleisten, dass KI-Modelle nicht durch längere oder optisch aufbereitete Antworten besser abschneiden. Für Gemini bedeutet dies, dass ein Teil des guten Ergebnisses auf diese Stilfaktoren zurückzuführen ist, was seine rein inhaltliche Leistung relativiert.
Verfügbarkeit und technische Details
Interessierte können die experimentelle Version von Gemini über Googles AI Studio Plattform nutzen. Seit dem ersten Release von Gemini im Dezember 2023 und einem Update im Februar 2024 (Version 1.5) hat Google das Modell kontinuierlich erweitert. Die Pro-Version verarbeitet bis zu eine Million Token, während die Beta-Version sogar bis zu zehn Millionen Token unterstützt. Google setzt Gemini in verschiedenen Anwendungen ein, darunter Workspace, Google-Suche und die Gemini-App. Die Vielseitigkeit des Modells zeigt sich auch in der Unterstützung von Text, Bild, Audio, Video und Code.
Zukunftsperspektiven und Gerüchte um Gemini 2
Spekulationen zufolge plant Google, noch im Dezember Gemini 2 vorzustellen, wobei die Erwartungen an die Leistung des neuen Modells jedoch bisher verhalten sind. Unklar ist zudem, ob die aktuelle experimentelle Version bereits eine frühe Variante von Gemini 2 darstellt oder lediglich ein Zwischenupdate ist. Diese offene Frage wird für Spannung in der KI-Community sorgen, da viele auf eine deutliche Weiterentwicklung hoffen.