Diagramme sind für Menschen oft schnell erfassbar, für KI-Modelle aber deutlich anspruchsvoller. Gerade in Geschäftsberichten, wissenschaftlichen Arbeiten oder Marktanalysen müssen visuelle Strukturen, Zahlenwerte und sprachliche Beschreibungen korrekt zusammengeführt werden. Genau hier setzt ChartNet an, ein neuer Trainingsdatensatz von Forschern des MIT und IBM Research.
ChartNet besteht aus 1,5 Millionen synthetisch erzeugten Diagrammen. Der Ansatz soll ein Problem lösen, das die KI-Forschung bisher ausgebremst hat: Es fehlten hochwertige Datensätze, die Diagrammbilder, zugrunde liegende Zahlen, Code und Beschreibungen zuverlässig miteinander verbinden. Datensammlungen aus dem Internet waren häufig unvollständig oder enthielten nicht genug Kontext, um Modelle gezielt auf Diagrammverständnis zu trainieren.
Das Team um Jovana Kondic vom MIT wählte deshalb einen anderen Weg. Bestehende Diagramme wurden zunächst in ausführbaren Programmcode übersetzt. Dieser Code ließ sich anschließend systematisch verändern, um neue visuelle Darstellungen zu erzeugen. So entstand ein Datensatz mit 24 Diagrammtypen und sechs unterschiedlichen Programmierbibliotheken. Zu jedem Beispiel gehören nicht nur das fertige Bild, sondern auch der Quellcode, eine Datentabelle und textliche Beschreibungen. Ein automatisierter Qualitätsprozess prüft, ob die Diagramme korrekt gerendert werden und die enthaltenen Informationen stimmig bleiben.
Die Forscher nutzten ChartNet, um kompakte Open-Source-Modelle zu trainieren, darunter Modelle aus IBMs Granite-Vision-Serie. Nach dem Training verbesserten sich deren Fähigkeiten bei der Datenextraktion und beim Beantworten konkreter Fragen zu Diagrammen deutlich. In Benchmarks schnitten die kleinen Open-Source-Modelle sogar besser ab als wesentlich größere kommerzielle Systeme, darunter Modelle in der Größenordnung eines GPT-5.
Für den praktischen Einsatz ist das ein relevanter Befund. Wenn kleinere Modelle durch gezieltes Training komplexe Diagramme zuverlässig analysieren können, sinken die Einstiegshürden für Unternehmen mit begrenzten Budgets. Finanzberichte, Markttrends oder wissenschaftliche Grafiken könnten künftig effizienter ausgewertet werden, ohne dass dafür zwangsläufig sehr große Modelle oder teure Rechenressourcen nötig sind.