Red Hat stellt innovative Funktionen für OpenShift AI vor. Wie beeinflusst das die Rolle von Open Source in der KI-Entwicklung?
Die neue Version 2.15 von OpenShift AI bringt zentrale Verbesserungen mit sich. Ein Highlight ist die Model Registry, die eine einheitliche Verwaltung von KI-Modellen, Metadaten und Modell-Artefakten ermöglicht. Diese Funktion unterstützt prädiktive und generative KI-Modelle und erleichtert deren Versionierung, Bereitstellung und Kontrolle – insbesondere in hybriden Cloud-Umgebungen.
Zudem hat Red Hat „Data Drift Detection“ eingeführt, eine Funktion, die Abweichungen zwischen Live-Daten und den ursprünglichen Trainingsdaten erkennt. Damit bleiben Modelle zuverlässig und anpassbar. Ergänzend dazu überwacht „Bias Detection“ die Fairness und Unvoreingenommenheit der Modelle und bietet so eine Basis für verantwortungsvolle KI-Anwendungen.
Ein weiterer Fokus liegt auf der Hardwareunterstützung. OpenShift AI unterstützt nicht nur NVIDIA NIM für verteilte Anwendungen, sondern auch AMD-GPUs, was Entwicklern eine flexible Nutzung von ROCm Workbench Images ermöglicht. Zusätzlich erlaubt die Plattform die Speicherung von containerisierten Modellversionen über KServe Model Cars.
Red Hat treibt zudem die Entwicklung plattformunabhängiger Sprachmodelle voran. Mithilfe des Konzepts der „virtuellen LLMs“ (vLLMs) sollen Modelle auf diversen Hardwareplattformen wie AMD, Intel und NVIDIA nutzbar werden. Die jüngste Akquisition des MIT-Spin-offs Neural Magic unterstreicht dieses Ziel. Um den Ressourcenbedarf großer KI-Modelle zu verringern, setzt Red Hat auf „Small Language Models“ (SMLs). Diese Modelle sind speziell trainiert, um spezifische Anwendungsfälle effizient zu bearbeiten. Die Feinabstimmung erfolgt durch InstructLab und das IBM Granite-Modell, was den Aufwand für Training und Ressourcen deutlich reduziert.