Mit Red Hat AI 3.4 baut Red Hat seine KI-Plattform deutlich aus. Im Zentrum steht dabei nicht das Training neuer großer Basismodelle, sondern deren sichere, skalierbare und nachvollziehbare Nutzung im Unternehmensalltag. Genau hier liegt für viele Organisationen aktuell der eigentliche Engpass: Modelle sollen produktiv eingesetzt werden, aber kontrolliert, wirtschaftlich und möglichst unabhängig von rein externem Token-Konsum.
Ein wichtiger Baustein der neuen Version ist die erweiterte Inferenzfunktionalität. Über Model-as-a-Service und ein KI-Gateway können Plattformteams Modelle bereitstellen, absichern und deren Nutzung messen. Unternehmen erhalten damit die Möglichkeit, interne Inferenzdienste selbst aufzubauen, statt ausschließlich externe Modell-APIs zu verwenden.
Technisch setzt Red Hat dabei auf die AI Inference Platform, die auf vLLM basiert. Ergänzt wird dies durch Unterstützung für GPU-Beschleunigung von Nvidia und AMD sowie CPU-basierte Infrastrukturen für kleinere Sprachmodelle. Für größere Inferenzumgebungen erweitert Red Hat das Framework llm-d, unter anderem mit Request-Priorisierung, Batch-Inferenz und Speculative Decoding. Letzteres soll Antworten schneller erzeugen und damit Inferenzkosten senken.
Gerade für regulierte Branchen, größere Lasten oder souveräne IT-Umgebungen ist dieser Ansatz interessant. Der Betrieb eigener Inferenzdienste kann wirtschaftlich sinnvoll sein und zugleich mehr Kontrolle über Datenflüsse, Zugriffe und Governance ermöglichen.
Ein zweiter Schwerpunkt liegt auf KI-Agenten. Red Hat AI 3.4 bringt Funktionen für Identität, Autorisierung und Lifecycle-Management von Agenten mit. Dazu kommen Tracing und Observability, damit Aktivitäten von Agenten transparenter werden. Das ist entscheidend, denn agentische KI entfaltet ihren Nutzen nur dann zuverlässig, wenn Zugriffe, Verhalten und Ergebnisse nachvollziehbar bleiben.
Mit einem kuratierten MCP-Server-Katalog und einem MCP-Gateway will Red Hat außerdem die kontrollierte Anbindung von Tools, Services und Datenquellen erleichtern. Ein Evaluation-Hub bündelt Evaluierungsframeworks, Experiment Tracking, AutoRAG und AutoML. Für Prompts liefert Red Hat ein integriertes Prompt-Management mit Prompt Lab und Registry. MLflow wird mit AI 3.4 allgemein verfügbar und dient unter anderem als Basis für Prompt Management, Evaluationen und Agent Tracing.
Auch Sicherheit spielt eine zentrale Rolle. Red Hat verweist auf automatisiertes Red-Teaming, das auf der Übernahme von Chatterbox Labs basiert. Modelle und Agenten sollen dadurch vor dem Produktiveinsatz automatisch auf Risiken geprüft werden. Für Unternehmen ist das ein wichtiger Punkt, weil KI-Agenten nicht nur Antworten erzeugen, sondern aktiv mit Systemen, Daten und Prozessen interagieren können.
Parallel vertieft Red Hat die Zusammenarbeit mit Nvidia. Die Red Hat AI Factory with Nvidia kombiniert Red Hat AI Enterprise mit Nvidia AI Enterprise und soll Unternehmen beim Aufbau produktiver KI-Infrastrukturen unterstützen. Genannt werden unter anderem Support für Nvidias Blackwell-Generation sowie Day-Zero-Unterstützung für die kommende Vera-Rubin-Architektur. Zudem beteiligt sich Red Hat an OpenShell, einem Nvidia-Projekt für sichere Ausführungsumgebungen und Sandbox-Funktionen für KI-Agenten.
Für Kunden sollen validierte Systeme aus Hardware, Software und Services entstehen. Als Partner werden unter anderem Cisco, Dell Technologies, Lenovo, Supermicro, TD SYNNEX und WWT genannt. Damit positioniert sich Red Hat klar auf der Infrastrukturseite von KI: OpenShift, Kubernetes, Hybrid Cloud, offene Schnittstellen und Governance werden mit konkreten KI-Betriebsfunktionen verbunden.