Apple rückt mit neuen Details zu MLX und dem Neural Accelerator des M5-Prozessors die lokale KI-Nutzung stärker in den Fokus. Doch was bedeutet das ganz konkret für Anwender, die KI-Modelle direkt auf ihrer Hardware ausführen wollen?
Die jüngsten Informationen zeigen klar, wohin die Reise geht: Apple öffnet seine Systeme zunehmend für anspruchsvolle KI-Workloads. MLX spielt dabei eine zentrale Rolle. Das Framework ermöglicht es, große und mittelgroße Sprachmodelle effizient auf Apple-Silicon-Systemen zu betreiben – vom MacBook Pro bis zu leistungsstarken Mac-Studio-Konfigurationen. Besonders interessant ist die neue Unterstützung für Thunderbolt-5-Vernetzung, die latenzarmes Clustering mehrerer Maschinen erlaubt. Damit werden selbst große Modelle praktikabel, sofern genügend Arbeitsspeicher vorhanden ist.
Im praktischen Einsatz zeigt sich, dass bereits ein M3 Max mit 128 GB RAM Modelle wie gpt-oss-120b handhaben kann. Mit dem kommenden Neural Accelerator des M5 profitieren vor allem Inferenz-Workloads, also die eigentliche Ausführung der KI. Obwohl die leistungsstärkeren M5-Varianten (Pro, Max, Ultra) noch fehlen, arbeitet Apple klar darauf hin, die Time to First Token massiv zu reduzieren – ein entscheidender Faktor für interaktive KI-Anwendungen.
Für Entwickler und KI-Forscher ist das MLX-Ökosystem inzwischen gut gefüllt: MLX-LM auf Github bietet Einstiegsmöglichkeiten für Modellaufrufe und Finetuning, während die Community auf Hugging Face zahlreiche Best Practices teilt. Auch Tools wie LM Studio erleichtern den Zugriff auf MLX-optimierte Modellvarianten. Es entsteht ein Umfeld, das sich zwar noch im Aufbau befindet, aber spürbar an Dynamik gewinnt.