Ein KI-Modell mit 20 Milliarden Parametern direkt auf dem iPhone: Was zunächst nach einem Speicherproblem klingt, löst Apple mit einer ungewöhnlichen Architektur. Statt das komplette Modell in den knappen Arbeitsspeicher zu laden, nutzt Apple den Flash-Speicher des Geräts als zentrale Ablage.
Lokale KI stellt Smartphones vor ein grundlegendes Problem. Große Modelle benötigen normalerweise schnellen RAM, damit sie flüssig arbeiten können. Ein Modell mit 20 Milliarden Parametern würde die Grenzen heutiger Smartphone-Hardware schnell erreichen. Apples bisheriges On-Device-Modell war deshalb mit rund drei Milliarden Parametern deutlich kleiner und entsprechend begrenzter in seinen Fähigkeiten.
Mit AFM Core Advanced wählt Apple nun einen anderen Ansatz. Das vollständige Modell liegt im Flash-Speicher, also dort, wo auch Apps, Fotos oder Musik gespeichert werden. In den schnellen Arbeitsspeicher lädt das System jeweils nur den Teil, der für die aktuelle Anfrage tatsächlich gebraucht wird. Vorgestellt wurde die Methode von Amar Subramanya, Apples Vice President of AI, bei einem Tech-Talk nach der WWDC-Keynote in Cupertino.
Der entscheidende Punkt liegt in der Auswahl der Modellteile. Während viele KI-Modelle bei jedem einzelnen Wort neu entscheiden, welche Bereiche aktiviert werden, analysiert AFM Core Advanced zunächst die gesamte Anfrage. Anschließend wird einmalig ein passender Parameter-Subset ausgewählt. Apple nennt dieses Verfahren Instruction-Following Pruning. Es soll den ständigen Datentransfer zwischen Flash und RAM reduzieren und dadurch Zeit sowie Akkuleistung sparen.
Praktisch wird das vor allem bei Siri sichtbar. AFM Core Advanced ist nativ multimodal, versteht also Text, Bilder und Audio und kann Text sowie Sprache ausgeben. Mike Rockwell, der bei Apple das Siri-Projekt leitet, sagte, die neuen Stimmen wären ohne dieses Modell nicht möglich gewesen. Sie laufen lokal auf dem Gerät, ohne Cloud-Verbindung. Auch die verbesserte Diktierfunktion arbeitet direkt auf dem Gerät.
Rockwell beschreibt die Architektur sinngemäß so, als würde Apple aus einem großen Gesamtmodell ein spezialisiertes Ein-bis-Drei-Milliarden-Parameter-Modell nur für Sprache herausziehen. Softwarechef Craig Federighi bezeichnet die aktuellen Anwendungen als „erst der Anfang“. Für bestimmte KI-Funktionen wie Bildgenerierung plant Apple allerdings Nutzungslimits, die sich per iCloud+-Abo erweitern lassen.
Der Fortschritt bleibt nicht für alle Geräte verfügbar. AFM Core Advanced ist auf das iPhone 17 Pro, das iPhone Air sowie leistungsstarke Mac- und iPad-Modelle beschränkt. Ältere Geräte erhalten weiterhin das kleinere Modell. Schon Apple Intelligence reicht rückwirkend nur bis zum iPhone 15 Pro. Apple schafft damit innerhalb der eigenen Produktlinie zwei KI-Klassen: Wer die leistungsfähigeren lokalen KI-Funktionen nutzen möchte, braucht passende Hardware.