Ein kleiner Schritt für die Technik, ein großer für mobile Kreativität?
Mit Stable Audio Open Small bringt Stability AI ein neues Text-zu-Audio-Modell auf den Markt, das speziell für Smartphones entwickelt wurde. In Zusammenarbeit mit dem Chip-Hersteller Arm wurde ein KI-System konzipiert, das in nur sieben Sekunden elf Sekunden langen Stereosound generieren kann – und das direkt auf dem Handy.
Audiogenerierung in Echtzeit – jetzt mobil
Das Besondere an dem Modell ist nicht nur die Geschwindigkeit, sondern auch die neue Architektur. Basierend auf der ARC-Methode – „Adversarial Relativistic-Contrastive“ – können leistungsstarke Rechner wie jene mit Nvidia-H100-GPUs Audiodateien in nahezu Echtzeit erzeugen. Für mobile Geräte wurde die kleinere Variante des Modells entwickelt: Statt 1,1 Milliarden Parametern wie beim Vorgänger benötigt Stable Audio Open Small nur 341 Millionen. Das macht den Einsatz auf Geräten wie dem Vivo X200 Pro möglich.
Die drei Komponenten – Autoencoder, Text-Embedding und Diffusionsmodell – arbeiten effizient zusammen. Durch eine ausgeklügelte Speicheroptimierung wurde der Ressourcenbedarf fast halbiert, was die KI auch auf Smartphones mit begrenztem Speicher lauffähig macht.
Soundeffekte statt Gesang
Auch wenn das Modell beeindruckend klingt, hat es klare Einsatzschwerpunkte: Vor allem Soundeffekte und Umgebungsgeräusche lassen sich erzeugen. Für Musikkompositionen und Gesangsausgabe reicht es (noch) nicht. Zudem versteht das System derzeit nur englischsprachige Texte wirklich gut.
Die Trainingsdaten stammen aus der frei zugänglichen Freesound-Datenbank – inklusive Lizenzfilterung zum Schutz urheberrechtlicher Inhalte. Open Source ist das Ganze übrigens auch: Der Quellcode liegt auf GitHub, die Gewichte gibt’s über Hugging Face. Wer das System kommerziell nutzen möchte, muss sich allerdings an gesonderte Lizenzregeln halten.