DEF.: Destillation in der Künstlichen Intelligenz (KI) ist ein Verfahren, bei dem ein großes, komplexes Modell (Lehrermodell) verwendet wird, um ein kleineres, effizienteres Modell (Schülermodell) zu trainieren, ohne signifikant an Leistungsfähigkeit zu verlieren.
Erläuterung: Beim Destillationsprozess wird das Wissen des großen Modells auf das kleinere Modell übertragen. Dies geschieht, indem das Schülermodell die gleichen Eingabedaten wie das Lehrermodell erhält und seine Ausgaben so anpasst, dass sie den Ausgaben des Lehrermodells möglichst nahe kommen. Ziel ist es, die Effizienz und Einsatzmöglichkeiten des Modells zu verbessern, insbesondere in Umgebungen mit begrenzten Ressourcen wie mobilen Geräten.
Beispiel: Stellen Sie sich vor, ein großes, komplexes KI-Modell wurde darauf trainiert, Bilder von Hunden und Katzen zu unterscheiden. Dieses Modell ist sehr genau, benötigt aber viel Rechenleistung. Durch Destillation könnte ein kleineres Modell trainiert werden, das fast die gleiche Genauigkeit erreicht, aber wesentlich weniger Rechenleistung benötigt und daher auf einem Smartphone laufen kann.
Vorteile:
- Effizienz: Kleinere Modelle benötigen weniger Rechenleistung und Speicher.
- Geschwindigkeit: Schnellere Ausführungszeiten bei vergleichbarer Leistung.
- Einsatzflexibilität: Einsatz in ressourcenbeschränkten Umgebungen wie mobilen Geräten und eingebetteten Systemen.
- Kostenreduktion: Geringere Betriebskosten durch reduzierte Hardwareanforderungen.
Zusammenfassung: Destillation in der KI ermöglicht es, leistungsstarke Modelle zu verkleinern und effizienter zu machen, wodurch sie in vielfältigeren und ressourcenbegrenzten Umgebungen eingesetzt werden können.