LoRA steht für „Low-Rank Adaptation“ und ist eine Technik, mit der große KI-Modelle effizient angepasst oder nachtrainiert werden können, ohne das komplette Modell neu trainieren zu müssen. Die Methode wurde vor allem im Bereich generativer KI bekannt und wird heute häufig bei Sprachmodellen sowie KI-Bildgeneratoren wie Stable Diffusion oder Flux eingesetzt.
Anstatt Milliarden bestehender Modellparameter direkt zu verändern, fügt LoRA kleine zusätzliche Trainingsschichten hinzu. Dadurch lassen sich neue Stile, Personen, Objekte oder Verhaltensweisen trainieren, ohne das eigentliche Basismodell zu überschreiben. Das spart enorme Mengen an Rechenleistung, Speicherplatz und Trainingszeit.
Im Bereich KI-Bilder werden LoRAs oft genutzt, um bestimmte Zeichenstile, Charaktere, Kleidung, Gesichter oder Bildästhetiken nachzulernen. Nutzer können beispielsweise eine LoRA trainieren, die einen bestimmten Illustrationsstil oder eine reale Person reproduziert. Anschließend wird diese LoRA beim Generieren eines Bildes zusätzlich geladen und beeinflusst das Ergebnis gezielt.
Ein großer Vorteil von LoRA ist die geringe Dateigröße im Vergleich zu vollständigen Modellen. Dadurch können LoRAs einfach geteilt, kombiniert und flexibel eingesetzt werden. Besonders in der Open-Source-KI-Community sind tausende LoRAs für unterschiedlichste Anwendungsfälle verfügbar.
LoRA wird inzwischen nicht nur für Bildmodelle genutzt, sondern auch für Large Language Models (LLMs), um Chatbots oder KI-Assistenten auf bestimmte Aufgaben, Schreibstile oder Fachgebiete anzupassen.
- Steht für Low-Rank Adaptation
- Methode zum effizienten Fine-Tuning von KI-Modellen
- Wird bei Stable Diffusion und LLMs verwendet
- Trainiert neue Stile, Gesichter oder Verhaltensweisen
- Benötigt deutlich weniger Rechenleistung
- Beliebt in der Open-Source-KI-Community
