Lokale Sprachmodelle sind wieder ganz vorne

Angetrieben vom globalen KI-Wettrüsten haben Open-Weight-LLMs, die sich lokal betreiben lassen, bei vielen Aufgaben fast mit geschlossenen LLMs gleichgezogen, die nur in der Cloud laufen. Die grössten Spitzenmodelle brauchen zwar nach wie vor eine umfangreiche Hardware-Infrastruktur. Kleinere Modelle sind aber dank Fortschritten auf breiter Front immer leistungsfähiger geworden, vom Training über die Modellarchitektur bis zur Modellkomprimierung.

Damit kommen LLMs auch für Organisationen infrage, die sensible Kundendaten nicht an Cloud-Anbieter übermitteln können. Verfügen sie über eine geeignete Infrastruktur, können sie leistungsfähige Modelle heute On-Premise betreiben und sensible Daten vertraulich halten. Vielen Organisationen fehlen dafür allerdings nach wie vor die Infrastruktur und das Know-how.

Welche Hardware die richtige ist, hängt vor allem davon ab, wie leistungsfähig das Modell für den jeweiligen Anwendungsfall sein muss. Komplexere Modelle können in der Regel mehr, brauchen aber auch teurere Hardware und antworten langsamer. Wer für eine einfache, zeitkritische Aufgabe ein Spitzenmodell einsetzt, riskiert deshalb langsame Antworten und unnötig hohe Kosten.

Zur Orientierung haben wir bestehende Modelle in vier Stufen eingeteilt und nennen zu jeder Stufe eine typische Aufgabe.

Wie es dazu kam

Bis vor Kurzem mussten sich Unternehmen entscheiden: leistungsfähige oder vertrauliche KI. Doch selbst diese Wahl ist noch relativ jung. Über viele Jahre gab es gar keine hochleistungsfähige, universell einsetzbare KI. Jeder neue KI-Anwendungsfall im Unternehmen hiess im Grunde, ein eigenes System zu entwickeln oder per Fine-Tuning anzupassen.

Wollte ein Unternehmen eingehende Anfragen klassifizieren, Informationen aus Dokumenten extrahieren oder eine bestimmte Art von Schadenfall erkennen, musste es in der Regel mit eigenen annotierten Daten ein spezialisiertes Modell entwickeln oder per Fine-Tuning anpassen. Solche Systeme liessen sich zwar lokal und vertraulich betreiben. Sie waren aber eng zugeschnitten, teuer in der Entwicklung und kostspielig anzupassen, sobald sich die Aufgabe änderte.

Universell einsetzbare Sprachmodelle gab es schlicht nicht. Die vorhandenen Systeme waren relativ klein und liefen meist lokal, von einfachen N-Gramm-Modellen über rekurrente neuronale Netze bis zu frühen Transformern wie GPT-2. Sie konnten einfache Sätze vervollständigen. Doch je länger der Text, desto unverständlicher und zusammenhangloser wurde das Ergebnis.

Diese Leistungen waren beeindruckend, in der Praxis aber noch nicht im selben Mass nützlich. Wie sich zeigte, genügte es schon, Trainingsdaten, Modellgrösse und Rechenleistung zu erhöhen: Die Ausgaben wurden kohärenter und nützlicher und berücksichtigten den Kontext besser. Damit waren die grossen Sprachmodelle (Large Language Models, kurz LLMs) geboren: Modelle von mehreren hundert Gigabyte, deren leistungsfähigste Versionen sich nur in riesigen Rechenzentren betreiben liessen.

Diese Modelle waren universell einsetzbar. Unternehmen mussten also nicht mehr für jede neue Aufgabe ein eigenes Modell trainieren, sondern konnten ein einziges Modell nutzen und es über Prompting, Beispiele, Retrieval und Kontext steuern. Ein und dasselbe LLM konnte Anfragen klassifizieren, Dokumente zusammenfassen, Informationen extrahieren, Antworten entwerfen und Fragen beantworten, ohne für jeden einzelnen Workflow neu trainiert werden zu müssen.

Das machte den Einsatz von KI-Anwendungen drastisch günstiger. Gleichzeitig stellte sich die Frage, ob es vertretbar ist, Kundendaten an grosse Cloud-Anbieter wie Google, AWS oder Azure zu schicken. Für manche Unternehmen ist es das. Für andere, etwa im öffentlichen Sektor oder in der Pharmaindustrie, kommt es schlicht nicht infrage.

Unternehmen mit strengen Datenschutzvorgaben blieben damit aussen vor, als immer leistungsfähigere KI-Modelle neue Möglichkeiten eröffneten. Denkbar wäre etwa, Gesuche oder Anträge an eine Behörde automatisch auf Vollständigkeit und Richtigkeit zu prüfen oder sensible pharmazeutische Dokumente wie Chargenprotokolle, Abweichungen und CAPA-Berichte durchzusehen.

Wie das möglich wurde

Besonders wichtig waren dabei zwei Techniken: Destillation und Quantisierung. Die Destillation überträgt Fähigkeiten eines grösseren Lehrermodells auf ein kleineres Schülermodell. Die Quantisierung bildet ein bestehendes Modell mit geringerer numerischer Präzision ab. Das senkt den Speicherbedarf und beschleunigt oft die Inferenz. Zusammen haben sie es möglich gemacht, äusserst leistungsfähige LLMs lokal auf erschwinglicher Hardware zu betreiben.