KI auf eigener Infrastruktur
Lokale KI auf vorhandener Hardware: Eine ehrliche Prüfung
AusgangsfrageEin Beratungsunternehmen mit rund 20 Arbeitsplätzen fragte: Lässt sich ein KI-Assistent vollständig auf dem eigenen Server betreiben?
Prüfergebnis
Bedingt tragfähig
Trägt nur als Hybrid mit Hardware-Erweiterung; nur auf dem Prozessor war das Modell zu langsam.
Nicht allein mit der vorhandenen Hardware: Ein Sprachmodell nur auf dem Prozessor war nicht interaktiv nutzbar. Empfohlen haben wir eine Hybrid-Architektur mit gezielter Hardware-Erweiterung. Vertrauliche Aufgaben bleiben beim lokalen Modell, externe Modelle kommen nur nach Pseudonymisierung zum Einsatz.
Was wir geprüft haben
Wir haben die vorhandene Hardware bewertet. Für den Applikationsserver reichte sie aus. Ein Sprachmodell nur auf dem Prozessor erwies sich aber als nicht interaktiv nutzbar: wenige Token pro Sekunde und knapper Arbeitsspeicher.
Die Empfehlung war eine Hybrid-Architektur. Ein lokales Modell übernimmt vertrauliche Aufgaben, externe Modelle werden nur nach Pseudonymisierung genutzt. Dazu kommt eine gezielte Hardware-Erweiterung.
Was es für die Business-Architektur bedeutet
Ob KI „on-premise“ läuft, entscheidet die Infrastruktur und nicht die Absicht. Eine Prüfung vorab verhindert Investitionen, die im Alltag nicht tragen.
Learnings
- Ohne GPU-Beschleunigung ist lokale Inferenz für mehrere Nutzer nicht praxistauglich.
- Vorhandene Hardware lässt sich oft erweitern, statt sie zu ersetzen.
- Pseudonymisierung macht externe Modelle für nicht vertrauliche Aufgaben nutzbar.
- On-Premise
- lokale KI
- Hybrid-Architektur
- Pseudonymisierung