Erfahrungsbericht 12 · KI auf eigener Infrastruktur
Lokale KI auf vorhandener Hardware: eine ehrliche Machbarkeitsprüfung
Lässt sich ein KI-Assistent vollständig auf dem eigenen Server betreiben? Eine Prüfung für ein Haus mit rund 20 Arbeitsplätzen.
- Status
- Geprüft Machbarkeitsprüfung für ein Kundenvorhaben, anonymisiert.
- Veröffentlicht
- Herausgeber
- SIMO GmbH, Aschaffenburg
AusgangsfrageEin Beratungsunternehmen mit rund 20 Arbeitsplätzen fragte: Lässt sich ein KI-Assistent vollständig auf dem eigenen Server betreiben?
Was wir geprüft haben
Wir haben die vorhandene Hardware bewertet. Für den Applikationsserver reichte sie aus. Ein Sprachmodell nur auf dem Prozessor erwies sich aber als nicht interaktiv nutzbar: wenige Token pro Sekunde und knapper Arbeitsspeicher.
Die Empfehlung war eine Hybrid-Architektur. Ein lokales Modell übernimmt vertrauliche Aufgaben, externe Modelle werden nur nach Pseudonymisierung genutzt. Dazu kommt eine gezielte Hardware-Erweiterung.
Was es für die Business-Architektur bedeutet
Ob KI „on-premise“ läuft, entscheidet die Infrastruktur und nicht die Absicht. Eine Prüfung vorab verhindert Investitionen, die im Alltag nicht tragen.
Learnings
- Ohne GPU-Beschleunigung ist lokale Inferenz für mehrere Nutzer nicht praxistauglich.
- Vorhandene Hardware lässt sich oft erweitern, statt sie zu ersetzen.
- Pseudonymisierung macht externe Modelle für nicht vertrauliche Aufgaben nutzbar.
- On-Premise
- lokale KI
- Hybrid-Architektur
- Pseudonymisierung