Erfahrungsbericht 15 · Betrieb und Beobachtbarkeit
Weniger Token, ohne die entscheidende Zeile zu verlieren
Wie sich die Kosten für Tool-Ausgaben in KI-Agenten senken lassen, ohne Kundendaten an externe Dienste zu geben.
- Status
- Erprobung Entwurf in Erprobung, noch nicht in Betrieb.
- Veröffentlicht
- Herausgeber
- SIMO GmbH, Aschaffenburg
AusgangsfrageWie senken wir die Kosten für Tool-Ausgaben in KI-Agenten, ohne Kundendaten an externe Kompressionsdienste zu geben und ohne wichtige Informationen zu verlieren?
Was wir erprobt haben
Bisher wurden lange Ausgaben schlicht abgeschnitten. Die Fehlermeldung am Ende eines Testlaufs ging dabei verloren.
Der Entwurf sieht einen lokalen, deterministischen Filter vor. Fehlerzeilen, Pfadangaben, Exit-Codes und Kennungen bleiben unangetastet, strukturierte Daten laufen unverändert durch. Der Filter läuft zuerst im Messmodus, ohne die Antworten zu verändern.
Was es für die Business-Architektur bedeutet
Kostenoptimierung bei KI ist auch eine Frage der Datenhoheit. Externe Dienste scheiden für Kundendaten aus. Die Optimierung muss im eigenen Haus stattfinden und belegen, dass nichts Wesentliches verloren geht.
Learnings
- Abschneiden ist keine Kompression. Es entfernt oft das Wichtigste.
- Ein Messmodus vor dem Umschalten schafft Vertrauen in die Ersparnis.
- Die Methode aus einem Werkzeug übernehmen, nicht den Code. Die eigenen Anforderungen an Mandanten und Protokollierung kennt das Werkzeug nicht.
- Token
- KI-Agenten
- Datenhoheit
- Kostenoptimierung