Learning

LLM-Orchestrierung:
Wer entscheidet, wohin eine Anfrage geht?

Kein einzelnes Sprachmodell ist für alle Aufgaben das beste, das günstigste und das sicherste zugleich. Orchestrierung heißt: für jede Anfrage bewusst entscheiden.

Worum es geht

In fast jedem Vorhaben stehen mehrere Modelle zur Wahl: ein lokales für vertrauliche Inhalte, ein großes externes für anspruchsvolle Texte, ein kleines für Routine. Die Frage ist nicht, welches Modell das beste ist, sondern nach welchen Regeln eine Anfrage zu welchem Modell geht.

Im Lab haben wir diese Regeln an drei Stellen erprobt: bei der Klassifizierung vor dem Aufruf, bei der Prüfung lokaler Hardware und bei der Senkung von Kosten für Werkzeug-Ausgaben.

Learnings

Was wir gelernt haben

  • Erst klassifizieren, dann routen

    Ohne eine Einstufung der Vertraulichkeit vor dem Aufruf bleibt jede Aufteilung zwischen lokal und extern eine Vertrauensfrage.

  • Im Zweifel vertraulich

    Die Richtung des Fehlers muss fest eingebaut sein. Das kostet etwas Qualität und ist den Preis wert.

  • Kosten im eigenen Haus senken

    Für Kundendaten scheiden externe Kompressionsdienste aus. Optimierung muss lokal laufen und belegen, dass nichts Wesentliches verloren geht.

Was das für die Architektur heißt

Orchestrierung ist eine Architekturentscheidung: Regeln für Vertraulichkeit, Qualität und Kosten gehören in eine zentrale Schicht, nicht in jede einzelne Anwendung.

Die Infrastruktur setzt die Grenzen. Ob ein lokales Modell trägt, entscheidet die Hardware, nicht die Absicht. Eine Prüfung vorab verhindert Fehlinvestitionen.

Dazu im Lab

Erfahrungsberichte und Beiträge

Vom Lab in die Beratung

Passt das zu Ihrem Vorhaben?

Die SIMO GmbH setzt um, was im Lab trägt: Business Data Strategy & Architecture für AI. Das Erstgespräch dauert 45 Minuten und ist kostenfrei.