LLM vs. Karar Modeli (Decision Model) & Shadow Mode Geçiş Rehberi
Dieser interaktive Architektur-Leitfaden basiert auf der realen Fallstudie der AWS-Ingenieure Carr Onstott und Mehul Jaiswal, die Claude Sonnet 4.6 in einem der weltweit größten internen Ticketing-Systeme durch das Gemma-4-basierte Entscheidungsmodell Strands Decider E4B ersetzt und die Kosten pro 1 Million Tickets von 22.200 $ auf 500 $ (98 % Ersparnis, 44-mal günstiger) gesenkt haben.
Der teuerste Fehler moderner Softwareteams besteht darin, ein riesiges generatives LLM an eine geschlossene Klassifizierungs- oder Routing-Aufgabe anzubinden und bei jedem Aufruf Hunderte Tokens an JSON und Begründungen generieren zu lassen. Nutze die 4-stufige Checkliste unten, um deine eigenen KI-Endpunkte zu prüfen und sicher mit einem 3-Wege-Shadow-Mode-Schalter zu migrieren.
- KernDas solltest du gut können, bevor du dich bewirbst
- WünschenswertTaucht oft in Stellenanzeigen auf und verschafft dir einen Vorteil
- SpäterWenn du im Job bist und es brauchst
Klicke auf ein Thema, um zu sehen, was du wissen musst und wo du es lernen kannst.
- 01
Stufe 1: Diagnose — Warum generieren wir 170 Output-Tokens?
Identifiziere versteckte Engpässe in deinem System, die eine Wahrscheinlichkeitsverteilung (Decision Model) statt Textgenerierung (Generative AI) erfordern.
- 02
Stufe 2: Prompt-Komprimierung & Die JSON-Key-Reihenfolge-Falle
Komprimiere Kategoriedefinitionen für das 4.096-Token-Fenster und verhindere den JSON-Key-Reihenfolge-Effekt, der Wahrscheinlichkeiten um bis zu 0,19 verschiebt.
- 03
Stufe 3: 3-Wege-Shadow-Mode-Schalter (BEDROCK -> DUAL -> DECIDER)
Leg niemals blind den Schalter um: Lass beide Modelle parallel auf echtem Traffic laufen – mit 45-Sekunden-Rollback-Garantie.
- 04
Stufe 4: Isoliertes GPU-Hosting & 98 % Kosten-Verifizierung
Betreibe das Modell auf einer netzwerkisolierten einzelnen A10G-GPU-Instanz und verifiziere die Kostensenkung von 22.200 $ auf 500 $.
Thema für Thema
Jedes Thema auf der Karte mit Beschreibung, Wissenswertem und Ressourcen — in einer Liste.
01Stufe 1: Diagnose — Warum generieren wir 170 Output-Tokens?
Prüfung von Workloads mit festem Katalog (Closed Choice)· Kern
In Amazons internem Ticketing-System wurden Eskalationen, Kapazitätsanfragen, Alarme und Sicherheitsbefunde 20 festen Kategorien zugeordnet. Claude Sonnet 4.6 las pro Ticket 6.554 Input-Tokens und generierte 170 Output-Tokens für JSON und Begründung.
Das solltest du wissen
- Prüfe deine LLM-Aufrufe: Wird der generierte JSON-Text dem Nutzer angezeigt oder liest dein Code nur ein 'category_id'- oder 'route'-Feld für eine if/switch-Verzweigung aus?
- Wenn deine Auswahlmenge fest ist (z. B. 5 bis 50 Kategorien + 1 'none'-Option) und kein Erklärungstext nötig ist, ist das eine Aufgabe für ein Decision Model, nicht für ein generatives LLM.
- Output-Tokens sind meist 5-mal teurer als Input-Tokens (15 $/1M vs. 3 $/1M) und Hauptursache der Latenz. Die Reduktion von 170 auf 1 Output-Token senkt die Latenz sofort um 78 %.
Ressourcen
02Stufe 2: Prompt-Komprimierung & Die JSON-Key-Reihenfolge-Falle
Reduzierung der Input-Tokens von 6.554 auf 2.009· Kern
Amazons bestehende Kategoriebeschreibungen für Sonnet 4.6 waren allein schon länger als das 4.096-Token-Fenster von Strands Decider. Das Team kürzte jede der 20 Kategorien auf 1–2 präzise Sätze.
Das solltest du wissen
- Wähle den Gemma-4-basierten E4B-Build statt der 2B-Variante; in Amazons Tests schlug E4B sowohl 2B als auch das produktive Claude Sonnet 4.6 bei der Genauigkeit.
- Formuliere jede Option als prägnantes Kriterium aus 1–2 Sätzen und füge immer eine 'none'-Option hinzu, damit das Modell nicht raten muss.
- Schneide bei überlangen Tickets zuerst die ältesten Kommentare ab, damit der Payload sicher im 4.096-Token-Fenster bleibt.
Kritische Falle: JSON-Key-Reihenfolge (0,19 Wahrscheinlichkeitsabweichung)· Kern
Der überraschendste Befund der Amazon-Ingenieure: Derselbe Ticket-Inhalt mit veränderter Reihenfolge der JSON-Keys verschob die Ausgabewahrscheinlichkeiten um bis zu 0,19 (19 %)!
Das solltest du wissen
- Serialisiere vor dem Senden eines JSON-Payloads an ein Decision Model alle Objekte deterministisch mit alphabetisch sortierten Keys (sort_keys=True).
- Definiere einen strikten Confidence-Schwellenwert vor dem Setzen eines Labels; liegt der Wert darunter, enthalte dich oder leite an einen Fallback weiter.
03Stufe 3: 3-Wege-Shadow-Mode-Schalter (BEDROCK -> DUAL -> DECIDER)
3-Modus-Ausführung über Feature Flag / AppConfig· Kern
Ausgelöst durch SQS liest die Labeling-Lambda bei jeder Nachricht eine 3-Wege-Einstellung aus AWS AppConfig: BEDROCK (nur Sonnet), DUAL (beide parallel; Sonnet zählt, Abweichungen werden geloggt) und DECIDER (nur Strands Decider).
Das solltest du wissen
- Schritt 1 (BEDROCK / Bestehendes LLM): Dein bisheriger Produktionspfad; das neue Decision Model wird noch nicht aufgerufen.
- Schritt 2 (DUAL / Shadow Mode): Sowohl Sonnet 4.6 als auch Strands Decider werden parallel auf Live-Traffic aufgerufen. Sonnets Label wird angewendet, jede Abweichung wird geloggt und ausgewertet.
- Schritt 3 (DECIDER / Vollständiger Wechsel): Sobald die Abweichungsanalyse zeigt, dass das Decision Model besser ist, wird auf DECIDER umgeschaltet. Ein Rollback dauert per Config-Änderung nur 45 Sekunden.
04Stufe 4: Isoliertes GPU-Hosting & 98 % Kosten-Verifizierung
SageMaker ml.g5.xlarge (1x A10G 24GB) & Netzwerkisolierung· Kern
Strands Decider E4B belegt rund 19 GiB VRAM auf einer einzelnen 24-GB-NVIDIA-A10G-GPU (ml.g5.xlarge für 1,408 $/Std.) und antwortet in 640 ms (897 ms End-to-End).
Das solltest du wissen
- Lade die Modellgewichte vor dem Start aus S3 und isoliere das Container-Netzwerk vollständig ohne ausgehenden Internetzugang.
- Eine ml.g5.xlarge-Instanz verarbeitet ~5.600 Tickets/Stunde: 250 $ pro 1 Mio. Tickets bei Volllast bzw. ~500 $ in der Praxis mit Burst-Reserve (44-mal günstiger als 22.200 $ bei Sonnet 4.6!).
- Zusatzgewinn: Da die Aufruflatenz von 4.215 ms auf 897 ms sinkt, reduziert sich auch die durchschnittliche AWS-Lambda-Laufzeit um 74 %!
Ressourcen