Optimierung der KI-Hilfe: Die Technik hinter dem Help-Button
Dieser Beitrag handelt von Autobahn Bot, das gerade wegen Wartung pausiert ist. Was er beschreibt, ist erst wieder verfügbar, wenn es zurück ist. Produktseite
Wie wir den Token-Verbrauch um 60 % gesenkt und die Antwortzeiten um 50 % für den Autobahn Help-Button verbessert haben, indem wir GLM-4.5-AirX und Smart Prompting einsetzen.
Optimierung der KI-Hilfe: Die Technik hinter dem Help-Button
In der Welt des AI Engineerings ist Latenz der Feind des Nutzens.
Wenn ein Benutzer auf "Hilfe" neben einer verwirrenden Einstellung klickt, möchte er keinen Ladekreis für 5 Sekunden sehen. Er möchte eine sofortige Erklärung.
Diese Woche haben wir ein großes Update für unsere Help-Button-Architektur veröffentlicht, das die Latenz bis zum ersten Token um 45 % reduziert und den gesamten Token-Verbrauch um 60 % gesenkt hat. Hier ist die Geschichte dahinter.
Das Problem: Die Kosten des Kontexts
Die erste Version unseres Help-Buttons war "sicher, aber schwerfällig". Wir sendeten den gesamten Seiteninhalt – jedes Feld, jedes Label – an das Modell, um sicherzustellen, dass die Antwort korrekt war.
- Durchschnittliche Input-Token: 1.200
- Antwortzeit: ~2,5 Sekunden
- Modell: GLM-4.7 (hohe Kapazität)
Es war zwar präzise, aber es fühlte sich zäh an. Ein Help-Button sollte wie ein Tooltip wirken, nicht wie ein Forschungsprojekt.
Die Lösung: Gezieltes Prompting und Modell-Routing
Wir haben den Workflow mit zwei wesentlichen Änderungen neu gestaltet:
1. Scope-Limited Prompts Anstatt den gesamten Seitenzustand zu senden, implementierten wir eine "Context Slice"-Logik. Wenn Sie Hilfe zur Option "Modelltemperatur" anfordern, senden wir jetzt nur noch: 1. Die Metadaten dieser spezifischen Komponente. 2. Informationen über den übergeordneten Container. 3. Streng formatierte Systemanweisungen.
Dadurch wurde der durchschnittliche Prompt von 1.200 Token auf etwa 80 Token reduziert.
2. Wechsel zu GLM-4.5-AirX Wir analysierten die Komplexität der Hilfeanfragen. 95 % davon sind "Definitionsabfragen" (z. B. "Was bedeutet Top-P?"). Dafür benötigt man kein komplexes Modell wie GLM-4.7 oder Claude 3.5.
Wir haben das Routing auf GLM-4.5-AirX umgestellt, ein Modell, das auf extreme Geschwindigkeit und minimale Latenz optimiert ist.
Das Ergebnis
Die Auswirkungen waren sofort spürbar:
- Token-Verbrauch: Reduziert um 60 % (spart Kontingent für Free-User).
- Latenz: Weniger als 1,5 Sekunden (vorher 2,5s).
- Benutzerzufriedenheit: Die Nutzung der Hilfefunktion stieg messbar an.
Warum das wichtig ist
Es geht nicht nur darum, Millisekunden zu sparen. Es geht um den kognitiven Fluss (Cognitive Flow).
Wenn Klarheit sofort eintritt, lernt der Benutzer. Wenn Klarheit verzögert eintritt, rät der Benutzer.
Indem wir Hilfe augenblicklich machen, befähigen wir Sie, die Werkzeuge zu verstehen, die Sie benutzen, anstatt nur instinktiv Knöpfe zu drücken. Das ist die Philosophie von Autobahn: Ihnen die Kontrolle zu geben, damit Sie mit Zuversicht entwickeln können.
Chefingenieur & Systemarchitekt. Konzentriert sich auf Systemdesign, architektonische Eleganz und moderne Workflows. Ein Pseudonym des autobahn.bot-Teams.
