Ergebnis dieses Guides
Eine nachvollziehbare Kostenrechnung pro brauchbarem Ergebnis
Arbeitsumgebung
Dokumentenbestand, Suchindex und Antwortmodell mit durchgängiger Zugriffsprüfung
Wann ist diese Entscheidung wichtig?
Kosten entstehen nicht nur beim ersten Modellaufruf. Kontext, Wiederholungen, Werkzeuge und menschliche Korrekturen gehören zum Gesamtaufwand.
Trennen Sie Dokumentaufbereitung, Suche und Antwortbildung. Kontrollieren Sie zunächst, ob die richtige Textstelle unter den erlaubten Daten gefunden wurde, bevor Sie die Formulierung des Modells optimieren.
Kosten: Schritt für Schritt.
- 01
Vorbereiten
Definieren Sie den Vorgang, durchschnittliche Eingabegrößen und die erlaubte Zahl von Wiederholungen.
- 02
In Retrieval-Augmented Generation umsetzen
Messen Sie tatsächlichen Verbrauch und vergleichen Sie Kosten mit fachlicher Qualität. Setzen Sie Grenzen pro Vorgang und Zeitraum.
- 03
Im tatsächlichen Projekt prüfen
Prüfen Sie Belegtreue, fehlende Fundstellen, veraltete Dokumente und Rechte zwischen getrennten Datenbeständen. Ein guter Suchtreffer ist noch keine automatisch korrekte Antwort.
Beispiel zur Überprüfung
So lässt sich das Ergebnis prüfen.
Als Projektkontext dient einen internen Wissensassistenten mit aktuellen Handbüchern. Der folgende Prüffall ist eine Vorlage für diese Aufgabe und kein Bericht über eine Kundenmessung.
- Eingabe / Auslöser
- Ein normaler Vorgang sowie ein Fall mit langer Eingabe und mehreren Werkzeugaufrufen
- Erwartetes Ergebnis
- Beide bleiben innerhalb des vorgesehenen Budgets oder werden kontrolliert beendet.
- Fehler- oder Grenzfall
- Eine Endlosschleife oder wiederholte Störung erzeugt keine unbegrenzten Kosten.
Abnahme und typische Fehler.
- Ein Pilot zeigt einen realistischen Aufwand je Fall.
- Eine Endlosschleife oder wiederholte Störung erzeugt keine unbegrenzten Kosten.
- Retrieval verbessert die Grundlage einer Antwort, garantiert aber weder Vollständigkeit noch Korrektheit.
Typischer Fehler
Nur den Preis pro Token zu betrachten unterschätzt Betrieb.
Quellen und Versionshinweis
Die Anleitung beschreibt das Vorgehen; konkrete APIs, Produktfunktionen und Laufzeitgrenzen müssen zur eingesetzten Version passen. Halten Sie Version, Konfiguration und Prüfergebnis im Projekt fest und vergleichen Sie die verlinkte Dokumentation bei Änderungen.
