Ergebnis dieses Guides
Ein reproduzierbarer Fehler mit dokumentiertem Kontext
Arbeitsumgebung
Dokumentenbestand, Suchindex und Antwortmodell mit durchgängiger Zugriffsprüfung
Wann ist diese Entscheidung wichtig?
Fehler können aus Daten, Abruf, Prompt, Modell oder Werkzeug stammen. Ohne getrennte Beobachtung wird häufig an der falschen Stelle korrigiert.
Trennen Sie Dokumentaufbereitung, Suche und Antwortbildung. Kontrollieren Sie zunächst, ob die richtige Textstelle unter den erlaubten Daten gefunden wurde, bevor Sie die Formulierung des Modells optimieren.
Fehlerbehebung: Schritt für Schritt.
- 01
Vorbereiten
Halten Sie eine freigegebene Testeingabe, Konfiguration und erwartetes Ergebnis fest. Entfernen Sie unnötige personenbezogene Informationen.
- 02
In Retrieval-Augmented Generation umsetzen
Prüfen Sie die Kette ab der ersten Abweichung. Ändern Sie eine Ursache und führen Sie die passende Prüfsammlung erneut aus.
- 03
Im tatsächlichen Projekt prüfen
Prüfen Sie Belegtreue, fehlende Fundstellen, veraltete Dokumente und Rechte zwischen getrennten Datenbeständen. Ein guter Suchtreffer ist noch keine automatisch korrekte Antwort.
Beispiel zur Überprüfung
So lässt sich das Ergebnis prüfen.
Als Projektkontext dient einen internen Wissensassistenten mit aktuellen Handbüchern. Der folgende Prüffall ist eine Vorlage für diese Aufgabe und kein Bericht über eine Kundenmessung.
- Eingabe / Auslöser
- Eine Frage erhält trotz vorhandenem Dokument eine falsche Antwort
- Erwartetes Ergebnis
- Es ist erkennbar, ob das Dokument nicht gefunden, falsch gelesen oder falsch wiedergegeben wurde.
- Fehler- oder Grenzfall
- Ein korrigierter Einzelfall verschlechtert nicht unbemerkt Ablehnungen und Berechtigungsgrenzen.
Abnahme und typische Fehler.
- Die Ursache wird einer konkreten Schicht zugeordnet.
- Ein korrigierter Einzelfall verschlechtert nicht unbemerkt Ablehnungen und Berechtigungsgrenzen.
- Retrieval verbessert die Grundlage einer Antwort, garantiert aber weder Vollständigkeit noch Korrektheit.
Typischer Fehler
Ein neuer Prompt löst nicht jeden Fehler in Daten oder Werkzeugen.
Quellen und Versionshinweis
Die Anleitung beschreibt das Vorgehen; konkrete APIs, Produktfunktionen und Laufzeitgrenzen müssen zur eingesetzten Version passen. Halten Sie Version, Konfiguration und Prüfergebnis im Projekt fest und vergleichen Sie die verlinkte Dokumentation bei Änderungen.
