Ergebnis dieses Guides
Eine wiederholbare Bewertung mit getrennten Fehlertypen
Arbeitsumgebung
Eine begrenzte Werkzeugkette mit festen Berechtigungen und Freigaben
Wann ist diese Entscheidung wichtig?
Einige überzeugende Antworten belegen keine verlässliche Funktion. Eine feste Prüfsammlung macht Veränderungen vergleichbar.
Definieren Sie für jeden Werkzeugaufruf zulässige Argumente, Seiteneffekte und Abbruchgrenzen. Das Modell darf Aktionen vorschlagen; die Anwendung prüft und genehmigt deren tatsächliche Ausführung.
Evaluation: Schritt für Schritt.
- 01
Vorbereiten
Sammeln Sie normale Fälle, Grenzfälle und Fälle, die abgelehnt werden müssen. Definieren Sie für jede Gruppe ein überprüfbares Sollverhalten.
- 02
In KI-Agenten umsetzen
Bewerten Sie Inhalt, Format, Quellen und notwendige Ablehnungen getrennt. Halten Sie Modell, Prompt und Datenstand je Lauf fest.
- 03
Im tatsächlichen Projekt prüfen
Testen Sie die vollständige Werkzeugfolge einschließlich fehlerhafter Rückgaben und wiederholter Aufrufe. Relevante externe Änderungen müssen nachvollziehbar und bei Bedarf vor ihrer Ausführung freigegeben sein.
Beispiel zur Überprüfung
So lässt sich das Ergebnis prüfen.
Als Projektkontext dient die Vorbereitung und Einordnung eingehender Anfragen. Der folgende Prüffall ist eine Vorlage für diese Aufgabe und kein Bericht über eine Kundenmessung.
- Eingabe / Auslöser
- Dieselbe Prüfsammlung vor und nach einer Prompt- oder Modelländerung
- Erwartetes Ergebnis
- Verbesserungen und Verschlechterungen sind je Fehlertyp sichtbar.
- Fehler- oder Grenzfall
- Ein hoher Durchschnitt verdeckt keine fehlerhafte Berechtigung oder kritische unerlaubte Aktion.
Abnahme und typische Fehler.
- Eine Änderung lässt sich gegen dieselben Fälle vergleichen.
- Ein hoher Durchschnitt verdeckt keine fehlerhafte Berechtigung oder kritische unerlaubte Aktion.
- Autonomie braucht begrenzte Rechte, Freigaben und nachvollziehbare Ausführung.
Typischer Fehler
Nur gelungene Demo-Fragen zu sammeln verzerrt das Bild.
Quellen und Versionshinweis
Die Anleitung beschreibt das Vorgehen; konkrete APIs, Produktfunktionen und Laufzeitgrenzen müssen zur eingesetzten Version passen. Halten Sie Version, Konfiguration und Prüfergebnis im Projekt fest und vergleichen Sie die verlinkte Dokumentation bei Änderungen.
