Ergebnis dieses Guides
Eine begrenzte Aktion mit serverseitiger Freigabe
Arbeitsumgebung
Eine Gesprächsoberfläche mit begrenzter Gesprächshistorie und klarer Übergabe an Menschen
Wann ist diese Entscheidung wichtig?
Modellausgaben und gefundene Dokumente sind keine vertrauenswürdigen Befehle. Berechtigungen müssen außerhalb der Modellentscheidung durchgesetzt werden.
Legen Sie fest, welche Gesprächsinformationen für eine Antwort nötig sind und wie neue Sitzungen getrennt werden. Kommunizieren Sie den Aufgabenbereich und bieten Sie bei fehlendem Wissen einen erreichbaren nächsten Kontaktweg.
Sicherheit: Schritt für Schritt.
- 01
Vorbereiten
Erfassen Sie erlaubte Aktionen, betroffene Daten und notwendige Freigaben. Nehmen Sie manipulierte Anweisungen in die Prüfsammlung auf.
- 02
In KI-Chatbots umsetzen
Validieren Sie Toolargumente auf dem Server und begrenzen Sie Rechte sowie Anzahl der Aktionen. Protokollieren Sie nachvollziehbar ohne unnötige Daten.
- 03
Im tatsächlichen Projekt prüfen
Prüfen Sie Mehrdeutigkeit, Gesprächswechsel, Abbruch und nicht beantwortbare Fragen. Informationen einer fremden Sitzung dürfen nicht durch gemeinsamen Zustand oder falsche Zuordnung in eine Antwort geraten.
Beispiel zur Überprüfung
So lässt sich das Ergebnis prüfen.
Als Projektkontext dient einen Website-Chat für Fragen zu Leistungen und Kontaktwegen. Der folgende Prüffall ist eine Vorlage für diese Aufgabe und kein Bericht über eine Kundenmessung.
- Eingabe / Auslöser
- Ein fremdes Dokument fordert das System auf, Kundendaten zu übertragen
- Erwartetes Ergebnis
- Die fremde Anweisung erhält keine zusätzlichen Rechte.
- Fehler- oder Grenzfall
- Eine Schreibaktion wird nicht ausgeführt, nur weil das Modell sie selbst als ungefährlich bezeichnet.
Abnahme und typische Fehler.
- Missbräuchliche Eingaben führen nicht zu unberechtigten Aktionen.
- Eine Schreibaktion wird nicht ausgeführt, nur weil das Modell sie selbst als ungefährlich bezeichnet.
- Ein Chat ersetzt keine verlässliche Kontaktmöglichkeit und sollte seine Grenzen offen zeigen.
Typischer Fehler
Ein Prompt allein ist keine Zugriffskontrolle.
Quellen und Versionshinweis
Die Anleitung beschreibt das Vorgehen; konkrete APIs, Produktfunktionen und Laufzeitgrenzen müssen zur eingesetzten Version passen. Halten Sie Version, Konfiguration und Prüfergebnis im Projekt fest und vergleichen Sie die verlinkte Dokumentation bei Änderungen.
