KI-Antworten in der Kanzlei prüfen

Das gilt schon für organisatorische Entwürfe: Aus „Unterlage eingegangen“ kann sprachlich schnell „Unterlagen vollständig geprüft“ werden. Der Satz klingt hilfreich, verändert aber den dokumentierten Stand. Eine brauchbare Prüfung beginnt deshalb beim Inhalt, bevor Ton und Länge überarbeitet werden.

Warum überzeugende Sprache kein Beleg ist

Das Bundesamt für Sicherheit in der Informationstechnik beschreibt, dass generative Modelle auch bei korrektem Trainingsmaterial fehlerhafte Inhalte erzeugen können. Bei Sprachmodellen können selbst erfundene Referenzen glaubhaft wirken. Siehe BSI: Generative KI-Modelle, Risiko R4, Seite 15.

Das NIST zählt zu solchen Fehlleistungen auch Antworten, die von der Eingabe abweichen oder Aussagen im selben Zusammenhang widersprechen. Damit betrifft die Prüfung mehr als frei erfundene Fakten. Auch eine unbelegte Ergänzung zu einem ansonsten richtigen Ausgangstext kann das Ergebnis verfälschen. NIST: Generative AI Profile, Abschnitt 2.2.

Für Ihren Arbeitsablauf folgt daraus eine einfache Trennung: Zuerst wird geprüft, was die Aussage trägt. Danach wird entschieden, wie sie verständlich formuliert wird. Ein freundlich umgeschriebener Fehler bleibt ein Fehler.

Ein fiktiver Entwurf mit drei unbelegten Ergänzungen

Das folgende Beispiel wurde redaktionell konstruiert. Es enthält keine echte Mandatskommunikation und stammt nicht aus einem Produkttest.

Vorgegebene Informationen: Eine Person hat Dokument A geschickt. Der Eingang wurde bestätigt. Ob weitere Unterlagen fehlen, ist noch nicht geprüft. Es besteht ein Rückrufwunsch; eine Uhrzeit ist nicht vereinbart. Die zuständige Mitarbeiterin soll die Unterlagen zunächst sichten.

Fehlerhafter Beispielentwurf:

Der Entwurf lässt sich an drei konkreten Stellen beanstanden:

Eine mögliche Korrektur auf Basis dieser Vorgaben:

Diese Fassung ergänzt weder einen Bearbeitungsabschluss noch eine Terminzusage. Ob sie für den konkreten Empfänger geeignet ist und wer sie verwenden darf, wird anschließend im vorgesehenen Kanzleiablauf entschieden. Sie ist ein Prüfbeispiel, keine universelle Nachrichtenvorlage.

Ein Prüfraster für den nächsten Textentwurf

Legen Sie Eingabe, Entwurf und maßgebliche Unterlagen nebeneinander. Gehen Sie den Text in dieser Reihenfolge durch:

1. Aufgabe: Beantwortet der Entwurf die gestellte Frage oder hat er die Aufgabe erweitert? Aus einer Zusammenfassung soll beispielsweise keine zusätzliche Handlungsempfehlung werden, wenn diese nicht beauftragt war.
2. Tatsachen: Welche Namen, Mengen, Daten, Beträge und Bearbeitungsstände werden genannt? Suchen Sie für jede relevante Angabe die tatsächliche Grundlage.
3. Ergänzungen: Welche Aussage ist im Entwurf neu hinzugekommen? Prüfen Sie besonders Wörter wie „vollständig“, „bereits“, „bestätigt“, „immer“ und konkrete Zusagen.
4. Lücken: Welche Information fehlt weiterhin? Ein unbekannter Termin soll sichtbar unbekannt bleiben. Er darf nicht durch eine passend klingende Zeitangabe ersetzt werden.
5. Widersprüche: Passt der Text in sich zusammen und zum letzten dokumentierten Stand? Eine ältere Nachricht kann durch eine spätere Rückmeldung überholt sein.
6. Verwendung: Für wen ist der Text bestimmt? Interne Bearbeitungsnotizen und ein Text für einen externen Empfänger haben unterschiedliche Aufgaben.

Halten Sie Befunde konkret fest. „Bitte sorgfältiger“ ist als Rückmeldung wenig brauchbar. „Der zweite Satz behauptet einen abgeschlossenen Prüfschritt; die vorliegende Notiz dokumentiert nur den Eingang“ lässt sich gezielt korrigieren und erneut prüfen.

Quellenangaben tatsächlich öffnen

Eine Quellenliste allein bestätigt keine Aussage. Öffnen Sie das genannte Original und prüfen Sie, ob es existiert, die konkrete Behauptung trägt und zum behandelten Zusammenhang passt. Ein Link auf die Startseite eines Anbieters ist beispielsweise noch kein Beleg für eine bestimmte Produktfunktion.

Das NIST empfiehlt in seinem Generative-AI-Profil ausdrücklich, Quellen und Zitate in Modellausgaben vor dem Einsatz und im laufenden Betrieb zu verifizieren. Die Empfehlung steht unter MS-2.5-003. Sie ist hier eine fachliche Orientierung für den Prüfablauf, keine Aussage über eine deutsche gesetzliche Pflicht. NIST: Quellen und Zitate prüfen.

Eine zweite KI kann beim Finden verdächtiger Stellen helfen. Ihre Zustimmung ist jedoch kein unabhängiger Quellenbeleg. Lassen Sie sich die Grundlage zeigen und prüfen Sie diese selbst beziehungsweise durch die fachlich zuständige Person. Ist das Original nicht zugänglich, bleibt die Aussage ungeklärt.

Den Prüfauftrag an die KI begrenzen

Ein zusätzlicher Prüfdurchgang kann die menschliche Sichtung vorbereiten. Für einen organisatorischen Text könnten Sie beispielsweise verlangen:

Das ist eine Formulierungshilfe für den Auftrag. Sie garantiert nicht, dass das Modell alle Fehler erkennt. Die Ausgabe dieses Prüfdurchgangs wird ebenso mit den Originalunterlagen abgeglichen. Auch Anweisungen, die nur innerhalb einer zitierten Unterlage stehen, gehören zunächst zum zu prüfenden Material.

Verwenden Sie nur die für den konkreten Einsatz freigegebenen Systeme und Daten. Eine gute Prüfanweisung klärt weder zulässige Datenzugriffe noch die Eignung eines Dienstes für vertrauliche Inhalte.

Die geprüfte Fassung kenntlich machen

Dokumentieren Sie, welcher Text auf welcher Grundlage geprüft wurde, welche Punkte offenblieben und wer die weitere Verwendung übernimmt. Nach einer inhaltlichen Änderung ist die betroffene Aussage erneut abzugleichen. Sonst kann zwischen geprüftem Entwurf und verwendeter Fassung ein neuer Fehler entstehen.

Bei rechtlichen Bewertungen, Fristen oder einer Entscheidung über das weitere Vorgehen reicht dieses organisatorische Raster nicht als fachliche Prüfung. Die dafür zuständige anwaltliche Person muss Inhalt, Quellen und konkreten Fall eigenständig beurteilen. Der vorliegende Leitfaden beschreibt die Prüfung eines Textentwurfs, keine automatisierte Rechtsprüfung.

Beginnen Sie im Team mit einem kurzen, künstlichen Beispiel wie dem oben. Vergleichen Sie die gefundenen Ergänzungen und offenen Fragen. Daraus entsteht ein gemeinsamer Maßstab für die nächste Sichtung. Wie solche Arbeitsschritte in den größeren Prozess passen, erläutert unser Leitfaden zur Digitalisierung der Anwaltskanzlei.