Fehlerhafte KI-Zitate vor Gericht: Richter warnt vor blindem Vertrauen

Ein Bundesrichter in Manhattan hat einen Fall fehlerhafter KI-Zitate zum Anlass für eine grundsätzliche Warnung genommen. In dem Urheberrechtsstreit Lawand Hill gegen Foundation Media LLC enthielt ein Schriftsatz Zitate und Fundstellen, die nicht korrekt geprüft worden waren. Die Kanzlei Shapiro Arato Bach räumte gegenüber dem Gericht ein, generative KI bei der Vorbereitung verwendet zu haben.

Nach der eidesstattlichen Erklärung der verantwortlichen Partnerin Cynthia Arato existierte der angegebene Fall Zhao in der zitierten Form nicht. Ein anderer Fall mit einem ähnlichen Namen enthielt eine der verwendeten Aussagen nahezu wörtlich. Der ebenfalls angeführte Fall Piazza stützte die behaupteten Rechtsgrundsätze nicht. Die juristischen Grundgedanken selbst seien zwar richtig gewesen, die dafür genannten Belege jedoch fehlerhaft.

Der zuständige Richter Arun Subramanian entschied laut Reuters, keine Sanktionen zu verhängen. Er wertete den Vorfall dennoch als Weckruf. KI-erzeugte juristische Arbeit müsse sorgfältig auf Richtigkeit geprüft werden, weil Fehler unmittelbare Folgen für Mandanten und Verfahren haben können.

Der Fall ist besonders lehrreich, weil es der Kanzlei nicht an formalen Vorgaben fehlte. Nach Aratos Erklärung hatte sie spezielle generative KI-Werkzeuge für die Rechtsbranche lizenziert. Mitarbeiter nahmen an Einführungen und einer verpflichtenden Schulung zu berufsethischen Pflichten teil. Außerdem mussten sie eine Richtlinie unterzeichnen, nach der KI-Ausgaben vor Verwendung geprüft, bestätigt und nötigenfalls korrigiert werden.

Trotzdem gelangten die falschen Fundstellen in den Schriftsatz. Die Anwältin, die den Entwurf vorbereitet und eingereicht hatte, überprüfte nach Darstellung der Kanzlei zwar Tatsachenbelege, versäumte aber die Kontrolle der Gerichtsentscheidungen. Auch die spätere Durchsicht durch eine Partnerin fing den Fehler nicht ab, weil ihr der Einsatz generativer KI nicht bekannt war und die zugrunde liegenden Rechtsgrundsätze vertraut erschienen.

Die Kanzlei erklärte, es habe sich um einen einzelnen Fehler ohne Täuschungsabsicht gehandelt. Sie verwies auf schwere persönliche Belastungen der beteiligten Anwältin, betonte aber ausdrücklich, dass diese den Vorgang nicht entschuldigten. Weitere Schutzmaßnahmen seien eingeleitet worden.

In einer weiteren Eingabe teilte die Kanzlei nach Angaben von Reuters mit, dass Werkzeuge des Legal-Tech-Anbieters Harvey eingesetzt worden seien. Harvey lehnte einen Kommentar ab. Aus den öffentlich zugänglichen Unterlagen lässt sich nicht ableiten, welcher konkrete Arbeitsschritt mit welchem Modell erfolgte oder warum die falschen Zitate entstanden.

Der Name des Anbieters ist deshalb weniger wichtig als die gescheiterte Kontrollkette. Ein spezialisiertes Werkzeug kann die Wahrscheinlichkeit bestimmter Fehler verringern, aber es verwandelt erzeugte Texte nicht automatisch in verlässliche Quellen. Wer einen Schriftsatz einreicht, muss Zitate, Fundstellen und Aussagen weiterhin am Original prüfen.

Der Vorgang zeigt außerdem eine organisatorische Schwachstelle. Wenn Prüfer nicht wissen, dass ein Entwurf mit KI erstellt wurde, können sie unbewusst mit einem falschen Risikomodell arbeiten. Transparenz innerhalb eines Teams ist daher ebenso wichtig wie eine Richtlinie auf Papier.

Subramanian verband die Fehlerfrage mit einem zweiten Risiko. Eine wachsende Abhängigkeit von KI könne die Ausbildung junger Anwälte schwächen. Er regte an, erste Entwürfe bestimmter Schriftsätze weiterhin ohne KI-Unterstützung erstellen zu lassen. Mandanten sollten zudem genau überlegen, ob sie den Einsatz solcher Werkzeuge allein aus Kostengründen verlangen.

Diese Sorge reicht über Kanzleien hinaus. Wer frühe Entwürfe vollständig automatisiert, spart kurzfristig Zeit, überspringt aber möglicherweise genau die Arbeit, an der Berufsanfänger Recherche, Argumentation und Quellenkritik lernen. Später sollen dieselben Mitarbeiter KI-Ergebnisse kontrollieren, ohne den zugrunde liegenden Prozess oft genug selbst durchgeführt zu haben.

Der Richter erklärte nicht, KI müsse aus dem Rechtsbetrieb verschwinden. Im Gegenteil, er hielt ihren Einsatz für möglicherweise unvermeidbar. Seine Botschaft ist nüchterner: Automatisierung verändert nicht, wer am Ende Verantwortung trägt. Wenn eine Maschine den ersten Entwurf liefert, muss der Mensch beim letzten Blick umso wacher sein.