Nach über einem Jahr intensiver Forschung gelang es dem Legal Tech Inkubator des Instituts für Prozess- und Anwaltsrecht, die Examensklausurbewertung zu revolutionieren. Die unproduktive, mit Klausuren-Korrektur verschwendete Lebenszeit der Professorinnen und Professoren ist endgültig vorbei.
Mit Hilfe einer neuentwickelten KI und Deep Learning ist man nun in der Lage, Klausuren automatisch korrigieren zu lassen. Einen Großteil der Forschung machte dabei die Entwicklung des eigentlichen Machine Learning Modells aus. Für dieses sogenannte neuronale Netzwerk wurde in Monate langer Arbeit nach features, also für die Entscheidung relevante Variablen, gesucht. U.a. wird die Anzahl der Zeichen und Absätze, die Häufigkeit der Paragraphennennung, der Zeichenumfang bis zum ersten Zitieren eines Paragraphen, die Gesamtlänge der Arbeit sowie die Komplexität der Satzkonstruktion berücksichtigt (N- Gramm Methode). Einbezogen wurden auch neuste graphologische Erkenntnisse, z.B., ob die Buchstaben verbunden werden oder wie groß der Anfangsbuchstabe ist. Auch Durchstreichungen und Korrekturen flossen in das Bewertungssystem ein.
Die letzten fünf Monate wurde dann das Modell angelernt (supervised learning). Hierzu wurde eine Auswahl der in Niedersachsen geschriebenen Klausuren der letzten zehn Jahre in Hinblick auf die entscheidungsrelevanten Variablen untersucht und zusammen mit der Gesamtnote der Klausur in das System eingepflegt.
Nach der Anlernphase wurden in der Testphase die übrigen, zum Anlernen nicht genutzten, Klausuren genutzt und überprüft, ob das Modell zu demselben Ergebnis gekommen wäre wie der Korrektor. In 94,7 % der Fälle sagte die KI die Entscheidung korrekt voraus.
Aus rechtlichen Gründen wird man beim Einsatz dieses System wohl zulassen müssen, dass die Kandidatinnen und Kandidaten gegen die KI-gestützte Bewertung remonstrieren können. Der Ankereffekt der KI-Bewertung dürfte aber so groß sein, dass in der Praxis auch im Falle einer Remonstration so gut wie keine Abweichungen gegenüber der KI-gestützten Bewertung vorkommen dürften. Mit der Zeit dürften die Remonstrationen daher gegen Null gehen.
Schwierigkeiten bereitet noch die Begründung der Entscheidung. Die Kriterien, welche der Herstellung der Benotung zugrunde liegen, können in Hinblick auf den Patentschutz, allen voran jedoch aus ökonomischen Gesichtspunkten, über das hier genannte Maß hinaus nicht offengelegt werden.
Auch haben diese mit einer inhaltlichen juristischen Auseinandersetzung der jeweiligen Klausur nichts zu tun. Die Note ergibt sich ja nicht aus einem juristischen Fehler, sondern – vereinfacht gesprochen – weil in den meisten mit 7 Punkten bewerteten Klausuren der erste Paragraph erst nach 4 Zeilen genannt wird. Selbstverständlich werden weitaus mehr formale Kriterien herangezogen, derzeit 109. Man arbeitet aber bereits an einer automatisierten Benotungsbegründung. So lautet z.B. die schriftliche Bewertung der Arbeit mit 7 Punkten:
„Verfasser hat viele der in der Klausur aufgeworfenen Fragestellungen erkannt. Er vermochte diese aber nicht alle zutreffend zu beantworten. Zum Teil gab er auch dogmatische Unsicherheiten zu erkennen. Seine Argumentationstiefe reichte über eine durchschnittliche Anforderung genügende Bewertung nicht hinaus. Befriedigend (7 Punkte)“
Für Rückfragen steht Ihnen das Institut für Prozess- und Anwaltsrecht ab dem 2. April 2021 gerne zur Verfügung.
