KI in der Bildung: Texte effizienter erstellen und bewerten

Herausforderung

Ein führender Anbieter von Sprachprüfungen und Bildungsdienstleistungen erkannte den Bedarf, die Erstellung von Testinhalten sowie der Korrektur und Bewertung dieser Tests zu automatisieren.

Gegenwärtig nehmen die Korrektur und Bewertung von Texten viel Zeit von Lehrkräften in Anspruch – nicht nur wegen des manuellen Aufwands, sondern auch, weil Lehrer:innen für jeden Text individuelle Verbesserungsvorschläge formulieren. Ein weiteres Problem dabei: Jede Bewertung ist subjektiv und kann je nach Prüfer:in variieren. Schüler:innen, die ein bestimmtes Sprachniveau bei einer Behörde oder Bildungsinstitution nachweisen müssen, haben jedoch ein Interesse an einem hohen Maß an Objektivität und einer schnellen Bewertung ihrer Tests.

Hinzu kommt eine zweite Herausforderung: Die manuelle Erstellung von Testinhalten ist repetitiv und muss in kurzen Zeitabständen durchgeführt werden. Gleichzeitig wächst der Bedarf an maßgeschneiderten Textaufgaben, die unterschiedliche Sprachniveaus und Textformen adressieren. Die Berücksichtigung spezieller EU-Vorgaben erhöht die Komplexität und den Zeitaufwand dieses Prozesses.

Die Herausforderung für statworx bestand darin, mit einem Proof-of-Concept (PoC) zu beweisen, dass sich diese Prozesse automatisieren und standardisieren lassen. Dies soll zeigen, dass sich sowohl die Effizienz als auch die Konsistenz der Bewertungen steigern lassen.

Ansatz

Um diese Herausforderungen zu meistern, initiierte statworx im Rahmen des PoC zwei Use Cases: die „Autoren-KI“ und die „Bewerter-KI“. Hierfür entwickelte das Team ein voll funktionsfähiges KI-Backend und ein intuitives User-Frontend, um damit zu interagieren.

Use Case 1: Automatisierte Textbewertung (Bewerter-KI)
Der erste Use Case fokussierte sich auf die Implementierung einer Bewerter-KI, die Texte auf Deutsch B1 Niveau anhand festgelegter Kriterien bewertet und Feedback zur Verbesserung gibt. Die Kriterien dafür umfassen:

• Inhaltliche Angemessenheit: Werden alle Leitfragen beantwortet?
• Sprachliche Angemessenheit: Wie ist die Qualität der Sätze und des sprachlichen Ausdrucks?
• Formale Richtigkeit: Stimmen die Rechtschreibung und Grammatik?

Use Case 2: Automatisierung von Textaufgaben (Autoren-KI)
Der zweite Use Case zielt auf die Automatisierung der Erstellung von Aufgabenstellungen durch eine Autoren-KI ab. Diese KI kann je nach Bedarf und Prompt Texte auf einem spezifischen Sprachniveau und für eine bestimmte Textform generieren. Zum Beispiel:

• Erstellen einer Textaufgabe
• Erstellen eines Lückentextes
• Erstellen von Lösungsoptionen für den Text

Beide Konzepte und Implementierungen dienen nun als Grundstein für weitere Anwendungsfälle.

Ergebnis

Diese beiden Use Cases demonstrieren eindrucksvoll, wie KI-Technologien die Effizienz und Qualität in der Bildungsbranche verbessern können. Durch die Automatisierung und Standardisierung von Bewertungs- und Texterstellungsprozessen wird nicht nur die Arbeitslast der Lehrkräfte reduziert, sondern auch die Lernerfahrung der Schüler:innen nachhaltig optimiert.

Bewerter-KI: Effizienzsteigerung und Konsistenz
Die Implementierung der Lehrer-KI führte zu einer signifikanten Effizienzsteigerung und Konsistenz in der Textbewertung. Durch umfangreiche Tests konnte das Team nachweisen, dass die KI robuster und konsistenter in der Bewertung ist als menschliche Prüfer:innen. Dies bestätigte sich durch die Messung der Bewertungsübereinstimmung mittels der Teststatistik Cohens Kappa.

Autoren-KI: Potenzial zur Automatisierung
Die Autoren-KI zeigt großes Potenzial bei der Automatisierung von Textaufgaben. Die bisherigen Schritte zur Erstellung von Aufgaben, Lückentexten und Lösungsoptionen wurden erfolgreich umgesetzt.