Ein LLM-basierter Chatbot als Baustein im Inverted Classroom

Dieser Beitrag betrachtet einen Chatbot auf Basis von Large Language Models (LLM)
für die Lehrveranstaltung „Web-Technologien“. Der Chatbot wird in das „Inverted Classroom“
Konzept der Lehrveranstaltung integriert und im laufenden Semester den Studierenden zur Verfügung
gestellt. LLMs mit Retrieval Augmented Generation (RAG) bieten großes Potential bei der adaptiven
Aufbereitung und Bereitstellung von Lehr- und Lernmaterialien. Diese Prozesse werden evaluiert,
indem die Akzeptanz der Studierenden dem Chatbot gegenüber, die Korrektheit der Antworten und
die durch den Chatbot generierten Übungsaufgaben hinsichtlich Passfähigkeit zu den Lernzielen,
Klarheit und Schwierigkeit betrachtet werden. Insgesamt zeigt sich, dass Studierende den Chatbot
primär für Wissensfragen und die Generierung neuer Übungsaufgaben nutzen. Der Chatbot konnte
gute Ergebnisse mit etwa 80% korrekten Antworten erzielen und wurde von den Studierenden positiv
aufgenommen. Die generierten Aufgaben wurden insgesamt als von angemessener Schwierigkeit, klar
und eindeutig formuliert und passend zu den Lernzielen eingestuft. Die gewonnenen Erkenntnisse
legen nahe, in weiteren Arbeiten die Aufgabengenerierung zu verbessern und den Chatbot in anderen
Lehrveranstaltungen einzusetzen, um eine größere Breite an Nutzenden abzudecken.

ChatbotEvaluationKünstliche IntelligenzLarge Language ModelsRetrieval- Augmented Generation