Evaluation von LLM- und Intent-basierten Ansätzen zur Umsetzung eines Chatbots für die Unterstützung bei der Studienorganisation

Conversational User Interfaces wie Chatbots bieten großes Potential, Studierende ergänzend
zu bestehenden Beratungsangeboten bei der Studienorganisation zu unterstützen. Insbesondere durch
die Fortschritte im Bereich der Large Language Models (LLMs) eröffnen sich neue Herangehensweisen
an die Konstruktion solcher Chatbots. Diese sind jedoch mit Chancen und Risiken verbunden, so dass
die Wahl eines geeigneten Ansatzes sorgsam abgewogen werden muss. In diesem Beitrag werden drei
Ansätze zur Erstellung solcher Chatbots untersucht und miteinander verglichen: ChatGPT mit Retrieval
Augmented Generation (RAG), das Open-Source LLM Mistral mit RAG und ein Intent-basierter
Chatbot. Die Ansätze werden hinsichtlich Qualität der Antworten und Risiken (z.B. Halluzinationen)
verglichen. Insgesamt zeigt sich, dass alle Ansätze potenziell Anwendung für die Unterstützung bei der
Studienorganisation finden können. Aus den gewonnenen Erkenntnissen lässt sich jedoch keine klare
Empfehlung für einen Ansatz ableiten, weshalb in weiteren Arbeiten ein hybrider Chatbot untersucht
werden sollte.

Chatbot

Evaluation

Künstliche Intelligenz

Large Language Models

Retrieval-
Augmented Generation