Quelle: Kühlem et al., 2025
Egal ob in digitalen Lernräumen oder bei virtuellen Museumsführungen – Virtuelle Realität (VR) leistet einen wichtigen Beitrag im Bereich des immersiven Lernens. In diesem Kontext können Nutzende mit virtuellen Lehrkräften interagieren. An der RWTH wird daran geforscht, wie man diese Gespräche möglichst realistisch und natürlich gestalten kann.
Virtuelle Lehrkräfte in digitalen Umgebungen
Embodied Conversational Agents (ECAs), also computer-gesteuerte virtuelle Menschen, sind ein wichtiger Bestandteil vieler Anwendungen in der VR. Hierzu zählen beispielsweise interaktive Lernumgebungen, in denen Nutzende mit einem virtuellen Lehrer*innen kommunizieren können, oder – wie in unserem Beispiel – Museumsführungen, bei denen ein digitaler Guide Informationen zu den vielfältigen Exponaten bereitstellt und jegliche Fragen beantwortet. In diesen Szenarien ist es entscheidend, dass ein flüssiges und natürliches Gespräch zwischen den ECAs und den VR-Nutzenden stattfindet. Der ECA muss dafür in der Lage versetzt werden, die Fragen und Aussagen der Nutzenden zu verstehen, über passende Antworten nachzudenken und diese dann sowohl verbal als auch non-verbal zu kommunizieren.
Gespräche zwischen Nutzenden und virtuellen Lehrkräften
In den letzten Jahren hat sich beim Aspekt des „Nachdenkens“ durch den Einsatz von Large Language Models (LLMs) wie ChatGPT viel getan. Anstelle einer begrenzten Anzahl an vorgefertigten Antworten, können ECAs durch den Einsatz von KI jetzt individuell auf die Fragen und Bedürfnisse der Nutzenden eingehen. Dabei werden die Fragen der Nutzenden von der KI analysiert und es wird eine passende und kontextbezogene Antwort generiert. Abschließend wird diese Antwort in gesprochene Sprache umgesetzt, passende Lippenbewegungen für den ECA erzeugt und die Antwort in der VR abgespielt. Auf diese Weise ermöglichet die Nutzung von KI auf nahezu alle Anfragen sinnvoll zu reagieren und ECAs zu plausiblen Gesprächspartner*innen zu machen.
Möglichst geringe Reaktionszeit für einen natürlichen Gesprächsfluss
Für einen möglichst natürlichen Gesprächsfluss ist es wichtig, dass die Reaktionszeiten der ECAs so gering wie möglich ist. Das bedeutet, dass der ECA möglichst schnell und ohne große Verzögerung auf die Anfrage oder Aussage des VR-Nutzenden reagieren sollte. Durch Gesten, Emotionen und Blickverhalten kann die wahrgenommene Reaktionszeit minimiert werden, indem der ECA ein menschen-ähnliches „Nachdenken“ simuliert. Dies kann sowohl verbal, durch Füllworte und -laute, als auch non-verbal zum Beispiel durch Gesten und Körpersprache, passieren.
Forschung an der RWTH
Quelle: Kühlem et al., 2025
An der RWTH untersucht die Forschungsgruppe Virtuelle Realität und Immersive Visualisierung die Kommunikation zwischen Menschen und ECAs. Sie nutzt in ihrer Forschung eine virtuelle Museumsführung als Beispiel, wobei ein virtueller Guide die Nutzenden durch das Museum begleitet und auf individuelle Fragen eingeht. In diesem Szenario ist es möglich, eine realistische Interaktion zwischen Mensch und ECA durchzuführen. Dabei soll unter anderem erforscht werden, wie die Reaktionszeit von ECAs technisch reduziert werden kann. Auf der ACM IVA 2025 in Berlin wurde bereits eine erste Demo veröffentlicht. Zudem werden die Ergebnisse im Januar 2026 auf der IEEE AIxVR in Osaka, Japan vorgestellt.
Verantwortlich für die Inhalte dieses Beitrags sind Andrea Bönsch, Hedda Faber und Konstantin W. Kühlem.
Schreibe einen Kommentar