Elektrotechnik und Informationstechnik

Professorin Janina Fels © Gottfried Behler, Janina Fels und Alexander Raake

Eine Konferenz wie ein Booster-Shot für die Dynamik der interdisziplinären Grundlagenforschung mit dem Ziel eine Brücke zwischen auditiver Wahrnehmung und Kognition einerseits und virtueller Realität andererseits zu schlagen.

Mit den jüngsten Entwicklungen bei Hardware- und Softwaretechnologien hat die audiovisuelle virtuelle Realität (VR) ein hohes Maß an Wahrnehmungsplausibilität erreicht, was die Beschränkungen einfacher Laborsituationen zu überwindet ermöglicht. Das schafft gute Voraussetzungen, um die Fähigkeit zur Interaktion mit einer komplexen audiovisuellen Szene – als Abbildung einer authentischen Lebenserfahrung zum Beispiel in einem Klassenzimmer, einem Großraumbüro oder aber als komplexe Kommunikationssituationen im Freien – in Abhängigkeit von akustischen, visuellen und weiteren kontextbezogenen Faktoren kontrolliert zu erforschen. Die Anwendbarkeit der resultierenden wissenschaftlichen Ergebnisse in der unmittelbare Lebenswelt, ebenso wie ihre Rückkopplung zur Qualitätssteigerung in der interaktiven audiovisuellen virtuellen Umgebungen und Qualitätsbewertungsmethoden der Schnittstelle beider Fachbereiche sind Themen der Konferenz und Forschungsgegenstand.

Anlässlich dieser multidisziplinären Herausforderungen lud Universitätsprofessorin Janina Fels vom Lehrstuhl für Hörtechnik und Akustik der RWTH Aachen Forscher aus den Bereichen Akustik, Kognitionspsychologie und Informatik zur ersten AUDICTIVE-Konferenz vom 19. bis zum 22. Juni 2023 ein. Das Ziel war dabei eine interdisziplinäre Zusammenarbeit in der Grundlagenforschung zu sichern und Synergieeffekte möglich zu machen, die von einer einzelnen Disziplin nicht erreicht werden können.
Gegenwärtig werden Forschungsanstrengungen meist getrennt innerhalb der einzelner wissenschaftlicher Forschungsgemeinschaften durchgeführt. Dies hindert die kognitive Psychologie und die Akustik daran, das enorme Potenzial der VR voll auszuschöpfen, um ihre bestehenden Theorien in den realistischeren, reichhaltigeren und interaktiven virtuellen Umgebungen zu testen und zu erweitern, die mit dem gegenwärtigen Stand der Technik in der VR-Technologie geschaffen werden können. Gleichzeitig kann die VR-Forschung vom Wissen über auditive Wahrnehmung und Kognition profitieren, um die wichtigen Qualitätskriterien zu verstehen, die erfüllt werden müssen, um die Wahrnehmung und kognitive Leistung der Nutzer sowie das subjektive Erleben und die (soziale) Präsenz in einer virtuellen Umgebung zu optimieren. Aufgrund des Mehrwerts der Zusammenarbeit und der Forschungsmethoden der drei Disziplinen ist zu erwarten, dass die Forschung in den Bereichen Hören, auditive Kognition und VR auf ein deutlich höheres Niveau gehoben werden kann.

© Gottfried Behler, Janina Fels und Alexander Raake

In den Vorträgen der Konferenz wurden faszinierende Einblicke in in die Zukunft der Mensch-Computer-Interaktion, auditive Wahrnehmung und Virtual Reality geboten:

Professorin Barbara Shinn-Cunningham vom Carnegie Mellon Institute führte in Ihrer Präsentation aus, wie unser Gehirn die auditive Welt um uns herum wahrnimmt und bewertet. Dabei nutzt es die Interaktion zwischen willentlicher Top-Down-Aufmerksamkeit und unwillkürlicher Bottom-Up-Aufmerksamkeit, um sich auf einen Sprecher zu konzentrieren und gleichzeitig neue Schallquellen in unserer Umgebung zu verarbeiten. In diesem Vortrag untersuchte Professorin Shinn-Cunningham, wie periphere und zentrale Faktoren zusammen den kommunikativen Erfolg bestimmen, der in alltäglichen Umgebungen von erwarteten und unerwarteten Geräuschen beeinflusst wird. Den Schwerpunkt legte Sie auf die kortikalen Netzwerke, die den Wettbewerb um die Aufmerksamkeit vermitteln.

Professor Frank Steinicke von der Universität Hamburg präsentierte in seinem Vortrag die aufregende Entwicklung der Verschmelzung von erweiterter Realität (XR) und künstlicher Intelligenz (KI). Er betonte, wie diese Technologien nahtlose Übergänge zwischen realen und virtuellen Welten ermöglichen und das Potential haben, immersive Erfahrungen zu schaffen.
Dennoch ist die heutige immersive Technologie noch Jahrzehnte von der ultimativen Darstellung entfernt. Die Unzulänglichkeiten des menschlichen Wahrnehmungssystems, der Kognition und der Motorik können jedoch ausgenutzt werden, um die Realität so zu verbiegen, dass überzeugende immersive Erfahrungen möglich werden. In seinem Vortrag wurden einige XR-Illusionen vorstellen, die uns der ultimativen Verschmelzung von Intelligenz und Realität näher bringen.

Professorin Alexandra Bendixen von der TU Chemnitz sprach über ihre Forschung im Bereich der auditiven Wahrnehmung und Sensorik. Sie erläuterte, wie Sie Szenen mit mehreren Interpretationen erstellt und die Wahrnehmung von Hörern überwacht, um Faktoren zu untersuchen, die die auditive Wahrnehmung in mehrdeutigen Szenen stabilisieren. Die jüngsten Kombinationen von auditiver Multistabilität mit Eyetracking haben neue Einblicke in das Zusammenspiel von auditiver und visueller Multistabilität gegeben, mit Auswirkungen auf unser allgemeines Verständnis der Szenenanalyse über alle Sinne hinweg. Wenn die psychophysiologische Messlogik umgedreht wird, können Gehirnreaktionen im Zusammenhang mit sensorischen Vorhersagen verwendet werden, um bestimmte Aspekte der virtuellen Realität (VR) zu bewerten, z. B. die Angemessenheit von VR-Latenzen.

Weitere Informationen zur AUDICTIVE-Konferenz sind auf der offiziellen Website verfügbar.

Raytracing-Simulation im akustischen 3D-Modell von Cluny III (Bild: Lukas Aspöck, CC-BY 4.0)

Wie war das damals im Mittelalter? Geschichte erleben und einen Zeitgeist nachfühlen –  Musikwissenschaftler Professor Stefan Morent von der Universität Tübingen rekonstruiert mit seinem Projektteam und in Kooperation mit dem Institut für Hörtechnik und Akustik der RWTH Aachen die Klangwelt dieser Epoche. Im Zentrum des musikhistorischen Experiments steht die Klosterkirche von Cluny III zwischen 1130 und 1790.

3D-Modell von Cluny III. Schwarze und dunkelgraue Teile zeigen die noch vorhandenen Reste der Kirche (Bild: Lukas Aspöck, CC-BY 4.0)

Die Benediktinerabtei von Cluny zählte, bis zu der Zerstörung wesentlicher Teile des imposanten Bauwerks, zu den einflussreichsten religiösen Zentren Europas. In Ihren Räumlichkeiten praktizierten Geistliche ihren Glauben: „Nur über Musik und wenn die Liturgie makellos ausgeführt würde, könne eine Verbindung zu Gott aufgebaut werden“, erklärt Professor Morent die Überzeugung der Mönche. Doch wie klang ihr Gesang in den weitläufigen und prachtvollen Sälen?

Ensemble Ordo Virtutum während der Aufnahmesession im schalltoten Halbraum des Instituts (Foto: Lukas Aspöck, CC-BY 4.0)

Cluny III ist eine virtuelle Version des historischen Originals, die eine raumakustische Computersimulation ermöglicht. Dafür wurden mittelalterliche Chorgesänge des Ensembles Ordo Virtutum im Labor des IHTA – einem schalltoten Raum ohne Nachhall –  aufgenommen. In Echtzeit erlebten die Singenden dabei die Reflexionen des virtuell konstruierten Kirchenraumes über Kopfhörer. Diese Auralisation ermöglicht eine Einbettung der musikalischen Kompositionen in den baulich-historischen Kontext ihrer Entstehung. Doch welche Rolle spielt die Wechselwirkung von Architektur und Klang für zukünftige Raumkonzepte? Um diese Frage zu beantworten, werden die Aufnahmen in weiteren Projektschritten musikwissenschaftlich analysiert, um den Einfluss der Architektur auf die musikalische Darbietung zu untersuchen.