Audiovisuelle Sprache verbessert im Allgemeinen, aber insbesondere unter ungünstigen Hörbedingungen, die Sprachverständlichkeit, indem sie ergänzende visuelle Informationen liefert. Es bleibt jedoch unklar, ob sich diese Wahrnehmungsvorteile auch in einer verbesserten Arbeitsgedächtnisleistung niederschlagen oder ob die Integration von auditiver und visueller Sprache zusätzliche kognitive Kosten mit sich bringt. Bisherige Studien konnten die potenziellen Integrationskosten nicht ermitteln, da sie oft von den Verständlichkeitsvorteilen überlagert wurden. Die vorliegende Studie untersuchte den Einfluss der audiovisuellen Sprache auf das Arbeitsgedächtnis unter Kontrolle der Sprachverständlichkeit. Um wahrnehmungsbezogenen Effekte zu minimieren, wurden individuelle Signal-Rausch-Verhältnisse für beide Modalitäten bestimmt, um vordefinierte Verständlichkeitsniveaus von 80% und 95% für beide Darstellungsmodalitäten zu erreichen. Die Teilnehmer absolvierten eine Serial Recall Aufgabe, bei der Sequenzen aus neun gesprochenen Buchstaben entweder auditiv oder audiovisuell präsentiert wurden. Darüber hinaus wurde die subjektive Anstrengung anhand eines Fragebogens erfasst. Bei einem Verständlichkeitsgrad von 80% war die Genauigkeit des Serial Recall bei audiovisueller Sprache signifikant geringer als bei rein auditiver Sprache, während bei einem Verständlichkeitsgrad von 95% kein vergleichbarer Unterschied festgestellt wurde. Obwohl die Interaktion zwischen Verständlichkeit und Präsentationsmodalität statistisch nicht signifikant war, deutet das beobachtete Muster darauf hin, dass der Einfluss audiovisueller Sprache auf das Arbeitsgedächtnis möglicherweise von der Verständlichkeit abhängt. Im Gegensatz dazu wurde die subjektive Anstrengung in erster Linie von der Verständlichkeit und weniger von der Präsentationsmodalität beeinflusst. Diese Ergebnisse zeigen, dass audiovisuelle Sprache nicht zu einer verbesserten Leistung des Arbeitsgedächtnisses führt. Durch die Kontrolle der Verständlichkeit über alle Präsentationsmodalitäten hinweg liefert die vorliegende Studie Belege dafür, dass audiovisuelle Sprache zusätzliche kognitive Kosten verursachen kann, die bei Gedächtnisaufgaben unter schwierigen Hörbedingungen auftreten. Der Vortrag wird auf Deutsch gehalten.

EN: The Cost of Audiovisual Speech Integration in Short-Term Memory

Audiovisual speech generally improves speech intelligibility by providing complementary visual information, particularly under adverse listening conditions. However, it remains unclear whether these perceptual benefits also translate into improved working memory performance or whether the integration of auditory and visual speech cues imposes additional cognitive demands. Previous studies have been unable to distinguish the potential costs of integration because these costs were overshadowed by the benefits in terms of intelligibility. The present study investigated the influence of audiovisual speech presentation on working memory while controlling for speech intelligibility. To minimize perceptual confounds, individual signal-to-noise ratios were determined separately for auditory-only and audiovisual speech, yielding predefined intelligibility levels of 80% and 95% for both presentation modalities. Participants completed a serial recall task in which sequences of nine spoken letters were presented either auditorily or audiovisually. In addition, subjective effort was assessed using a questionnaire. Recall accuracy was significantly lower for audiovisual speech than for auditory-only speech at the 80% intelligibility level, whereas no comparable difference was observed at 95% intelligibility. Although the interaction between intelligibility and presentation modality was not statistically significant, the observed pattern suggests that the influence of audiovisual speech on working memory may depend on intelligibility. In contrast, subjective effort was primarily affected by intelligibility rather than presentation modality. These findings demonstrate that audiovisual speech does not result in improved working memory performance. By controlling for intelligibility across presentation modalities, the present study provides evidence that audiovisual speech may impose additional cognitive demands that become apparent during memory tasks under challenging listening conditions. The talk will be given in German

Melden Sie sich hier an um Einladungen zu den Kolloquium-Vorträgen per E-Mail zu erhalten.
Register here to receive the invitations to colloquium talks via e-mail.

Zoom-Meeting-ID: 643 7384 8607
Passwort: 2020000