Audiovisuelle Sprache verbessert im Allgemeinen, aber insbesondere unter ung\u00fcnstigen H\u00f6rbedingungen, die Sprachverst\u00e4ndlichkeit, indem sie erg\u00e4nzende visuelle Informationen liefert. Es bleibt jedoch unklar, ob sich diese Wahrnehmungsvorteile auch in einer verbesserten Arbeitsged\u00e4chtnisleistung niederschlagen oder ob die Integration von auditiver und visueller Sprache zus\u00e4tzliche kognitive Kosten mit sich bringt. Bisherige Studien konnten die potenziellen Integrationskosten nicht ermitteln, da sie oft von den Verst\u00e4ndlichkeitsvorteilen \u00fcberlagert wurden. Die vorliegende Studie untersuchte den Einfluss der audiovisuellen Sprache auf das Arbeitsged\u00e4chtnis unter Kontrolle der Sprachverst\u00e4ndlichkeit. Um wahrnehmungsbezogenen Effekte zu minimieren, wurden individuelle Signal-Rausch-Verh\u00e4ltnisse f\u00fcr beide Modalit\u00e4ten bestimmt, um vordefinierte Verst\u00e4ndlichkeitsniveaus von 80% und 95% f\u00fcr beide Darstellungsmodalit\u00e4ten zu erreichen. Die Teilnehmer absolvierten eine Serial Recall Aufgabe, bei der Sequenzen aus neun gesprochenen Buchstaben entweder auditiv oder audiovisuell pr\u00e4sentiert wurden. Dar\u00fcber hinaus wurde die subjektive Anstrengung anhand eines Fragebogens erfasst. Bei einem Verst\u00e4ndlichkeitsgrad von 80% war die Genauigkeit des Serial Recall bei audiovisueller Sprache signifikant geringer als bei rein auditiver Sprache, w\u00e4hrend bei einem Verst\u00e4ndlichkeitsgrad von 95% kein vergleichbarer Unterschied festgestellt wurde. Obwohl die Interaktion zwischen Verst\u00e4ndlichkeit und Pr\u00e4sentationsmodalit\u00e4t statistisch nicht signifikant war, deutet das beobachtete Muster darauf hin, dass der Einfluss audiovisueller Sprache auf das Arbeitsged\u00e4chtnis m\u00f6glicherweise von der Verst\u00e4ndlichkeit abh\u00e4ngt. Im Gegensatz dazu wurde die subjektive Anstrengung in erster Linie von der Verst\u00e4ndlichkeit und weniger von der Pr\u00e4sentationsmodalit\u00e4t beeinflusst. Diese Ergebnisse zeigen, dass audiovisuelle Sprache nicht zu einer verbesserten Leistung des Arbeitsged\u00e4chtnisses f\u00fchrt. Durch die Kontrolle der Verst\u00e4ndlichkeit \u00fcber alle Pr\u00e4sentationsmodalit\u00e4ten hinweg liefert die vorliegende Studie Belege daf\u00fcr, dass audiovisuelle Sprache zus\u00e4tzliche kognitive Kosten verursachen kann, die bei Ged\u00e4chtnisaufgaben unter schwierigen H\u00f6rbedingungen auftreten. Der Vortrag wird auf Deutsch gehalten.<\/p>\n
EN: <\/strong>The Cost of Audiovisual Speech Integration in Short-Term Memory<\/em><\/p>\n Audiovisual speech generally improves speech intelligibility by providing complementary visual information, particularly under adverse listening conditions. However, it remains unclear whether these perceptual benefits also translate into improved working memory performance or whether the integration of auditory and visual speech cues imposes additional cognitive demands. Previous studies have been unable to distinguish the potential costs of integration because these costs were overshadowed by the benefits in terms of intelligibility. The present study investigated the influence of audiovisual speech presentation on working memory while controlling for speech intelligibility. To minimize perceptual confounds, individual signal-to-noise ratios were determined separately for auditory-only and audiovisual speech, yielding predefined intelligibility levels of 80% and 95% for both presentation modalities. Participants completed a serial recall task in which sequences of nine spoken letters were presented either auditorily or audiovisually. In addition, subjective effort was assessed using a questionnaire. Recall accuracy was significantly lower for audiovisual speech than for auditory-only speech at the 80% intelligibility level, whereas no comparable difference was observed at 95% intelligibility. Although the interaction between intelligibility and presentation modality was not statistically significant, the observed pattern suggests that the influence of audiovisual speech on working memory may depend on intelligibility. In contrast, subjective effort was primarily affected by intelligibility rather than presentation modality. These findings demonstrate that audiovisual speech does not result in improved working memory performance. By controlling for intelligibility across presentation modalities, the present study provides evidence that audiovisual speech may impose additional cognitive demands that become apparent during memory tasks under challenging listening conditions. The talk will be given in German<\/em><\/p>\n Melden Sie sich hier an um Einladungen zu den Kolloquium-Vortr\u00e4gen per E-Mail zu erhalten.<\/a>
\nRegister here to receive the invitations to colloquium talks via e-mail.<\/a><\/p>\n