McGurk hatása: miért hatnak a szemeid a hallott dolgokra?

Amikor látsz egy rosszul duplikált külföldi filmről, nagyon könnyű látni, hogy a színészek szájából kiugró hangok nem egyeznek az ajkuk mozgásával.

Más szavakkal, még akkor is, ha látásunk és hallásunk egyidejűleg stimulálódik a film során, az agyunknak nagyon jó munkát kell végeznie, figyelve az ajkak és a hangok mozgásának megfelelésére.

Mi a McGurk-hatás?

De az agy is félrevezethető. Egy McGurk-effektusként ismert, izgalmas illúzióban az ember ajkainak mozgását megfigyelheti, hogy az agy rossz hangot hall.

A McGurk hatása akkor következik be, amikor a vizuális beszéd, vagyis a száj és az ajkak mozgása és a halló beszéd között konfliktus van, amit a hallott hangok jeleznek. És ez egy teljesen más üzenet észleléséhez vezethet.

Kutatás számítógépes modell használatával

Egy új tanulmányban a Houston Baylor Orvostudományi Egyetem neurológusai próbálták kvantitatív magyarázatot adni a McGurk-hatás okairól. Olyan számítógépes modellt fejlesztettek ki, amely képes volt pontosan megjósolni, hogy a McGurk-hatás mikor vagy nem fordulhat elő emberekben, a PLOS Computational Biology folyóiratban február 16-án közzétett eredmények szerint.

A tanulmányban használt McGurk-hatás bemutatásakor a résztvevőt arra kérték, hogy hagyja el a szemét zárt állapotban, miközben egy olyan videót hallgat, amely azt mutatja, hogy egy személy "ba-ba-ba" hangokat gyárt. Ezt a résztvevőt felkérték, hogy nyissa ki a szemét, és gondosan nézze meg a személy száját a videóban, de hang nélkül. A résztvevők számára a vizuális effektek úgy néztek ki, mintha egy személy "ha-ha-ha" -ot mondana. A kísérlet utolsó szakaszában ugyanazt a videót játszották le, de ezúttal a hang bekapcsolt volt, és a résztvevőt felajánlotta, hogy nézze meg. A McGurk hatására érzékenyen jelentették, hogy harmadszor hallották a "yes-da-da" hangját, amely nem egyezik sem a korábban látott hallási vagy vizuális jelekkel.

Ez azért van, mert az agy megpróbálja eldönteni, melyik véleménye szerint a hang közelebb van ahhoz, amit vizuálisan lát. Amikor a résztvevõ újra behunyta a szemét, és a tudósok reprodukálják a videó hangját, ismét hallotta az "ba-ba-ba" eredeti hangját.

A hatást először egy pszichológus Harry McGurcom és John McDonald 1976-ban végzett kísérletben írta le. Megmutatta, hogy a száj mozgása által nyújtott vizuális információ befolyásolhatja és újraértelmezheti azt, amit egy személy úgy gondolja, hogy hallja.

Illusions előrejelzése

"A McGurk-hatás erőteljes, többérzékeny illúzió" - mondta John Magnotti társszerző, a Baylor-i Neurokirurgia Tanszék doktori hallgatója. "Az agy érzékeli a hallási és vizuális beszédet, és egyesíti őket, hogy valami újat formáljanak."

Amikor az emberek szemtől-szemben kommunikálnak, az agy összetett tevékenységeket folytat, mivel megpróbálja eldönteni, hogyan lehet kombinálni az ajkak mozgását a beszéd hangjaival, amit hallottak - mondta Magnotti.

A tanulmányban a tudósok megpróbálták megérteni, hogy az agy miért képes jobban összezúzni néhány szótagot a helyesen hallható hang értelmezésére, míg mások nem.

Ok-hatás következtetés

Ennek megértése érdekében modelljük egy ok-okozati következtetésként ismert elképzelésre támaszkodott, vagy olyan folyamat, amelyben az emberi agy eldönti, hogy a beszéd hang-és vizuális hangjai ugyanazon forrásból származnak-e. Más kutatók olyan modelleket fejlesztettek ki, amelyek segítenek megjósolni a McGurk-hatás bekövetkeztét, de ez az új tanulmány az oksági összefüggést tartalmazza elsőként a számításában, mondta Magnotti. Az ok-okozati érvelés tényezősége javíthatja az új modell korábbiakkal szembeni pontosságát, ami szintén illúzióinak megjósolását célozta.

Előrejelzési modelljük pontosságának tesztelésére a kutatók 60 résztvevőt gyűjtöttek össze, és megkérték őket, hogy meghallgassanak egy hallgatói és vizuális beszédet egy hangszóróból. Aztán a résztvevőket arra kérték, hogy döntsék el, milyen hangot hallottak: "ba", "igen" vagy "ha".

Eredményeik azt mutatták, hogy a kifejlesztett modell megbízhatóan megjósolja, hogy a kísérlet résztvevőinek többsége meg fogja-e tapasztalni a McGurk-hatást. De ahogy a számításuk során várták, azonosítják az embereket, akik erre nem hajlamosak - mondta Magnotti.

Érdekes megjegyezni, hogy amikor ugyanazt a tesztet folytatták diákokkal Kínában, és nem az Egyesült Államokban, bebizonyosodott, hogy a McGurk-hatás más nyelveken is működik.

A használt számítógépes modellek gyakorlati alkalmazása

Magnotti elmondta, hogy véleménye szerint a tanulmányhoz kifejlesztett számítógépes modellek gyakorlati alkalmazása is lehet. Például ez a modell hasznos lehet olyan cégek számára, amelyek olyan beszédeket generáló számítógépeket hoznak létre, mint a Google Home vagy az Amazon Echo.

Ha ezek a technológiák kamerákkal rendelkeznek, integrálhatják az emberek ajkainak mozgását azokba, amelyeket mondanak, hogy javítsák beszédfelismerő rendszereik pontosságát.

A modell segíthet a cochleáris implantátumokkal rendelkező gyermekeknek, javítva a kutatók megértését a vizuális beszéd működésének mechanizmusáról, amint azt a személy hallja - mondta Magnotti.