Neuronale Dekodierungsmodelle können verwendet werden, um neuronale Repräsentationen visueller, akustischer oder semantischer Informationen zu entschlüsseln. Jüngste Studien haben gezeigt, dass neuronale Dekodierer in der Lage sind, akustische Informationen aus einer Vielzahl von neuronalen Signaltypen zu entdecken, etwa mittels Elektrokortiographie oder Elektroenzephalogramm. Daly (2023) hat nun untersucht, wie die funktionelle Magnetresonanztomographie mit dem Elektroenzephalogramm kombiniert werden kann, um einen akustischen Decoder zu entwickeln. Konkret verwendete man zunächst ein gemeinsames Paradigma der beiden Methoden, um die Gehirnaktivität aufzuzeichnen, während die Teilnehmer Musik hörten. Anschließend verwendeten man eine fMRT-gestützte EEG-Quellenlokalisierung und ein bidirektionales Langzeit-Kurzzeit-Lernnetzwerk, um zunächst neuronale Informationen aus dem EEG zu extrahieren, die mit dem Musikhören zusammenhängen, und dann die einzelnen Musikstücke, die eine Person hörte, zu dekodieren und zu rekonstruieren. Tatsächlich war das Modell in der Lage, Tempo, Rhythmus und Amplitude der Musik in Teilen nachzuvollziehen, wobei die Ähnlichkeit zu den Originalmusikstücken hoch genug war, dass der Algorithmus mit einer Trefferquote von 71,8 Prozent vorhersagen konnte, welches der 36 Musikstücke der Proband gehört hatte, während man bei ausschließlicher Verwendung von EEG-Daten nur mit einer mittleren Ranggenauigkeit von 59,2% identifizieren konnte. Dies zeigt, dass man das Dekodierungsmodell die fMRI-gestützte Quellenanalyse nutzen kann, um die EEG-basierte Dekodierung und Rekonstruktion akustischer Informationen aus der Hirnaktivität zu unterstützen.
Literatur
Daly, Ian (2023). Neural decoding of music from the EEG. Scientific Reports, 13, doi:10.1038/s41598-022-27361-x.