Данный научный источник описывает разработку метода «мысленного субтитрирования» (mind captioning), предназначенного для создания описательного текста на основе активности человеческого мозга, регистрируемой с помощью функциональной магнитно-резонансной томографии (фМРТ). Метод использует линейное декодирование мозговой активности в семантические признаки, вычисленные глубокой языковой моделью, и последующую итеративную оптимизацию текста с помощью маскированной языковой модели (MLM) для генерации связных описаний. Исследование показывает, что этот подход может точно отражать как воспринимаемое, так и вспоминаемое визуальное содержание, генерируя структурированные описания, которые улавливают отношения между объектами, даже без опоры на каноническую языковую сеть. Авторы позиционируют этот метод как потенциальный невербальный путь коммуникации, который может помочь людям с трудностями в речевом выражении, таким как афазия.

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related