Впервые в истории парализованный человек заговорил через цифровой аватар
В США парализованная женщина заговорила через свое цифровое изображение с помощью технологии, которая переводит сигналы ее мозга в речь и мимику.
Технология «мозг-компьютер-интерфейс» (BCI) может существенно повысить качество общения для людей, потерявших способность говорить в результате инсульта, бокового амиотрофического склероза и других заболеваний. Устройство использует крошечные электроды на поверхности мозга и работает быстрее, чем синтезаторы, основанные на отслеживании движения глаз. Сигналы напрямую транслируются в речь и мимику цифрового аватара, показывающего разные эмоции: улыбку, хмурый взгляд или удивление.
47-летняя пациентка Энн была серьезно парализована после перенесенного более 18 лет назад инсульта ствола мозга. Она не могла говорить или печатать, и общалась с помощью технологии отслеживания движений со скоростью до 14 слов в минуту. Ученые из Калифорнийского университета Сан-Франциско имплантировали на поверхность мозга Энн тонкий прямоугольник из 253 электродов в области, критически важной для речи. Электроды перехватывали сигналы мозга, которые должны управлять мышцами языка, челюсти, гортани и лица. После имплантации Энн вместе с командой обучила алгоритм искусственного интеллекта системы определять уникальные сигналы мозга для различных звуков речи путем многократного повторения различных фраз.
Компьютер выучил 39 характерных звуков, а для перевода сигналов в понятные предложения применялась языковая модель в стиле Chat GPT. Нейросеть управляла аватаром, голос которого был очень похож на голос Энн до травмы, так как его воссоздали на основе записи ее выступления.
Технология пока не совершенна: языковая модель неправильно расшифровывала слова в 28% случаев, а скорость преобразования текста из мозга в текст составляла 78 слов в минуту. Это хороший показатель, но в естественном общении обычно произносится 110-150 слов в минуту. Следующим важным шагом должно стать создание беспроводной версии BCI, которую можно будет имплантировать под череп, пишет The Guardian.