AI-модель Brain2Qwerty для воссоздания набираемого на клавиатуре текста по записи активности мозга

Компания Meta* представила AI-модель Brain2Qwerty v2, позволяющую на основе анализа электрической активности мозга, записанной при помощи магнитоэнцефалографии (МЭГ), воссоздать текст, набираемый пользователем на клавиатуре. Для загрузки доступен инструментарий для обучения и выполнения модели, фреймворк для обработки данных магнитоэнцефалографии и библиотека для обучения моделей на данных об электрической активности мозга. Для загрузки также доступен набор данных, используемых при обучении модели в первом эксперименте (данные для второго эксперимента будут опубликованы позднее, после принятия статьи в научный журнал). Код библиотек открыт под лицензией MIT, а данные распространяются под лицензией CC BY-NC 4.0.

Точность при анализе сырых (зашумлённых) результатов магнитоэнцефалографии при использовании второй версии модели Brain2Qwerty составила в среднем 61% при воссоздании набора на клавиатуре отдельных слов. При этом наилучший результат, полученный одним из участников эксперимента составил 78%. У первой версии модели Brain2Qwerty, которая была обучена на меньшем в 10 раз объёме данных, эффективность составила 40% в среднем и 48% при наилучшем результате. Для сравнения, эффективность других неинвазивных методов восстановления текста на основе анализа активности мозга оценивается в 8%.

Вторая версия модели Brain2Qwerty была обучена на данных активности мозга, записанных при вводе 22 тысяч предложений, набранных 9 участниками эксперимента. Активность мозга каждого участника записывалась в течение 10 сеансов по 1 часу во время активного набора текста на клавиатуре. Запись активности осуществлялась с использованием системы магнитоэнцефалографии Megin (Elekta Neuromag), собирающей данные при помощи 102 магнитометров и 204 градиометров с частотой 1000 сканирований в секунду.

Участникам в наушниках называлось отдельное предложение, после чего на экране на 1.5 секунды загорался индикатор, после потухания которого необходимо было методом слепой печати набрать услышанную фразу на клавиатуре. Для фиксации взгляда во время набора следовало смотреть на вращающийся чёрный квадрат в центре экрана.

Повышение эффективности по сравнению с первой версией Brain2Qwerty достигается благодаря десятикратному увеличению объёма задействованных при обучении данных и переходу от работы на уровне отдельных символов к многокомпонентной системе, воссоздающей целые слова и предложения.
Для воссоздания текста из записи активности мозга задействована система из трёх компонентов: Conformer для выделения и классификации отдельных букв из сигналов магнитоэнцефалографии, Aligner для объединения букв в слова и LoRA LLM для реконструкции предложения из зашумлённого сигнала c учётом возможного смысла полученного семантического контекста.

Источник: opennet.ru