Только на этот проект было выделено более 300 млн $, не говоря про частные инвестиции.
Об этой технологии Алексей Филатов писал (https://t.me/ProProfiling/12) еще в сентябре 2016 года. Уже тогда та же группа ученых добилась результата в 53%, в 2017 году (https://t.me/ProProfiling/284) – дошли уже до 70%. И вот, в 2020 – до 97%.
Суть метода
Суть метода заключается в создании карты нейропроцессов речевых центров мозга при речевой активности и обучении нейросети декодировать активность мозга в слова. Попытки найти участки мозга, отвечающие за обработку семантического содержимого речи, уже проводились и раньше. Но раньше во всех них экспериментаторы ограничивались поиском зон, связанных с отдельными словами и фразами.
Общая задача таких исследований — сделать эффективный интерфейс «мозг – компьютер», а затем написать программу способную расшифровывать электрическую активность мозга, вербализуя её в отдельные слова и фразы.
На этот раз источником данных послужил массив из 120 – 250 электродов для электрокортикографии (ECoG). Это не безобидная ЭЭГ, а инвазивный метод, при котором проводники хирургически накладываются непосредственно на кору головного мозга.
В эксперименте они наиболее плотно размещались в районе третьей лобной извилины. Там находится центр Брока, отвечающий (в том числе) за фонологическую кодификацию речи.
Как проводилась оценка
Проще говоря, по ECoG оценивали активность мозга во время устного чтения. Испытуемые зачитывали вслух повторяющиеся тексты, содержащие до 50 предложений и не более 250 уникальных слов. Так проходило обучение ИИ.
Затем набор текстов меняли, а ИИ пытался распознать новые слова и фразы. После серии от 7 до 20 повторений ему удавалось это сделать с вероятностью 97%. Код, используемый для обучения и тестирования кодировщиков-декодеров, доступен на GitHub (https://github.com/jgmakin/machine_learning).
Штаты, конечно, безусловные лидеры в этой сфере. А сейчас эта технология уже не кажется сверхъестественной. В частности, полтора года назад на семинаре по современным нейротехнологиям показывали всю необходимую аппаратуру. Как оказалось, штука очень впечатляющая и перспективная.
Что нас ждёт в будущем
Пока это, конечно, не рутинные методы. 5 лет назад об этом только думали, а сегодня уже сделали. Поэтому можно предположить, что через 10 лет это будет пусть не обыденно, но весьма распространено: все материалы исследования публикуются в открытых источниках – пользуйся не хочу.
Вопрос только аппаратуры и опыта. Сама по себе значимость этой технологии огромна. Ее суть – речевое протезирование, позволить людям, которые по той или иной причине не могут говорить коммуникационную модальность. Однако, как и любую другую технологию, ее потенциально также можно использовать для негативных целей.
