Ученые Университета МИСИС представили алгоритм подбора словаря для нейроинтерфейса с открытым исходным кодом
Антонина Егорова.
Результаты научной работы Александры Бернадотт, математика и врача, доцента кафедры инженерной кибернетики одного из ведущих вузов страны в области создания, внедрения и применения новых технологий и материалов, опубликовал международный научный журнал Mathematics.
Разработанные ею алгоритмы значительно повышают точность распознавания ментальных команд за счет оптимизации подбора словаря. В роботизированных устройствах их можно использовать для передачи информации в условиях повышенного уровня шума. К примеру, подобные алгоритмы могут оказаться востребованными в системах, подобных голосовым помощникам «Салюту» от Сбербанка, «Алисе» от «Яндекса» и пр.
Устройства, передающие аудио или видео для дистанционного управления объектом, находящимся в зоне прямой видимости, обычно применяют ограниченный набор команд. В этом случае очень важно, чтобы классификатор команд на основе нейронной сети точно понимал и не путал эти команды, которые входят в словарь устройства, между собой. Соответственно, качество распознавания не должно опускаться ниже определенного уровня даже при наличии посторонних шумов.
Возможность подбора команд и точность распознавания сигналов очень важны и для интерфейса мозг-компьютер (нейроинтерфейса). Его применяют люди с ограниченными возможностями движения с целью дистанционного управления курсором или роботизированной рукой. Данное устройство воспринимает и распознает паттерны электрической активности мозга, в то время как человек думает о той или иной команде.
При этом такие паттерны похожи для слов со схожим значением или звучанием. Поэтому классифицировать ментальные и другие команды из конкретного словаря для проектирования устройств ввода с использованием звукового или электромагнитного сигнала бывает достаточно сложно. Хотя в принципе для управления большинством роботизированных устройств хватает 16–20 команд. Поэтому качество их распознавания оказывается намного важнее общего количества объектов в словаре.
Разработанные ученым МИСИС алгоритмы Maximin и Maximal дают возможность подобрать набор объектов словаря для максимизации точности классификации, одновременно сокращая время создания словаря команд на пять порядков по сравнению с процессом их полного перебора.
По словам Александры Бернадотт, цель большинства существующих сегодня алгоритмов — повышение точности классификации уже созданного словаря. При этом в МИСИС подошли к решению вопроса с позиции оптимизации самого процесса подбора команд словаря. Так, алгоритм Maximin эффективен, если словарь достаточно объемный и нужно, чтобы слова распознавались одинаково хорошо. А алгоритм Maximal используется, когда важно повысить точность распознавания и при этом для подбора словаря имеется значительно больше ресурсов.
«Алгоритмы основаны на представлении набора k команд в виде взвешенного k-дольного графа. Каждая доля графа соответствует семантическому классу эквивалентности. Ребра графа имеют веса, соответствующие значению статистического признака Колмогорова-Смирнова, полученного на распределениях n-мерных сигналов ментальных команд, относящихся к разным классам эквивалентности – к разным долям. Нахождение на данном графе клики с максимальным или максиминным суммарным весом даёт искомый словарь команд, которые классифицируются с точностью не ниже заданной», — поясняет Александра Бернадотт.
Использовать эти алгоритмы можно не только с целью разработки нейроинтерфейса, но и в сфере передачи информации в целом. Исходный код алгоритмов Maximin и Maximal размещен на платформе для разработчиков программного обеспечения GitHub. Поэтому с ним можно свободно знакомиться и применять. Следующим этапом научных исследований указанных алгоритмов станет их применение на существующих данных и теоретическое обоснование более общей задачи.
Эксперты оценили важность разработки ученых МИСИС. По словам, Антона Меркулова, директора по развитию направления продвинутой аналитики Axenix, ее сложно переоценить, так как в дополнение к текущим трендам улучшения точности распознавания по заданному словарю добавляется оптимизация работы с самим словарем, что кратно увеличивает эффективность решения в целом. Это может быть полезно не только в перечисленных примерах, но и в обогащении решений класса Voice of Customer, а также может играть значимую роль в развитии решений связанных с работой нейрокомпьютерных интерфейсов.
«Работа является очень актуальной, так как ориентирована на размытие барьера между компьютером и человеком. Главная ценность состоит в ее открытом исходном коде, который позволит другим авторам создавать свои системы на ее основе. Открытие исходного кода говорит об авторах, как о настоящих ученых. Результаты данной работы можно применять в любых роботах и системах, которые должны взаимодействовать с человеком. Примерами могут являться роботы-помощники, выполняющие команды человека, или системы голосового взаимодействия с компьютером для людей с инвалидностью», — добавляет Андрей Синегуб, инженер-исследователь Научно-образовательного центра «Робототехника» Института машиностроения, материалов и транспорта СПбПУ.
По словам Сергея Просина, директора по инновациям компании ITentika, проблема выбора словаря команд актуальна при построении любой системы команд взаимодействия передатчика и приемника, особенно при наличии помех. Она актуальна и при взаимодействии людей (например, военные вместо «да» и «нет» говорят «так точно» и «никак нет», чтобы лучше различать ответы), и при взаимодействии человека и машины (как нейроинтерфейсу распознать команду и ее выполнить), и при взаимодействии машин в шумной среде.
Найти точное решение поставленной задачи вычислительно сложно, ведь нужно перебрать все возможные комбинации синонимов и выбрать ту, что работает лучше остальных. Осложняет проблему факт, что сама проверка работоспособности, например, в случае машинного обучения, требует обучения и оценки работы классификатора, поэтому на практике задачу выбора словаря либо вообще не решают (просто пробуют несколько вариантов и выбирают лучший), либо выделяют огромные вычислительные мощности и время для ее решения, что уже не сработает для словаря из 16 команд.
«Александра предложила вычислительно простой вариант решения данной задачи, который позволяет найти достаточно хороший (хотя и необязательно лучший) словарь. Примечательно то, что предложенный подход не требует обучения и оценки качества классификатора для сравнения решений между собой, что уже уменьшает вычислительную сложность в миллионы раз. Кроме того, предложенный вариант не требует полного перебора вариантов словарей и в результате оказывается применим к словарям большего размера, чем так называемый подход «грубой силы». В результате данная разработка позволит улучшить работу практически любого умного устройства или нейроинтерфейса, распознающего набор команд, путем оптимизации словаря», — считает Сергей Просин.
Как отмечает Владимир Суворов, ведущий специалист по машинному обучению, большим данным, ИИ, построению сложных систем, ООО Аурига, разработка ученых МИСИС — это ценное достижение. На данный момент разработчики и пользователи сталкиваются с тем, что нейроинтерфейсы пока еще неточно понимают команды. Решения тут три — улучшать сами интерфейсы (предусматривать больше более точных датчиков, но это и дорого и не удобно), тренировать людей-операторов правильно и чётко подавать команды, либо улучшать обработку с помощью программных средств и обучения интерфейсов. Задача — добиться хорошего качества близкого к 99+%. В целом это, примерно, как с машинным переводом или распознаванием речи — вначале эти сервисы почти невозможно было использовать, а теперь получается вполне сносно.
«Я предполагаю, что через какое-то время нейроинтерфейсы предположительно могут дать большее качество управления (возможность делать больше действий одновременно). Их можно будет реально использовать для управления дроном в режиме FPV, работе с VR, в новых контроллерах для игр или в более частных случаях, например, при охране объектов (регистрация редких событий)», — заключает эксперт.
Антонина Егорова.