Технологии

Инженеры разработали интерфейс для считывания беззвучной речи

9 апреля 2018 0

Арнав Капур, исследователь группы Fluid Interfaces в MIT Media Lab, демонстрирует проект AlterEgo.

Арнав Капур, исследователь группы Fluid Interfaces в MIT Media Lab, демонстрирует проект AlterEgo/ MIT  

Ученые из MIT создали нейромышечный интерфейс, который считывает команды, поданные беззвучной речью. Система была представлена на конференции ACM Intelligent User Interface, прошедшей с 7 по 11 марта, детали конструкции и исследований доступны в документе по ссылке.

Нейромышечный интерфейс

Разработки интерфейсов, которые могут связать мозг и компьютер, начались ещё в 70-х годах прошлого века. Принцип работы нейроинтерфейсов заключается в том, что электрические сигналы, которые генерирует наша нервная система и мышцы, преобразуются в понятные компьютеру сигналы. С помощью этих импульсов можно управлять различными системами: экзоскелетами, роботами, протезами.

Хотя технология разрабатывается уже 50 с лишним лет, нейроинтерфейсы все еще не совершенны. У так называемых инвазивных систем основная проблема возникает с тем, что в месте контакта мозга и провода отмирают нейроны, участок становится нечувствительным. Также есть трудности с энергообеспечением интерфейса и нахождением правильного места для крепления электрода.

Самая большая проблема таких систем — точность считывания и воспроизведения сигналов мозга. Для инвазивных интерфейсов этот вопрос решается точной работой нейрохирурга, неинвазивные прототипы для точности должны обладать хорошим, отлаженным алгоритмом работы. В этом разработчикам помогают нейронные сети и машинное обучение.

AlterEgo

Нейромышечный интерфейс инженеров из MIT называется AlterEgo и состоит из трех частей. Первая часть — наушники с костной проводимостью (передача звука во внутреннее ухо через кости черепа). Вторая часть — соединяющие электроды, третья — алгоритм искусственного интеллекта.

Система AlterEgo относится к нейромышечным интерфейсам — в таких алгоритм считывает не только мозговую активность, но и изменения состояний мышц. Даже когда мы говорим «про себя», мышцы, отвечающие за речь, проявляют электрическую активность, которую можно считать. На этом принципе базируется работа AlterEgo.

Интерфейс фокусируется на семи участках лица: внешней и внутренней частях гортани, подъязычной кости, ротовой и подбородочной областях, а также внешней и внутренней подглазничных зонах. Все эти зоны покрывают четыре электрода, закрепленные на правой стороне лица.

Таким образом, чтобы обучить компьютерный алгоритм, разработчики попросили трех добровольцев с надетыми электродами про себя проговорить несколько команд: численных, для умного дома и прочих.

Затем зарегистрированные сигналы мозга и мышц, которые вызвала внутренняя речь, представили сверточной нейросети вместе с реальными значениями команд. В процессе машинного обучения алгоритм сопоставил нейромышечные сигналы и конкретные слова.

Обученную нейросеть вместе с интерфейсом протестировали на 10 добровольцах. Как показала проверка — после 15-минутной калибровки алгоритм определял сказанные про себя команды с точностью 92 %.

Подобные «беззвучные» нейромышечные интерфейсы могут стать настоящей опорой для людей, больных параличом, мышечной дистрофией и прочими нарушениями опорно-двигательного аппарата вкупе с нарушениями речи. С подобным AlterEgo парализованный человек сможет управлять компьютером только с помощью внутренней речи.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Рассказать друзьям

0 Комментариев

Подписаться на рассылку

Комментарии

Войти с помощью 

Присоединяйтесь к нам в социальных сетях

В наших группах вы можете узнать много нового и интересного, а так же - принять участие в опросах и конкурсах

Присоединиться
Присоединиться