home
user-header

                        
                        
Программист из Новосибирска научил компьютер переводить жестовую азбуку
9 сентября 2019 г., 20:21 127

Алексей Приходько из Новосибирского государственного технического университета создал систему, которая автоматически переводит жестовую азбуку на письменный русский язык. Разработанный им алгоритм обходится без датчиков и маркеров на руке и работает исключительно при помощи компьютерного зрения. В дальнейшем разработчик собирается расширить возможности своей системы и включить в нее перевод жестов, обозначающих отдельные слова и целые предложения, сообщается в пресс-релизе университета.

НГТУ НЭТИ


 

Несмотря на то, что слабослышащих людей, которые используют жестовые языки, достаточно много (для русского жестового число носителей составляет около 121 тысячи человек), их общение со слышащими людьми очень осложнено. Разработчики и исследователи пытаются упростить коммуникацию, создавая специальные приложения или же технологии, которые могли бы переводить жестовую речь в письменную. 

 

Система, разработанная Алексеем Приходько, достаточно проста: она распознает жесты говорящего с помощью компьютерного зрения, не используя при этом специальных перчаток с датчиками или другими маркерами. Камера распознает руку в кадре и отслеживает изображенный жест, после чего переносит его на виртуальную модель руки и выводит соответствующий символ. Например, если система видит сжатую в кулак руку, то выводит букву «а», а если подогнутый большим пальцем указательный (так, чтобы получилась окружность) — букву «о». Помимо основной своей функции — перевода — система также позволяет управлять компьютером с помощью жестов: двигать мышью или настраивать громкость.

 

Прототип разработанной системы распознавания русского жестового языка пока что работает только для дактильной азбуки, то есть может распознавать жесты, используемые для отображения отдельных букв. В будущем Приходько собирается расширить возможности распознавания своей системы и переводить слова и предложение: для этого, однако, необходимо будет обучить ее и особенностям грамматики русского жестового. 

 

Другая сложность общения на жестовых языках — ограниченность словаря: для новых, не очень часто употребляемых терминов приходится использовать дактильную азбуку, что заметно замедляет речь. Энтузиасты, однако, пытаются словарь расширить: ранее мы писали о том, как исследователи создавали словари астрономических и биологических терминов для разных жестовых языков.

 

N+1

#программирование, #медицина, #наукороссия

Избранное
Чтобы оставить комментарий, вам нужно авторизоваться или зарегистрироваться
Читайте также

МФФ-2019. Уникальное событие. Очень много интересного обсудили. Лучшие выступления размещены в Ютубе.

-

Меня поразило то, что все выступавшие, были первыми лицами федеральных министерств, крупных банков, корпораций, а также приняли участие депутаты госдумы. Это здорово. Эта те люди, от которых зависит внутренняя политика органа власти, организации, корпорации, банка. И все эти люди говорили, что система управления в России архаична, что давно общая политика в стране оторвалась от реальной жизни народа, что поддержку малого и среднего бизнеса надо бы вести совершенно по-другому и по-современному, что показатели оценки регионов по достижению задач нацпроектов не соответствуют с тем, что регионы могли бы что-то выполнить, что регионы не имеют полномочий и рычагов регулировать правовые и финансовые вопросы в действиях с корпорациями и крупными предприятиями в пользу решения задач нацпроектов, что налоговая система не направлена на развитие экономики регионов, а страна состоит из регионов, что судебная и правоохранительная система преобразовалась в тормоз развития экономики страны и ущемляет права на свободу человека труда, что они бы все это поменяли, если бы была их воля и имели бы полномочия. Просто круто. Вообще, что там происходит на верху? Поделитесь пжлст.

Включите премодерацию комментариев
Все комментарии к этому посту будут опубликованы только после вашего подтверждения. Подробнее о премодерации
Обратная связь