Несколько дней назад пресс-служба БГУ сообщила: студенты факультета прикладной математики и информатики, а также факультета социокультурных коммуникаций создают уникальное приложение, которое значительно облегчит обучение курсантов автошкол, которые имеют ограничения по слуху. Мы пообщались с руководителем проекта молодых разработчиков, чтобы узнать все детали.
- Поворот направо, - дает голосовую команду в приложении «SurdoAdapter» разработчик Сергей Дорошевич. Тут же на экране появляется видео, где преподаватель для людей с ограничениями по слуху показывает на языке жестов: «Поворот направо». Это только верхушка всего функционала, который запланировали реализовать студенты.
Ребята, а это два студента и две студентки 3-го курса факультета прикладной математики и информатики и факультета социокультурных коммуникаций с сентября под руководством двух преподавателей работают над приложением, аналогов которому в стране нет. Идея, как это часто бывает, появилась из реальной жизни. Третьекурсница БГУ, а также руководитель проекта Мария Пестрак рассказывает:
- Моя знакомая работает в автошколе, где преподает вождение людям с ограничениями по слуху. Как-то она поделилась, что они в процессе обучения вождению используют приложение, которое переводит голосовые команды в текст - так преподаватель может передать информацию, например, слабослышащему. Но студент автошколы во время движения понимает указания преподавателя с большой задержкой, а это проблема. Было бы удобнее, если бы голосовая команда переводилась в язык жестов, потому что скорость распознавания жестов глухими выше скорости распознавания текста.
Мария Пестрак рассказала о ситуации ребятам на факультете, после чего образовалась команда, которая взялась за техническое решение проблемы. Сначала хотели рассмотреть вопрос в курсовых работах, но в процессе увлеклись и просто начали делать приложение, которое уж точно пригодится в автошколах.
Теперь «SurdoAdapter» - так именуется детище ребят на операционной системе Android, переводит устную речь в язык жестов с помощью технологии распознавания речи.
- Мы еще будем дорабатывать точность определения речи, потому что посторонние звуки, звучание машины во время урока по вождению могут создавать помехи в понимании системой, что было сказано, - перечисляет планы студентка Мария Пестрак. – Сейчас, когда мы даем голосовую команду в приложении, появляется видео преподавателя - она показывает перевод на язык жестов. Но в будущем мы хотим, чтобы это было не видео с человеком, а анимация – графический персонаж. Чтобы это реализовать, нам нужны специальные программы, которые помогут нам смоделировать анимации. Правда, они стоят очень дорого, поэтому мы ищем аналоги, которыми сможем их заменить, сделать иначе.
Сейчас в словаре приложения уже есть самые используемые слова и выражения, которые необходимы в обучении курантов автошкол. Это стандарт: «газ», «тормоз», «сцепление», «фары», «налево», «направо» и так далее. В планах, а это уже после тестирования в одной из автошкол, расширить целевой словарь слов и жестов, доработать дизайн пользовательского интерфейса, улучшить распознавание речи - для этого ребята будут прямо на занятиях в автошколе собирать данные под свою библиотеку для приложения.
- Наше приложение переводит на язык жестов пословно, а не целыми фразами, что увеличивает скорость распознавания информации слабослышащим человеком, - приводит в пример конкурентные преимущества Мария Пестрак. К слову, ребята хорошенько прочесали рынок подобных приложений. Нашли всего два – первое разработано в России, второе в Португалии. – Целевой словарь, который состоит из самых важных и нужных в обучении слов, снижает размер приложения и увеличивает скорость его работы – без больших задержек. Самый главный плюс приложения - это то, что оно может работать без подключения к интернету. Когда мы доработаем самые важные части, то сможем вместе с преподавателем и курсантами на деле протестировать приложение, чтобы услышать замечания и предложения. Главное – чтобы им было удобно, - добавляет Мария.
Добавят ли ребята в приложение обратный перевод – с языка жестов в устную речь? Это под вопросом хотя бы потому, что сделать это непросто на данном этапе. Мария Пестрак поясняет:
- Это сложно и дорого, поэтому мы пока точно не сможет это воплотить.
Сейчас ребята подали заявку на хакатон конкурса социальных проектов Social Weekend, где хотят получить обратную связь от менторов.
- В будущем мы также хотели бы с помощью веб-камеры и Leap Motion - технология, основанная на захвате движения, для человеко-компьютерного взаимодействия, снять лицо и руки преподавателя, который показывает жесты. А после все эти видеозаписи – данные, наложить на 3D-модель человека и получить анимации слов, фраз. Именно так мы сможем собрать базу анимаций, которые и составят основной словарь. Такой подход позволит нам сделать приложение «легче», а также симпатичнее.
