Мобильное приложение может быть использовано людьми и организациями, контактирующими с глухонемыми людьми – сотрудниками предприятий общественного питания, организациями и работниками социальной поддержки (в том числе волонтерами), а также таксистами, проводниками в поездах и самолетах, экскурсоводами.
По словам автора проекта, компьютерное зрение и нейронные сети – это две технологии, которые позволяют мгновенно в режиме реального времени понимать язык жестов и переводить его на привычный русский язык, а также и наоборот – с русского языка на язык жестов.
Для выполнения сурдоперевода мы используем специально обученную нейросеть, выполняющую анализ при помощи мощностей наших серверов. Это позволяет добиться минимальной задержки перевода – всего в две секунды. Еще одним преимуществом нашего продукта является способность к постоянному и почти полностью автоматическому улучшению качества перевода на основе обратной связи пользователей – производится оценка корректности перевода. Кроме того, наша нейросеть будет обучена на датасете Slovo, который предназначен специально для перевода русского языка жестов (РЯЖ), что увеличит качество перевода жестов именно русскоязычного сегмента пользователей.
Для еще большего облегчения коммуникации, в продукте предусмотрена функция перевода устной речи в динамическую картинку-видеоролик, который можно показать собеседнику. Преимуществом использования искусственного интеллекта является то, что программный алгоритм сможет самостоятельно дообучаться, что со временем повысит качество сурдоперевода.
Светлана Григорян, управление информационной политики
isdstu@mail.ru
