Китайский стартап Limitless Mind работает над инновационной системой, которая позволит осуществлять перевод между обычной речью и языком жестов. Эта легковесная модель предназначена для использования в умных очках и на смартфонах, что обеспечит возможность общения между глухими и слышащими людьми без необходимости специального обучения. На данный момент проект находится на стадии разработки прототипа и активно ищет инвесторов для дальнейшего продвижения.
Хотя уже существуют различные системы, которые переводят речь в текст, многие люди с нарушениями слуха испытывают трудности с чтением, поскольку жестовый язык является для них родным и более интуитивно понятным. Важно отметить, что жесты могут различаться не только между странами, но и внутри одной страны, напоминая диалекты в устных языках. Для успешного понимания жестового языка критически важны такие аспекты, как движения рук, выражение лица, наклон головы и скорость выполнения жестов.
Исследователи собрали обширный набор данных, состоящий из примерно 12 тысяч размеченных видео, охватывающих различные «диалекты» жестового языка, с 3D-координатами движений рук, тела и мимики. На основе этих данных была обучена модель, способная распознавать жесты на видео и преобразовывать их в текст. Кроме того, система может конвертировать текст или речь в жесты, используя виртуального 3D-аватара.
Limitless Mind не является единственным проектом в области искусственного интеллекта для сурдоперевода. Ранее облачные решения в этой сфере были разработаны такими компаниями, как китайские Baidu и Alibaba. Кроме того, Google представила модель SignGemma, предназначенную для американского языка жестов. Эти инициативы подчеркивают растущий интерес к созданию технологий, которые помогут улучшить коммуникацию между людьми с различными способностями.