home
user-header

                        
                        
Яндекс.Браузер научился переводить и озвучивать англоязычные видео
Сур Бере
Pro аккаунт
17 июля 2021 г., 19:12 421

Яндекс научил свой браузер переводить видео на английском языке: алгоритм распознает речь, переводит ее и озвучивает на русском языке. Разработчики отмечают, что при синтезе русскоязычного перевода браузер учитывает пол говорящего и темп его речи.

Яндекс  


 

Больше половины контента в интернете, будь то тексты сайтов, видео на YouTube, научные статьи или мемы, выходит на английском языке. При этом свободно владеют им всего несколько процентов россиян. Но с каждым годом технологии все больше позволяют сгладить этот разрыв. Например, в большинстве браузеров есть встроенный переводчик страниц или дополнения с этой функцией. С видео и аудио дела обстоят хуже, и лишь на некоторых сайтах, таких как YouTube, есть функция создания субтитров и их перевода. При этом существующие алгоритмы уже давно позволяют реализовать переозвучивание видеороликов: приложения-переводчики, как правило, умеют распознавать речь на одном языке, переводить ее и синтезировать на другом.

 

Разработчики из Яндекса показали прототип алгоритма, который автоматически переозвучивает англоязычные видео в интернете на русский язык. Поскольку пока это лишь предварительная демонстрация, сейчас перевод доступен только для нескольких англоязычных роликов на YouTube, которые отобрали сами разработчики браузера. При использовании последней версии Яндекс.Браузера в Windows или macOS вокруг этих роликов появляется рамка с предложением посмотреть видео на русском (стоит отметить, что N + 1 не удалось опробовать функцию, даже при использовании самой свежей версии программы). При нажатии кнопки браузер несколько секунд готовит перевод, а затем без остановки запускает его, заглушая оригинальную речь на фоне.

 

 

При запуске перевода нейросети распознают речь и пол говорящего, а также размечают в ролике временные отрезки, соответствующие отдельным словам. После этого распознанный текст переводится и озвучивается системой синтеза речи, причем с учетом временных отрезков: в некоторых моментах речь ускоряется или замедляется, чтобы соответствовать оригиналу. А распознавание пола позволяет использовать корректную модель синтеза речи: мужскую или женскую, в зависимости от пола человека в оригинале.

 

 

В последние годы в алгоритмах перевода происходит заметный прогресс. Например, все чаще разработчикам удается избегать промежуточных шагов при переводе, которые могут увеличивать количество ошибок: в прошлом году разработчики из Facеbook создали многоязыковую модель, которая обходится без промежуточного перевода на английский, а Google научила алгоритм переводить устную речь, вообще не преобразуя ее в текстовое представление.

 

N+1

#программирование, #наукороссия

Избранное
Чтобы оставить комментарий, вам нужно авторизоваться или зарегистрироваться
Читайте также

Добрый день. Решил все таки рассказать как я переболел коронавирусом в прошлом году, как всё происходило. Думаю не надо замалчивать разные нюансы работы медиков.

 

Да, я был вакцинирован. Вакцинировался в августе, заболел в октябре. В четверг вечером голова разболелась, ночью температурил. На следующий день температура опять поднялась, после обеда позвонил в больницу, оставил заявку на взятие анализа. Сказали что завтра приедут, т.е. в субботу. Но я сомневался что в субботу приедут, так как в позапрошлом году, когда я был контактным, на выходных тоже не приехали. Так и случилось, приехали только в понедельник, и то поздно вечером. В этот же понедельник у меня уже пропали вкус и обоняние. И вот когда брали анализы, нам сказали что анализы в город поедут только в среду. И что мы имеем? Со дня заявки на анализы, прошла неделя, чтобы узнать результаты. НЕДЕЛЯ. А как вы знаете, врач может выписать лекарства от ковида только после положительного результата. А поражение легких от ковида, за пару дней может достичь 60 процентов. До выдачи результата анализа мне уже стало трудно дышать полной грудью. Появился сухой кашель. Я заранее попросил у врача список лекарств, которыми надо закупиться, так как уже было понятно и без анализа что это ковид, еще и были сомнения что такие лекарства можно найти в нашем улусе. 

 

Кстати о лекарствах, это нормально, когда в пик пандемии в целом улусе в аптеках нету парацетамола? Что за халатная работа правительства? Парацетамол пришлось заказать тоже из города, а до этого прям сидели и считали таблетки, на сколько дней хватит их на всех. И какого было удивление что одно лекарство от ковида стоит больше 5К, и это на один курс одного человека. Почему правительство не помогает с лекарствами? Хотя бы половину от цены? В улусах не живут богачи, там живут простые люди с средней зарплатой в 20К, если не меньше. Ладно лично у меня больших проблем с деньгами нет, но я не представляю как лечатся люди которые живут от зарплаты до зарплаты.

 

Так вот, закупились лекарствами на сумму почти в 20К. Сидим лечимся. Участковый врач приезжает каждый день, дает уколы и т.д. Врач записал нас на рентген, чтобы проверить легкие. Сказали что сами приедут за нами. Прошло 2 дня, не приехали. Потом вообще сказали чтобы приехали сами. Кое как добрались. На следующий день врач говорит что мне надо лечь в больницу. Собрался, готов ехать, сказали что заберут. Нет, сказали мест нет. Только когда место освободится. Хотя я был уже уверен что даже если место освободится то не возьмут, так как во-первых, больных было много, во-вторых, я молодой и вакцинирован. Понял что меня возьмут в последнюю очередь. И в этом время, лежу, читаю Ykt, и вижу пост о том что Балабкина говорит не приезжать в город, а лечится в больницах на местах. Сейчас вот смешно, а тогда не очень) Так и лечились дома, каждый вечер приезжал врач, давал укол который помогал мне нормально дышать, прям легкие сразу как будто расширялись. Благо прошло все без серьезных последствий, хотя легкие напоминают о себе до сих пор.

 

Вообще удивляет слабая работа правительства, которая не может обеспечить лекарствами улусы, тем более самым распространенным и дешевым, но в то же время очень нужным лекарством, как парацетамол. Ладно мы, город у нас рядом, интересно узнать как обстоят дела в отдаленных улусах. У них все там организовано или как всегда все замалчивается?

 

И конечно когда пандемия закончится в первую очередь будут награждены всякие министры, а не рядовые врачи. Министры которые сидят у себя в кабинетах, даже республику в нужное время лекарством обеспечить не могут, работу больниц наладить не могут, но все равно получают огромные зарплаты. Такие зарплаты должны получать эти дежурные врачи, которые в 50-ти градусный мороз, поверх пуховика надев эти защитные костюмы, ходят по домам рискуя своим здоровьем, и лечат людей как могут.

 

Поделитесь своими историями, кто болел, как болел, как работали врачи.

Всем здоровья. 

Включите премодерацию комментариев
Все комментарии к этому посту будут опубликованы только после вашего подтверждения. Подробнее о премодерации
Обратная связь