VK Видео внедрил новые алгоритмы искусственного интеллекта для автоматического распознавания речи и синтеза субтитров в роликах, шоу, клипах и другом контенте. Точность анализа и расшифровки выросла на 25%, кроме того, нейросети теперь знают тысячи новых слов, включая мемы, имена собственные, акронимы и профессиональные термины.

Автоматические субтитры генерируются с помощью ML-моделей, которые создают текст и расставляют знаки препинания, а также синхронизируют субтитры с видео. Для повышения точности аудиопоток проходит через несколько этапов обработки. Нейросеть отсеивает сторонние шумы, распознает речь и превращает ее в текст. После чего подключаются модели пунктуации и денормализации, которые превращают набор из распознанных слов в удобный, читаемый текст. Потом ИИ синхронизирует получившийся текст с аудиодорожкой. Все это делает субтитры понятными и удобными как в профессиональных роликах, так и в любительских видео.

В ближайшее время нейросети научатся разделять речь разных спикеров на отдельные реплики, что упростит восприятие и чтение субтитров.

Популярность субтитров растет. Доля людей, использующих эту функцию в веб-версии, только за последний месяц увеличилась на 28%, и сейчас субтитрами пользуются 11% всей аудитории VK Видео. Технология помогает людям с нарушениями слуха, а также удобна для просмотра видео в условиях, когда звук включать нежелательно.