ML-разработчик в группу интонаций

Наша служба работает над качественным синтезом речи для всех продуктов Яндекса. Это, например, перевод и озвучивание видео в Браузере, аудиокниги Букмейта, Алиса и геопродукты. Ищем коллегу, который хочет вместе с нами улучшать интонации синтезированной речи.

Обучение TTS-моделей для Алисы и Букмейта
Чем качественнее синтез речи, тем комфортнее пользователю. Если синтез однообразный и безэмоциональный — пользователь не захочет слушать аудиокнигу или разговаривать с голосовым помощником. Поэтому мы улучшаем интонации и внедряем в синтез эмоции. Вам предстоит проводить много исследовательской работы и тренировать SOTA-модели.

Промтирование синтеза
Сейчас появляется много датасетов, где есть не только аудио и текст, но и промт, описывающий стиль произношения. Например, «быстрое чтение высоким женским голосом с выразительными паузами». Ваша задача — промтировать синтез. Для этого понадобится имплементировать многие современные подходы и генерировать новые идеи.

Генерация датасетов
Многие датасеты с промтом сгенерированы синтетически. Необходимо разрабатывать пайплайны из множества нейросетей (а если их не хватает — обучать их с нуля или дообучать), которые помогут собирать такие датасеты.

• Отлично разбираетесь в ML и DL
• Хорошо знакомы с Python

• Ускоряли нейросети и выкатывали их в продакшен
• Работали с ML в области голосовых технологий: в ASR, голосовой биометрии, text-to-speech и т. д.
• Работали с NLP
• Обучали диффузионные модели