ML-разработчик в группу данных Яндекс Переводчика

Наш сервис помогает переводить тексты, веб-страницы, фото и видео на 100+ языках B2C- и B2B-клиентам, в том числе многим сервисам Яндекса. Мы используем нейросетевые модели, которых обучаем на терабайтах качественных текстов, а чтобы их получить, обрабатываем петабайты данных, собранных роботами Яндекса со всего интернета. Эта задача требует как больших вычислительных мощностей, так и применения ML-моделей на разных этапах обработки данных.

Мы ищем разработчика, который поможет улучшать пайплайны сбора данных для обучения: повышать стабильность и прозрачность кода и воспроизводимость запусков, обучать ML-модели.

Улучшения качества собираемых данных
В основе всех ML-моделей лежат данные, и чем они лучше, тем лучше качество получившейся модели. Наши пайплайны сбора данных состоят из большого количества отдельных ML-моделей, запускаемых на больших данных. Вам предстоит повышать качество моделей перевода за счёт улучшения эвристик и ML-моделей для сбора данных.

Обучение и оценка качества ML-моделей
Конечная цель вашей работы — улучшить качество переводов, которые видят пользователи. Вы будете обучать модели и оценивать их качество. Эта сложная задача, в решении которой вы столкнётесь как с автоматическими, так и с ручными метриками оценки.

• Разрабатывали на C++ и Python
• Знакомы с методами машинного обучения

• Работали с большими данными, знакомы с парадигмой MapReduce
• Знакомы с SQL (используем его поверх MapReduce, чтобы сэкономить время)
• Знакомы с Deep Learning в NLP (Nature Language Processing), работали с LLM (Large Language Models)