Тимлид в команду Аналитики GPT Алисы
- может решать широкий спектр повседневных и сложных человеческих задач;
- экономит силы и время пользователей;
- помогает в развитии и работе, развлекает и поддерживает беседой.
Аналитики-разработчики активно участвуют в обучении и внедрении GPT-like-моделей, работая на старте и на финише ML-пайплайна. В зону ответственности аналитиков входят сбор данных для обучения и оценка качества модели. Для оценки качества используются как офлайн-подход (оценка качества на корзинах запросов через краудсорсинговые платформы), так и онлайн (проводим А/В-эксперименты).
Больше о нашей работе можно узнать из этих видео:
Мы расширяем команду аналитики AliceGPT и ищем тимлида, который возглавит нескольких аналитиков и возьмёт на себя часть ответственности внутри продукта.
Какие задачи вас ждут
Мы дообучаем большую LLM YandexGPT-3 под задачи, специфические для Алисы. Разберём на примере задачи «Доуточнить запрос, если не совсем понятно, что именно хотел пользователь». Для решения этой задачи нужно собрать валидационный и обучающий пулы с примерами непонятных запросов, написать под них правильные ответы и придумать метрику, которая будет замерять улучшение, — например, сравнение side-by-side.
Проводить А/В-эксперименты и офлайн-замеры качества
После того как мы, например, научили Алису переспрашивать, нужно принять новую функциональность через А/В-тест. Доуточнения значительно меняют взаимодействие пользователя с Алисой, и нужно понять по онлайн-метрикам использования на разных типах устройств (колонки, телевизоры, приложения для телефонов), насколько стало лучше или где ухудшилось. А после приёмки нам понадобится офлайн-измерение — тест на корзине запросов, который будет показывать, что новое умение Алисы работает как ожидается и релизы другой функциональности его не ломают.
Управлять бригадой аналитиков и участвовать в найме
Команда AliceGPT за полгода выросла с двух человек до пяти, но количество новых умений Алисы, которые мы хотим построить с помощью языковых моделей, за то же время выросло на порядок. Нужно включиться в наём, нанять фултайм-аналитика и одного-двух стажёров на уже открытые позиции.
Мы ждём, что вы
- Готовы не только быть лидом, но и самостоятельно работать руками (50/50)
- Знаете теорию вероятностей и математическую статистику
- Глубоко владеете SQL, Python/Pandas
- Работали в ML-проектах: с NLP, crowdsource-разметками и ML
- Умеете писать аналитический production-код и создавать сложные метрики на основе разметок
- Можете транслировать видение продукта или проекта в иерархию метрик
- Способны управлять командой аналитиков, поддержки разметок, редакторов, асессоров для контроля качества данных
- Работали как с Data Science, так и с продуктовой аналитикой
- Создавали и тестировали метрики, визуализировали данные
- Обладаете навыками анализа, строили эффективные процессы обработки данных
- Интересуетесь развитием голосовых помощников и искусственного интеллекта
- Инициативны и готовы к самостоятельному поиску решений
Что мы предлагаем
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
А также:
- оплата участия в профильных конференциях;
- скидка 50% на изучение иностранных языков.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также:
- бесплатные онлайн-тренировки с FITMOST;
- скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Гибридный формат
Если для ваших задач не нужно быть в офисе каждый день, можно приходить 2–3 раза в неделю.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Мы свяжемся с вами в течение недели.
