Разработчик дата-платформы Logos
Наша команда разрабатывает внутреннюю платформу управления данными Logos. С её помощью ML-инженеры, дата-инженеры и аналитики Яндекса строят ETL-пайплайны обработки данных, хранилища данных для аналитики и отчётности, собирают датасеты для машинного обучения и обучают модели. Под управлением нашей платформы находится около 10 тысяч регулярных процессов, которые каждый день обрабатывают десятки и сотни петабайт данных. Среди наших пользователей — Реклама, Маркет, Кинопоиск, Музыка, Плюс и многие другие сервисы Яндекса.
Мы помогаем нашим пользователям сосредоточиться на содержимом обрабатываемых данных и извлекать из них пользу, а инфраструктуру, оркестрацию пайплайнов и надёжность их работы берём на себя. Ищем коллегу, который будет помогать нам развивать платформу, используя всю мощь систем хранения и обработки данных Яндекса.
Подробнее о нас можно узнать из статей и видео:
Какие задачи вас ждут
Разработка ETL-фреймворка
Наши пользователи создают свои конвейеры обработки данных на Python с помощью фреймворка, который мы разрабатываем. Вам предстоит расширять его возможности, делать его более гибким и открывать новые сценарии применения. Одновременно с этим вас ждут задачи по упрощению базовых сценариев и сокращению объёма бойлерплейт-кода, который должны писать пользователи, чтобы снизить трудозатраты на разработку и поддержку процессов обработки данных.
Наши пользователи создают свои конвейеры обработки данных на Python с помощью фреймворка, который мы разрабатываем. Вам предстоит расширять его возможности, делать его более гибким и открывать новые сценарии применения. Одновременно с этим вас ждут задачи по упрощению базовых сценариев и сокращению объёма бойлерплейт-кода, который должны писать пользователи, чтобы снизить трудозатраты на разработку и поддержку процессов обработки данных.
Развитие платформы обработки данных
Среди наших пользователей такие крупные сервисы Яндекса, как Реклама, Маркет, Плюс, Фантех. Все они используют общую инфраструктуру Яндекса, при этом данные и процессы каждого сервиса обладают своими особенностями. Наша задача — снизить стоимость и сократить время внедрения общих решений, а также распространять лучшие практики, сохраняя при этом максимальную гибкость, чтобы учесть особенности каждого сервиса. Вы сможете поучаствовать в разработке общих инструментов для управления данными, например data-quality-инструментов, поработать над поддержкой различных систем хранения и обработки данных в рамках дата-платформы.
Повышение надёжности сервиса
Под управлением нашей платформы находятся десятки петабайт данных и тысячи процессов, принадлежащих десяткам команд более чем дюжины различных сервисов. На таких масштабах пользователям необходимы инструменты, которые позволяют тестировать их конвейеры в рамках CI/CD и обеспечивать бесперебойную работу процессов в продакшне. В ваши задачи будут входить разработка средств мониторинга проблем в продакшне и реагирования на них, внедрение лучших практик Яндекса по обеспечению надёжности высоконагруженных сервисов, чтобы наши пользователи могли самостоятельно обслуживать свои конвейеры.
Больше о бэкенде в Яндексе — в канале Yandex for Backend
Мы ждем, что вы
- Отлично знаете Python
- Знаете базовые принципы и паттерны проектирования ПО
- Стремитесь писать код, который легко читать и поддерживать
- Работали с реляционными и нереляционными базами данных и понимаете их устройство
Будет плюсом, если вы
- Писали на С++ и Golang
- Разрабатывали и поддерживали библиотеки на Python
- Понимаете, как устроены отказоустойчивые распределённые системы
- Занимались обработкой больших данных, работали с хранилищами данных DWH
- Знакомы с ETL-фреймворками Airflow, Luigi, Dagster и другими
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Все интересные вам вакансии в одном профиле
Войти и откликнутьсяWed Aug 07 2024 14:43:03 GMT+0300 (Moscow Standard Time)
