Бэкенд-разработчик в службу больших данных Яндекса

MapReduce-кластеры YTsaurus служат для хранения и обработки данных дата-инженерных задач Яндекса. Данные крупнейших (и старейших) сервисов Поиска и Рекламы занимают очень много места, и их объём ежегодно растёт. А чем больше данных, тем сложнее, дольше и дороже их обработка. Сейчас на самом большом кластере 1 EiB HDD и 1.5 M CPU.

Чтобы оптимизировать и ускорить расчёты, мы анализируем использование «железа» в MapReduce-операциях: находим неоптимальное расходование CPU, выявляем неоптимальности в I/O-процессах и повторяющиеся паттерны в обработке данных, строим garbage collector для продуктово-аналитических процессов.

Вы познакомитесь с удивительным миром YTSaurus на примере крупнейшей его инсталляции!

Какие задачи вас ждут

Вам предстоит на основе логов инфраструктуры MapReduce-кластеров находить неоптимальности в использовании железа. Строить регулярные ETL-процессы для аналитики железа и собирать стандартные мониторинги. Находить странности и перекосы в параметрах операций, инсайты в данных и предлагать улучшения. Проверять гипотезы по оптимизации и очерчивать границы их применимости. Предлагать оптимизации и улучшения (в т. ч. в части логирования) в смежных системах (YQL).

Мы ждём, что вы

Строили пайплайны подготовки данных и/или занимались анализом данных
Уверенно владеете Python или С++ и хотя бы одним из диалектов SQL
Хорошо знаете алгоритмы и структуры данных
Можете разобраться в работе кода смежной команды
Умеете проверять собственные результаты, применять прямые и косвенные методы оценки

Будет плюсом, если вы

Оптимизировали потребление CPU
Работали с большими данными
Знаете парадигму MapReduce: работали с YTsaurus, Hadoop или Hive/Spark

Что мы предлагаем

Здоровье

Рост и развитие

Спорт

И ещё

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также:

психотерапия в офисе или онлайн-сервисах;
лазерная коррекция зрения через год работы;
ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также:

оплата участия в профильных конференциях;
скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.

Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также:

бесплатные онлайн-тренировки с FITMOST;
скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.

Вы сможете присоединиться к существующим командам или собрать свою.

Гибкий график

У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

Гибридный формат

Если для ваших задач не нужно быть в офисе каждый день, можно приходить 2–3 раза в неделю.

Всё для детей

Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.

Жилищные займы

Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.