Инженер данных в команду статистики Маркета

Яндекс.Маркет — это крупнейший маркетплейс. Сейчас на площадке представлено более 16 миллионов наименований товаров, а количество активных покупателей уже превышает 7 миллионов.

Чтобы принимать правильные решения для роста бизнеса, необходима большая аналитическая работа. Найти и изучить данные как за несколько лет, так и за последние несколько минут помогает платформа управления данными Маркета. Она позволяет собирать в Data Lake информацию из СУБД, шины данных и API сервисов, проектировать домены данных в Data Warehouse (Data Vault), формировать витрины для анализа средствами BI Tableau, Jupyter.

Команда статистики разрабатывает витрины данных для аналитики на этой платформе: глубокого анализа многомерных данных, формирования дашбордов с визуализацией разных процессов, построения графиков KPI. Уже сейчас мы оперируем петабайтами данных в каждом из двух дата-центров, и объемы информации растут кратно из года в год.

У нас повышенные требования к стабильности, масштабируемости, эффективности и простоте продуктов. Нашими витринами пользуются разработчики, аналитики и менеджеры Яндекса.

• вместе с системными аналитиками проектировать хранилище данных по модели Data Vault;
• создавать эффективные ETL-процессы, организуя сбор данных из различных систем Маркета с заданной периодичностью (ежедневно, ежечасно или near real time);
• создавать и развивать витрины данных как продукт, алгоритмически подготавливая данные для их последующего анализа средствами BI, SQL, Jupyter и т. п.;
• работать в кросс-функциональной команде с разработчиками, системными и дата-аналитиками.

У нас вы сможете:

• участвовать в построении современного хранилища данных с технологиями Big Data при росте данных в 2—5 раз в год (терабайты данных за сутки в шине данных LogBroker, терабайты в ClickHouse, петабайты в хранилище на Yandex Tables, сотни пользователей в BI Tableau) и в условиях бурно развивающегося бизнеса (применение гибких методологий и устойчивых к изменениям моделей данных);
• проявить себя в роли технического лидера — предлагать и внедрять передовые технологии и способы обработки данных, доказывать их эффективность на архитектурных встречах;
• наработать опыт в Big Data и Data Warehouse в команде профессионалов.

• уверенно знаете Python: пишете код с использованием фреймворков;
• знаете основные алгоритмы и структуры данных;
• знаете SQL или другие языки запросов;
• умеете работать в командной строке Linux, macOS;
• умеете работать в команде и коммуницировать со смежниками.

• знаете технологии распределенной обработки данных (Hadoop, MapReduce, Hive, Spark, ClickHouse, GreenPlum, Vertica и т. п.);
• имеете опыт обработки данных на Python (PySpark, pandas и т. п.) или другом языке;
• имеете опыт проектирования DWH (DFM, Data Vault, Anchor) или Data Lake;
• имеете опыт промышленной разработки на языках высокого уровня (Python, Java или C++).

• современный офис в центре Москвы со всем необходимым для комфортной работы и отдыха, есть парковка;
• официальное трудоустройство;
• компенсация оплаты питания на территории кампуса и в окрестностях;
• гибкий график: мы не контролируем, кто во сколько приходит и уходит, главное для каждого из нас — выполнять поставленные задачи;
• расширенная программа ДМС: стоматология, обследования, вызов врача на дом, оплата 80% стоимости ДМС для супругов и детей;
• высокий совокупный доход и премии каждые полгода для всех, кто успешно прошел ревью;
• возможность участвовать в мероприятиях Яндекса: образовательных программах, лекциях, митапах;
• профессиональная команда, у которой можно многому научиться и перенять полезный опыт;
• культура открытости и взаимопомощи;
• высокая скорость работы и возможность быстро увидеть свой вклад и результаты работы;
• возможность выбрать задачи, интересные в данный момент: попробовать себя в новой роли или поработать в другой команде Маркета;
• работа в технологической компании с возможностью создавать сервисы, полезные миллионам людей.