Big Data Engineer (проект Юла)

Другое, Юла

Юла — это первый в стране «classified 2.0», когда сервис выступает не просто местом для размещения объявлений, но решает проблемы покупателей и продавцов как онлайн, так и офлайн. Поэтому на Юле доступны доставка товара от продавца к покупателю и «Безопасная Сделка» для расчетов между пользователями. Также сервис позволяет находить и предлагать товары с учетом геолокации и интересов пользователя.

Проект объединил в себе одни из лучших наработок Mail.Ru Group — поиск, модерацию, интеграцию с социальными сетями группы.

Сейчас сервисом пользуются более 20 миллионов людей ежемесячно!

  • Задачи
    • Создавать ETL из различных источников в Hive;
    • Создавать real-time аналитику на Spark Streaming и Druid;
    • Создание OLAP-кубов поверх Hive и PostgreSQL;
    • Создание dashboard-ов в Superset (ранее Caravel, Panoramix).
  • Требования
    • SQL;
    • Python;
    • Spark и Spark Streaming;
    • Kafka;
    • Hadoop и MapReduce;
    • Hive.
    • Желательны знания:
    • bash;
    • Scala или Java;
    • Cassandra;
    • Mongo;
    • AirFlow или Luigi;
    • Druid;
    • Flume;
    • PostgreSQL.

город

Москва

Пройти тестирование

Присылайте ваше резюме на hr@corp.mail.ru