BigData Engineer

Другое, Поиск & E-commerce

Mail.Ru Group — крупнейшая компания рунета с миллионными аудиториями. У нас множество проектов — высоконагруженные, мультимедийные, e-commerce проекты, образовательные, с открытым исходным кодом. Мы не ставим барьеров: по любому из продуктов можно высказать идею напрямую – и, возможно, она станет началом нового проекта Mail.Ru Group или внутреннего стартапа.

Мы ищем человека для работы с большими данными одного из крупнейших проектов группы.

Задачи:

  • Создавать ETL из различных источников в Hive;
  • Создавать real-time аналитику на Spark Streaming и Druid;
  • Создание OLAP-кубов поверх Hive и PostgreSQL;
  • Создание dashboard-ов в Superset (ранее Caravel, Panoramix).

Обязательны знания:

  • SQL;
  • Python;
  • Spark и Spark Streaming;
  • Kafka;
  • Hadoop и MapReduce;
  • Hive.

Желательны знания:

  • bash;
  • Scala или Java;
  • Cassandra;
  • Mongo;
  • AirFlow или Luigi;
  • Druid;
  • Flume;
  • PostgreSQL.

город

Москва

Пройти тестирование

Присылайте ваше резюме на hr@corp.mail.ru