Разработчик DWH/BI – BigData Engineer

Другое, Отдел анализа данных

Команда отдела анализа данных решает задачи, связанные с сегментированием аудитории интернета с использованием технологий машинного обучения.

Исходные  выборки для классификаций — данные из разных источников: анкетные данные медиапроектов, социальных сетей, партнеров, результаты интернет опросов.

Мы предлагаем участие в проекте, позволяющем строить интересные математические модели, описывающие людей на основании их поведения в интернете. А также модели, отражающие различные мотивационные сферы жизни человека: психологические установки, влечения, интересы, склонности, намерения, убеждения, мировоззрения.

Задачи:

  • участие в проекте построения масштабной системы обработки и хранения разнородной информации из различных Бизнес Юнитов компании на базе Hadoop (BigData DWH);
  • исследование большого объема необработанных данных, накопленных в компании;
  • построение и оптимизация нетривиальных ETL процессов обработки больших данных;
  • разработка и проектирование OLAP-кубов и витрин для аналитиков;
  • участие в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
  • взаимодействие с программистами-исследователями и совместная реализация стабильного расчета математический моделей;
  • поддержка и модификации созданного решения.

Требования:

  • Java – глубокие знания;
  • Linux, Bash;
  • опыт работы с большими объемами данных, глубокое понимание стека технологий (Hadoop, Spark, Hive);
  • Python опционально (но желательно);
  • знание классических алгоритмов и структур данных;
  • понимание основ теории реляционных баз данных;
  • опыт организации ETL процессов обработки данных;
  • опыт проектирования систем обработки больших объемов данных;
  • понимание методов машинного обучения опционально;
  • ссылки на публичные репозитории с примерами работы приветствуются.

город

Москва

Пройти тестирование

Присылайте ваше резюме на hr@corp.mail.ru