Разработчик DWH/BI – BigData Engineer

Другое, Отдел анализа данных

Команда отдела анализа данных решает задачи, связанные с сегментированием аудитории интернета с использованием технологий машинного обучения.

Исходные  выборки для классификаций — данные из разных источников: анкетные данные медиапроектов, социальных сетей, партнеров, результаты интернет опросов.

Мы предлагаем участие в проекте, позволяющем строить интересные математические модели, описывающие людей на основании их поведения в интернете. А также модели, отражающие различные мотивационные сферы жизни человека: психологические установки, влечения, интересы, склонности, намерения, убеждения, мировоззрения.

  • Задачи
    • участие в проекте построения масштабной системы обработки и хранения разнородной информации из различных Бизнес Юнитов компании на базе Hadoop (BigData DWH);
    • исследование большого объема необработанных данных, накопленных в компании;
    • построение и оптимизация нетривиальных ETL процессов обработки больших данных;
    • разработка и проектирование OLAP-кубов и витрин для аналитиков;
    • участие в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
    • взаимодействие с программистами-исследователями и совместная реализация стабильного расчета математический моделей;
    • поддержка и модификации созданного решения.
  • Требования
    • Java – глубокие знания;
    • Linux, Bash;
    • опыт работы с большими объемами данных, глубокое понимание стека технологий (Hadoop, Spark, Hive);
    • Python опционально (но желательно);
    • знание классических алгоритмов и структур данных;
    • понимание основ теории реляционных баз данных;
    • опыт организации ETL процессов обработки данных;
    • опыт проектирования систем обработки больших объемов данных;
    • понимание методов машинного обучения опционально;
    • ссылки на публичные репозитории с примерами работы приветствуются

город

Москва

Пройти тестирование

Присылайте ваше резюме на hr@corp.mail.ru