Задачи

  • участие в роли архитектора BigData DWH в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • проведение и возглавление процессов архитектурного проектирования, технического дизайна и реализации интеграционных компонент;
  • исследование большого объема необработанных данных, накопленных в компании, работа с потребителями этих данных, умение слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
  • проектирование процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
  • анализ, выбор и тестирование компонентов архитектуры в соответствии с появлением новых возможностей всего многообразия существующих платформ, решающих разного рода узкие задачи по доставке и трансформации данных из разных источников;
  • разработка и проектирование OLAP-кубов и витрин для аналитиков различных бизнес-юнитов, участие в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
  • взаимодействие с командой Data Scientist'ов и совместная реализация стабильного расчета математический моделей;
  • организация работы команды специлистов в области DWH, активное учатие в найме необходимых для работы людей, создание из них слаженной команды, обучение и развитие профессионалов;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

  • Не менее пяти лет релевантного опыта, подтверждённый успешный опыт построения систем DWH на базе Hadoop;
  • Опыт участия во всех жизненных циклах разработки программного обеспечения (проектирование, аналитика, разработка, тестирование, внедрение, сопровождение внедрения и внедренных решений) в качестве архитектора или Team Lead;
  • понимание основных подходов к построению корпоративного хранилища данных по Кимбаллу и Инмону, их сходств и различий;
  • обширные знания в области теории баз данных, SQL на уровне родного языка;
  • понимание схем Data Vault, Anchor Modeling, «звезда», OLAP-кубов, их плюсов/минусов, паттернов использования;
  • опыт работы с большими объемами данных, глубокое понимание стека технологий Hadoop, Spark, Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
  • опыт работы с классическими BI-системами (Tableau, QlikView) или open-source решенями (Redash, Superset);
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Поиск вакансий