Задачи

  • участие в роли младшего BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • построение и оптимизация ETL процессов обработки больших данных;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

  • не менее года релевантного опыта работы, но готовы рассмотреть кандидатов без опыта, но со знаниями;
  • опыт работы с большими объемами данных, понимание стека технологий Hadoop, Spark, Hive ;
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Поиск вакансий