Задачи

  • участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • исследование большого объема необработанных данных, накопленных в компании;
  • построение и оптимизация нетривиальных ETL процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном Бизнес Юните до монетизации полученных знаний;
  • взаимодействие с командой Data Scientist и совместная реализация стабильного расчета математический моделей;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

  • не менее двух лет релевантного опыта работы;
  • опыт работы с большими объемами данных, понимание стека технологий hadoop, глубокое знание Spark или Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
  • знания в области теории обработки и хранения информации;
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Поиск вакансий