Задачи

  • участие в роли ведущего BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • исследование большого объема необработанных данных, накопленных в компании, работа с потребителями этих данных, умение слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
  • построение и оптимизация нетривиальных ETL процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном Бизнес Юните до монетизации полученных знаний;
  • взаимодействие с командой Data Scientist'ов и совместная реализация стабильного расчета математический моделей;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.
  • активное учатие в найме необходимых для работы людей, создание из них слаженной команды, обучение и развитие профессионалов.

Требования

  • не менее трех лет релевантного опыта работы;
  • опыт участия во всех жизненных циклах разработки программного обеспечения (проектирование, аналитика, разработка, тестирование, внедрение, сопровождение внедрения и внедренных решений) в качестве Team Lead или ведущего разработчика;
  • опыт работы с большими объемами данных, глубокое понимание стека технологий hadoop, Spark, Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
  • обширные знания в области теории обработки и хранения информации;
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Поиск вакансий