Архитектор DWH / BI

Другое, Отдел анализа данных

Mail.Ru Group – крупнейший IT холдинг в России по дневной мобильной аудитории (по данным Mediascope Web Index Mobile, 12–64, города 700 тыс.+, июль 2017 г ). Холдинг развивает электронную коммерцию (сервис заказа готовой еды Delivery Club, сервис бесплатных объявлений Юла, сервис райдшеринга BeepCar ), лидирующие русскоязычные социальные сети — ВКонтакте, Одноклассники и Мой Мир, портфолио популярных игр, мессенджеры и другие проекты.

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объемы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.

Мы ищем ищем амбициозного и опытного Архитектора DWH/BI, готового спроектировать и выстроить аналитический контур у одного из e-commerce бизнес-юнитов группы компаний. Мы ожидаем, что Архитектор DWH/BI не только будет принимать участие в построении процессов потребления данных на всех этапах их трансформации, но и организовать постоянное взаимодействие с потребителями этих данных, слушать и слышать их проблемы, предлагать способы решения и уметь аргументировать их.

Наш стек технологий включает, но не ограничивается:
Database Systems: MySQL, Tarantool, ClickHouse, GreenPlum
Hadoop: Hive, Spark, MapReduce, Kafka, HBase
DataFlow / ETL: Luigi, Airflow, Jenkins
Business Inteligence: Tableau, QlikView, Redash, SuperSet
Continuous Integration: Jenkins, GitLab CI
IssueTracking / KnwoledgeBase : Jira, Confluence
Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf

  • Задачи
    • участие в роли архитектора DWH/BI в проекте построения аналитического хранилища данных e-commerce бизнес-юнита холдинга;
    • проведение и возглавление процессов архитектурного проектирования, технического дизайна и реализации интеграционных компонент;
    • исследование большого объема необработанных данных, накопленных в бизнес-юните, работа с потребителями этих данных, умение слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
    • проектирование процессов обработки данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации до монетизации полученных знаний;
    • анализ, выбор и тестирование компонентов архитектуры в соответствии с появлением новых возможностей всего многообразия существующих платформ, решающих разного рода узкие задачи по доставке и трансформации данных из разных источников;
    • разработка и проектирование OLAP-кубов и витрин для аналитиков бизнес-юнита, участие в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
    • взаимодействие с командой Data Scientist'ов и совместная реализация стабильного расчета математический моделей;
    • организация работы команды специлистов в области DWH, активное учатие в найме необходимых для работы людей, создание из них слаженной команды, обучение и развитие профессионалов;
    • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.
  • Требования
    • Не менее пяти лет релевантного опыта, подтверждённый успешный опыт построения систем DWH;
    • опыт участия во всех жизненных циклах разработки программного обеспечения (проектирование, аналитика, разработка, тестирование, внедрение, сопровождение внедрения и внедренных решений) в качестве архитектора или Team Lead;
    • понимание основных подходов к построению корпоративного хранилища данных по Кимбаллу и Инмону, их сходств и различий;
    • обширные знания в области теории баз данных, SQL на уровне родного языка;
    • понимание схем Data Vault, Anchor Modeling, «звезда», OLAP-кубов, их плюсов/минусов, паттернов использования;
    • широкий опыт работы с различными СУБД, глубокое понимание работы как минимум одной из MySql, Tarantool, Clickhouse, GreenPlum, Vertica HP, умение оптимизировать процессы обработки данных;
    • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
    • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
    • опыт работы с классическими BI-системами (Tableau, QlikView) или open-source решенями (Redash, Superset);
    • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

город

Москва

Пройти тестирование

Присылайте ваше резюме на hr@corp.mail.ru