Опыт работы архитектором или главным инженером DWH (ETL/ELT) от 5 лет
Отличное понимание архитектуры корпоративных хранилищ данных
Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop
Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных
Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации
Практический опыт работы с отечественными BI решениями
Отличное знание SQL и принципов оптимизации запросов в MPP-системах
Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа
Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных
Понимание принципов CI/CD, работа с системами контроля версий
Уверенное владение инструментами проектирования:- разработка физических моделей- управление репозиторием моделей- поддержка корпоративных стандартов моделирования Экспертиза в банковской предметной области
Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей
Место работы и занятость
График: полный рабочий день
Место работы: г. Москва, Профсоюзная улица, 125А
Подходит для: инвалид
Описание
Разрабатывать архитектуру ETL и интеграций аналитического хранилища данных (DWH)
Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией
Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов
Управлять физической моделью данных корпоративного хранилища
Формировать архитектурные стандарты в области данных и контролировать их соблюдение
Обеспечивать историзацию и правила качества данных
Руководить командой инженеров, взаимодействовать с владельцами данных, бизнес и системными аналитиками
Проводить архитектурные ревью ETL/ELT
Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость
Готовить и согласовывать обязательную документацию