Middle Master Data Engineer

#middle #удаленка #гибрид #офис
Melon Fashion Group. IT
Инженер данных мастер-систем / Data Engineer
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис
☑️ Чем предстоит заниматься
-Проектировать структуры операционных хранилищ и модели мастер-данных
-Разрабатывать процессы загрузки, обработки, хранения и передачи данных
-Создавать пакетные и потоковые интеграции между информационными системами
-Настраивать получение изменений из систем-источников, включая CDC-механизмы
-Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
-Обеспечивать хранение истории изменений мастер-данных
-Готовить данные для передачи в DWH и другие системы-потребители
-Разрабатывать проверки качества данных, технические и бизнес-сверки
-Настраивать мониторинг, логирование и обработку ошибок
-Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
-Участвовать в выборе архитектурных и технологических решений
-Сопровождать и развивать разработанные решения в промышленной эксплуатации
☑️ Наши пожелания к кандидатам
-Уверенное владение SQL
-Опыт разработки на Python
-Опыт проектирования структур и моделей хранения данных
-Опыт создания ETL- или ELT-процессов
-Понимание принципов пакетной и потоковой обработки данных
-Понимание интеграционных паттернов и способов передачи данных между системами
-Навыки работы с реляционными СУБД
-Понимание механизмов обеспечения целостности и консистентности данных
-Опыт настройки логирования, мониторинга и обработки ошибок
-Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации
-Будет плюсом:
-Опыт работы с Kafka, Flink или Debezium
-Практический опыт реализации CDC-процессов
-Опыт разработки процессов в Apache Airflow
-Опыт работы с ClickHouse
-Участие в создании MDM-решений, мастер-систем или операционных хранилищ
-Опыт реализации правил сопоставления, дедупликации и консолидации данных
-Опыт построения систем контроля качества данных и автоматизированных сверок
-Понимание событийно-ориентированной архитектуры
-Опыт интеграции с API, брокерами сообщений и внешними информационными системами
-Опыт работы с Git, CI/CD и контейнеризацией