Data Engineer

#senior #300k #удаленка
Top Selection
Data Engineer (ETL-миграция)
от 270 000 до 285 000 ₽ за месяц
Формат работы: можно удалённо
☑️ Чем предстоит заниматься
-Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
-Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
-Написание и оптимизация SQL для витрин данных и ETL-процессов
-Разработка DAG-ов в Airflow
-Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
-Разработка Spark-джобов (PySpark) для больших объемов
-Интеграция с Kafka для потоковой передачи
-Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
-Разбор инцидентов по качеству данных и ошибкам загрузки
-Code review
☑️ Наши пожелания к кандидатам
-Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
-Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
-Оптимизация SQL для highload (партиционирование, индексы, explain plans)
-Oracle (PL/SQL) и PostgreSQL
-Greenplum и/или Clickhouse
-Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
-Hadoop (HDFS) и Hive
-Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
-Опыт работы с биллинговыми системами (желательно телеком-домен)
-Будет плюсом:
-Потоковая обработка: Kafka Streams / Spark Streaming
-Informatica PowerCenter (понимание мигрируемой системы)
-Бинарные форматы хранения в Hadoop
-Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
-Patroni для кластеризации PostgreSQL/Greenplum
-S3-хранилища
-КриптоПро или защищенные каналы передачи данных