Data Engineer

CINIMEX · Information Technology

Job description

#senior #офис #москва #спб #нн

CINIMEX Data Engineer Опыт работы: глубокий экспертный опыт с Apache Spark от 4-5 лет Формат работы: офис/гибрид (Москва, Нижний Новгород, Санкт-Петербург)

CINIMEX — IT-компания с 29-летней историей, разработчик ПО и системный интегратор. Работает с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями.

☑️ Чем предстоит заниматься -Разработка ETL-пайплайнов (Apache Spark on Java, HDFS (parquets), ClickHouse, Hive, Greenplum) -Разработка витрин данных в Greenplum и ClickHouse -Оркестрация ETL-процессов -Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль) -Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset

☑️ Наши пожелания к кандидатам -Глубокий экспертный опыт работы с Apache Spark от 4-5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций) -Опыт работы с ClickHouse и Hadoop (HDFS, Hive) -Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных -Продвинутые знания SQL -Готовность осваивать Java для использования Spark

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Skills

  • apache
  • clickhouse
  • etl
  • greenplum
  • hdfs
  • hive
  • java
  • sql
  • superset

Languages

RU

Apply

Open this job in our interactive board to apply, save it, or sign up for matched alerts on similar roles.

View & apply
Data Engineer — CINIMEX | RVC