Senior Big Data Infrastructure Engineer

Спасибо!
We’re hiring Senior Big Data Infrastructure Engineer 💜
📍 Важно: вакансия международная, кандидатов смотрим ВНЕ РФ и Беларуси.
Ссылка для откликов в первом комментарии 💥
Это команда Big Data Platform внутри большой инфраструктурной команды. Мы ищем сеньора, который возьмёт на себя Big Data инфраструктуру международного контура. Здесь не нужно поддерживать legacy: в выборе технологий ориентируемся на рынок, всё устаревшее активно выпиливаем, а вся инфраструктура работает на самых свежих версиях.
Сейчас в международном контуре идёт пилот, который сильно меняет то, как используется платформа. Раньше это было небольшое количество очень крупных датасетов, а станет тысячи небольших таблиц и огромное количество мелких файлов в Ozone S3. Параллельно переходим от «общего котла» ресурсов к квотам для каждого бизнес-юнита. Задач много, и во многих из них можно реально повлиять на архитектуру.
Работать будешь в паре с инженером, который ведёт такой же стек в соседнем контуре. Обмениваетесь подходами, вместе решаете общие задачи и подстраховываете друг друга.
Чем предстоит заниматься:
- Деплоить, обновлять и эксплуатировать сервисы Big Data платформы: HDFS, Ozone S3, Iceberg и др.
- Поддерживать пилот: перестраивать работу кластера под тысячи мелких таблиц и файлов
- Внедрять квоты на вычисления и хранение для бизнес-юнитов: продумать, как их считать и заводить, чтобы потом не утонуть в конфигурациях
- Мигрировать с дефолтного Iceberg-каталога на Lakekeeper или Gravitino
- Навести порядок в мониторинге и алертинге
Что важно:
- Опыт проектирования, внедрения и эксплуатации Big Data платформы от 5 лет
- Практический опыт с HDFS / Hadoop: деплой, апгрейды, траблшутинг
- Опыт самостоятельного деплоя и эксплуатации S3-хранилища. В идеале Ozone, но MinIO и аналоги тоже подойдут
- Опыт работы с Apache Iceberg
- Английский на уровне чтения технической документации
- Возможность работать по московскому времени (разница до 3 часов)
Будет большим плюсом:
- Опыт с Trino, Kafka или Flink
- Опыт с REST-каталогами для Iceberg (Lakekeeper, Gravitino, Polaris и др.)
- Опыт работы с AI-инструментами не только на уровне чата: Copilot, агенты, автоматизация своих задач
Из приятного 💜
Большая зона ответственности, задачи, в которых можно повлиять на архитектуру, и современный стек без legacy. Можно работать удалённо и по гибкому графику. Ещё есть выстроенный онбординг, корпоративная школа английского, внутренние программы обучения, компенсация внешних курсов и конференций, корпоративные цены на отели и дополнительный оплачиваемый выходной MyTime Day Off.