Data Engineer
Wildberries
- Work arrangement: fully remote
- Employment type: Full Time
- Seniority: middle
- Posted:
Source not independently verified
Confirm the company and recruiter through an official company domain before applying. Never pay money, share one-time codes, sign out of your Apple or Google account, install apps or configuration profiles, or run code from a repository sent by a recruiter.
Job description
Data Engineer в Корпоративное хранилище
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
-Настраивать, обновлять, мониторить и тюнить кластера Trino
-Настраивать коннекторы (Iceberg, S3)
-Оптимизировать производительность запросов (resource groups, query analysis)
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution
-Имеете навыки Linux, Bash, Python для автоматизации
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
-Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).
Откликнуться
IT Jobs в Telegram | в VK | в Max
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
-Настраивать, обновлять, мониторить и тюнить кластера Trino
-Настраивать коннекторы (Iceberg, S3)
-Оптимизировать производительность запросов (resource groups, query analysis)
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution
-Имеете навыки Linux, Bash, Python для автоматизации
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
-Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).
Откликнуться
IT Jobs в Telegram | в VK | в Max
Skills
- bash
- linux
- python
- s3
- spark
Languages
RU
Apply
Open this job in our interactive board to apply, save it, or sign up for matched alerts on similar roles.
View & apply