Data Engineer

Data-инженер в команду SQL-SWAT #удаленка Компания: Авито

☑️Какие задачи вас ждут: -разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции; -самостоятельно мигрировать объекты с помощью созданных инструментов: -транслировать код; -верифицировать данные; -переносить историю; -переключать зависимости; -обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции; -в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных; -мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA; -улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов; -взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики.

☑️Примеры будущих задач: -доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%; -создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя; -мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%; -оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%; -ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность.

Откликнуться

🔥 Подписаться на наши каналы / @best_itjob / @it_rab