Вакансия: Senior Streaming Data Engineer

Senior

Streaming

Data

Engineer

Удаленно IT & Data Development Откликнуться

Задачи

• Разрабатывать и развивать общий framework потоковой обработки данных на Apache Flink / Spark Structured Streaming
• Проектировать архитектуру streaming-решений для высоконагруженной Data-платформы
• Формировать стандарты, подходы и best practices для потоковой обработки данных внутри компании
• Разрабатывать stateful и stateless streaming-приложения
• Участвовать в выборе, оценке и внедрении новых инструментов и технологий для обработки данных
• Работать с большими объемами данных и высоконагруженной инфраструктурой
• Влиять на развитие технологического стека и инженерных подходов Data & AI Platform

Требования

• Сильные навыки разработки на Java и/или Scala
• Практический опыт разработки streaming-приложений на Apache Flink и/или Spark Structured Streaming
• Хорошее понимание принципов потоковой обработки данных
• Понимание stateful и stateless processing и особенностей их применения
• Знание SQL и базовых принципов работы с данными
• Понимание архитектуры и особенностей распределенных систем обработки данных
• Умение самостоятельно принимать технические решения и работать со сложными инженерными задачами

Бенефиты