LLM Infrastructure Engineer

#вакансия https://vesper-team.ru Вилка: от 2 000 до 3 500 USD Условия: удаленно, full-time контакты: https://t.me/OSShinkareva Senior AI/LLM Infrastructure Engineer

Ищем сильного Python-разработчика, который умеет не просто подключать LLM, а строить вокруг моделей production-инфраструктуру: обрабатывать большой поток данных, контролировать качество ответов, проводить evals и делать AI-пайплайн быстрее и дешевле.

Что предстоит делать: строить и развивать AI/LLM-пайплайны в production; — работать с подготовкой данных для моделей и структурированным извлечением информации; — проектировать structured output и валидацию ответов; — создавать тестовые наборы и regression-прогоны для LLM; — измерять качество ответов моделей и находить причины ошибок; — участвовать в выборе и замене моделей; — оптимизировать latency и стоимость inference; — работать с большими объёмами запросов/данных; — развивать backend и инфраструктуру вокруг AI.

Что важно:

Python — от 3 лет Опыт с FastAPI или другим async-фреймворком.

Production backend Понимание очередей и асинхронной обработки: Kafka / RabbitMQ / Redis или аналоги.

Реальный опыт работы с LLM Не просто интеграция API, а собственная работа с ответами моделей: промпты, structured output, извлечение сущностей, типизированные ответы, few-shot, валидация.

Опыт измерения качества AI — обязательно Golden set, evals, regression tests, accuracy/precision, A/B-тесты моделей, работа с hallucinations или аналогичный подход.

Умение оптимизировать стоимость/скорость Будет большим плюсом опыт routing между моделями, кэширования, оптимизации промптов и inference.

Будет плюсом: — pgvector / Qdrant / Weaviate; — ClickHouse; — Prometheus / Grafana / Langfuse; — дообучение моделей; — опыт с Claude Code / Codex.