AI Test Automation Engineer

#jobs #Удалённо

📍 Формат/working arrangement: удалённо, полная занятость ✔️ Должность/position: AI Test Automation Engineer 🏢 Место работы/workplace: ООО ОнТаргет ЛАБС / OnTarget Labs 💸 Заработная плата/salary estimate: 4 000–4 500 $ в месяц, до вычета налогов

📈 Обязанности/responsibilities: — Разработка и поддержка автоматизированных тестов для backend-сервисов и API — Тестирование AI-функций и сервисов, включая проверку результатов и поведения моделей — Интеграция AI evaluations в CI/CD pipelines для постоянного контроля качества AI — Тестирование асинхронных и event-driven процессов — Валидация data pipelines, работающих со структурированными данными, текстами и документами — Тестирование нефункциональных требований: производительность, масштабируемость и надёжность — Взаимодействие с backend-разработчиками и product-командой для определения критериев качества — Участие в настройке CI checks и quality gates — Подготовка и поддержка test reporting — Мониторинг качества AI-систем при изменении моделей, промптов и данных — Работа с системами, использующими AI / ML / LLM-компоненты

📌 Требования/requirements: — Опыт автоматизации backend-тестирования от 3 лет — Уверенное владение Python — Уверенное владение JavaScript / TypeScript — Опыт работы с pytest, unittest или аналогичными тестовыми фреймворками — Опыт тестирования API с использованием Postman, Requests, HTTPX или аналогов — Опыт работы с Docker — Знание SQL для валидации данных — Опыт тестирования backend-систем с AI / ML / LLM-компонентами — Опыт работы с инструментами LLM evaluation: DeepEval, Ragas, LangSmith или аналогами — Опыт тестирования производительности и масштабируемости систем — Опыт работы с cloud-средами: AWS, GCP, Azure или аналогами — Опыт создания или поддержки AI evaluations будет преимуществом — Опыт работы с недетерминированными системами, включая flaky results и hallucinations, будет преимуществом — Опыт contract testing с Pact или аналогами будет преимуществом — Знание prompt engineering или RAG-based systems будет преимуществом — Знакомство с инструментами observability: CloudWatch, Kibana, Grafana и аналогами будет преимуществом — Базовые знания security testing, OWASP и API security будут преимуществом — Опыт работы с synthetic test data будет преимуществом — Английский язык — B2 и выше

Ключевые навыки: — AI Testing — AI Evaluation — Test Automation — Backend Testing — Python — JavaScript — TypeScript — Pytest — Unittest — API Testing — Postman — Requests — HTTPX — SQL — Docker — CI/CD — DeepEval — Ragas — LangSmith — LLM — ML — AI — Performance Testing — Scalability Testing — Cloud — AWS — GCP — Azure — Contract Testing — RAG — Prompt Engineering — Grafana — Kibana — CloudWatch — OWASP

✅ Условия/working conditions: — Полная занятость — График 5/2 — Рабочий день 8 часов — Формат работы: полностью удалённо — Выплаты один раз в месяц — Работа в международной компании по разработке программных продуктов — Работа над современными продуктами с AI-powered функциональностью — Возможности профессионального роста — Возможность зарубежных командировок — Работа в международной команде IT-специалистов

📍 Адрес/work location: Удалённо, Алматы

📢❗️🚨 Контакты для связи/Contact information: https://hh.kz/vacancy/136017977?query=Data+Engineer&hhtmFrom=vacancy_search_list