Agentic QA
Навчись тестувати AI-агентів, RAG-системи і agentic pipelines — від першого eval до production CI/CD.
Подати заявку →Для кого цей курс
QA Engineer Middle+
Проєкт перейшов на LLM — не знаю як тестувати по-нормальному
Automation QA / SDET
Хочу конкретний технічний стек для тестування AI, а не «якось протестувати»
Tech Lead / QA Lead
Боюся production-інцидентів і не знаю що запитати у команди
Чого ти навчишся
Risk mapping
Декомпозувати агентну систему і будувати risk map як основу тест-стратегії.
Eval automation
Писати eval-suite з DeepEval або Promptfoo замість ручних перевірок.
RAG & dialog testing
Вимірювати якість RAG через RAGAS і знаходити context failure.
LLM-as-a-Judge
Реалізувати і калібрувати judge-оцінку, підключити до CI.
Security & red teaming
Проводити red team сесію за OWASP LLM Top 10.
CI/CD quality gates
Вбудувати eval gates і agentic workflows у GitHub Actions pipeline.
Програма курсу
Блок 1. Фундамент
- Заняття 1. AI-системи як об'єкт тестування: чому все інакше
- Заняття 2. Архітектура агентних систем очима QA
Блок 2. Тестування LLM
- Заняття 3. Промпт та контекст інжиніринг для QA
- Заняття 4. Метрики в тестуванні ШІ
- Заняття 5. Тестування промптів: від ручних перевірок до автоматизації
- Заняття 6. Тестування RAG: hallucination, faithfulness, relevancy
- Заняття 7. Тестування багатокрокових діалогів і context management
- Заняття 8. Тестування різних моделей й приклади у GitHub Models
- Заняття 9. Локальні моделі для тестування: Ollama і Lemonade AI Runtime
Блок 3. Agentic Testing
- Заняття 10. LLM as a Judge: імплементація і підводні камені (Deep-Eval + Spring AI Test)
- Заняття 11. Security testing: Prompt Injection і Red Teaming
- Заняття 12. Tool call testing і MCP
- Заняття 13. Observability і cost testing
- Заняття 14. AI-assisted Test Case Generation і Code Review
Блок 4. Автоматизація і фреймворки
- Заняття 15. Побудова фреймворку для автоматизованого тестування ШІ
- Заняття 16. Eval pipeline у CI/CD: Quality Gates з DeepEval і LLM-as-a-Judge
Блок 5. Системний рівень і Agentic CI/CD
- Заняття 17. Agentic CI/CD: AI-агенти як частина пайплайну розробки
- Заняття 18. Documentation і Test Generation як частина agentic workflow
Блок 6. Фінальний проєкт
- Заняття 19. Підготовка фінального проєкту: консультації і peer review
- Заняття 20–21. Захист: демо живого CI/CD pipeline + запитання від групи
Фінальний проєкт: AI-Powered Application — повний цикл
Студент самостійно будує AI-додаток і здає:
- AI-додаток (300–800 рядків, з допомогою Claude Code або Copilot)
- Тест-стратегія (2–4 сторінки, go/no-go критерії)
- Risk-based test coverage matrix
- Тести на всіх рівнях: eval · RAG · LLM-judge · security · E2E
- AI test framework з LLM-as-a-Judge і звітом
- CI/CD pipeline: quality gates + AI code review + автоматичний реліз
- Документація: README + опис де AI-асистент допоміг і де заважав
Вартість
≈ 1 900 грн / заняття
Що входить:
- Всі матеріали курсу: презентації, код прикладів, лекційні нотатки
- Фідбек на кожне домашнє завдання
- Ревʼю фінального проєкту з лектором
- Доступ до записів занять
- Виконаний власний проект: AI-agent з CI/CD та Тест Стратегією і Agentic workflow на базі Claude Code або GitHub Copilot
Група 8–12 людей
Малі групи — персональний фідбек на кожне домашнє завдання, а не формальна перевірка «пройшов / не пройшов».
Залишити контакт — розкажу деталі про старт, формат і вартість.
Подати заявку →