Нефункциональное тестирование AI-приложений — бесплатный курс от Mentorpiece

Если в случае классических приложений нефункциональное тестирование часто переносят в разряд “было бы неплохо” и оставляют на потом, то при тестировании AI-приложений так уже не получится.

Например, тестирование стоимости (Costs testing).

Возьмем наш реальный кейс:

Выбор команды в данном случае был очевиден.

Или посмотрим на тестирование прослеживаемости (Traceability testing).

AI-модели - это полноценные «черные ящики». Даже разработчикам зачастую невозможно понять, как конкретный ввод данных привел к конкретному решению или выводу.

Без хорошо организованного тестирования прослеживаемости, когда мало кто в команде понимает, почему именно сейчас выдан такой результат, любое AI-приложение очень быстро превращается в генератор так "любимого" пользователями слопа.

Другая боль AI-приложений - это надежность. Задержка и пропускная способность часто “плавают”, а какая-нибудь AI-модель (если их в приложении несколько) периодически норовит отвалиться.

Опять же пример из нашей практики:

Если хочется получить представление обо всем этом:

• Тестирование стоимости (Costs testing)

• Тестирование прослеживаемости (Traceability testing)

• Тестирование надежности (Reliability testing)

• Тестирование устойчивости (Robustness)

• Тестирование конфиденциальности и утечки данных (Privacy and data leakage testing)

• Как выбрать правильную AI-модель и почему нельзя слепо верить публичным бенчмаркам?

• Как применять LLM-as-a-Judge для тестирования?

• Зачем вообще появились AI-Агенты и как их тестировать?

• Как тестировать RAG?

• Как тестировать Fine-tuned модели?

• Как тестировать данные?

но при этом не закопаться в ненужных деталях, то наш обзорный бесплатный курс - находка для классического тестировщика.

Он для тех, кто с тестированием AI-приложений еще не сталкивался и пока не планирует, но при этом хочет “для своего спокойствия” хотя бы примерно быть в курсе, что это такое.

Как всегда, бесплатно и без регистрации

Регистрация нужна только для сохранения прогресса.

Как тестировать AI-приложения: Нефункциональное тестирование

Также курс бесплатно доступен и на Stepik.

Всем интересного и результативного обучения!

Анонс выхода материалов про тестирование чат-ботов и AI-агентов - в телеграм-канале Становимся продвинутым QA.