Основы разработки тестовых сценариев презентация

таблицей или списком
Действия
Ожидаемые результаты
Опциональная дополнительная информация:
Снимки экрана
Логи
Файлы, сгенерированные в процессе теста

входные данные.
 
Определен ожидаемый результат, считаемый «хорошим».

Воспроизводимость.
 
Независимость: может исполняться независимо. Оставляет систему в том же состоянии.

Тест должен быть наилучшим в своей категории.

Экономичный. Нет избыточных шагов.

непоследовательное описание условий тестирования или подготовки тестового окружения.

Пропущенные «очевидные» шаги.

Использование устаревшей информации о тестируемой системе.

Неочевидно, кто должен выполнить действие: пользователь или система.

Неясно, что является успешным результатом.

Отсутствие очистки системы.

непоследовательное описание условий тестирования или подготовки тестового окружения.

Пропущенные «очевидные» шаги.

Использование устаревшей информации о тестируемой системе.

Неочевидно, кто должен выполнить действие: пользователь или система.

Неясно, что является успешным результатом.
 
Отсутствие очистки системы.

количество дефектов. Необходимо использование методов для выбора набора входных значений.

Основные методы выбора входных значений:
Перебор всех возможных значений,
 Случайные входные данные,
 Предугадывание ошибки,
Построение графов «причина-следствие»,
Использование классов эквивалентности,
 Исследование граничных значений.

всех возможных комбинаций входных значений.
 
 
Попарный перебор. Перебираем комбинации пары 2х входных параметров. Работаем в предположении, что параметры попарно зависимы. На практике находит ~80% функциональных дефектов низкого уровня.

из большого тестового набора, который не успеваем проверить целиком.
 
Часто используется в нагрузочном тестировании.
 
Необходимо иметь метод определения корректности выхода.
 
 
 
 
Пример: программа подсчета числа вхождений символа в строку

известных проблемных местах вашего продукта.
 
Знайте распространенные ошибки программирования и пишите тесты для их поиска.
 
 
Некорректная работа с памятью: переполнение, чтение за пределами, утечки памяти.
 Отсутствие обработки некорректных входных данных.
 Ошибки работы с типами данных: переполнение, приведение, приближение.
 Ошибки многопоточности: deadlock, data race.
 Отсутствие инициализации/сброса переменных.
 Недостаток привилегий, недоступность ресурсов.
….

и следствия.
 
Выписываем невозможные сочетания причин и следствий.

Разрабатываем «таблицу решений», где в каждом столбце конкретная комбинация входов и выходов.
 
Превращаем каждый столбец в тестовый сценарий. Преимущества и недостатки:
 
Комбинаторный взрыв числа вариантов.
 
Позволяет систематизировать процесс построения сценариев.

Используются эвристики для уменьшения числа комбинаций

тестов представляет класс эквивалентности, если:
Все тесты предназначены для выявления одной и той же ошибки.
Если один тест выявит ошибку, то и остальные это сделают.
Если один из тестов не выявит ошибку, то и остальные этого не сделают.
Дополнительные практические критерии:
Тесты включают значения одних и тех же входных данных.
Для проведения теста выполняются одни и те же операции программы.
В результате тестов формируются значения одних и тех же выходных данных.
Ни один из тестов не вызывает выполнения конкретного блока обработки ошибок либо выполнение этого блока вызывается всеми тестами.

треугольники.
 Равносторонние треугольники.
Прямоугольные треугольники.
 Просто треугольники.
 Классы эквивалентности по некорректным входным данным:
Отрезки не образуют треугольник.
Числа больше sizeof(int).
Строка, содержащая буквы.

входным данным:
День от 1 до 27;
Последний день месяца;
Последний день года;
28 февраля високосного года.
Классы эквивалентности по некорректным входным данным:
 
Месяц > 12;
День > 31;
Неверная строка.

о классах некорректных данных.  
Формируйте классы в виде таблицы или плана.  
Определите диапазоны числовых значений входных данных.  
Проанализируйте варианты выбора из списков и меню.  
Поищите переменные, значения которых должны быть равными.  
Поищите классы значений, зависящих от времени.  
Выявите группы переменных, совместно участвующих в конкретных вычислениях.  
Посмотрите, на какие действия программа отвечает эквивалентными событиями.  
Продумайте варианты среды тестирования.

на границе.
 Проверяем значения, лежащие максимально близко к границе с обоих сторон.
 Пример:
 
При покупке более 100 единиц товара дается скидка 5%.
Нужно проверить:
100
99
 101

эвристики. Они несовершненны и подвержены ошибкам
 Оракул лишь может указать нам на проблемное место, но не дать ответ, корректно ли поведение программы.