Структурне тестування програмного забезпечення. Формальні специфікації й верифікація програм. (Лекція 1.3) презентация

3. "Формальні специфікації й верифікація програм. Методи перевірки та тестування програм та систем"

Способи тестування умов
4. Спосіб тестування потоків даних
5. Контрольні питання

68 год
Курсова робота – 4 семестр
Екзамен – 4 семестр

Модуль 3. "Формальні специфікації й верифікація програм. Методи перевірки та тестування програм та систем"
Модуль №4. "Інтерфейси, взаємодія та зміна програм і даних. Засоби програмної інженерії"

- 464 с.

2. Андон Ф.И. Основи інженерії якості програмних систем / Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. - К.: Академпериодика, 2007. - 672 с.

3. Архипенков С. Лекції по керуванню програмними проектами, М.: 2009, 128 с.

один з методів подальшого поліпшення якості розробленого програмного забезпечення системи за допомогою виявлення дефектів, що залишилися, не виявлених раніше всіма іншими видами перевірок.

Стандарти
ANSI/IEEE Std. 610.12:1990
ДСТУ 2844-94,
ДСТУ 2853-94

Тестування - процес виконання програмної системи (або її елементів) з метою перевірки її відповідності встановленим вимогам і виявлення дефектів.

налагодження;
з 1957 по 1978 р. - орієнтація на встановлення відповідності ПС вихідним вимогам;
з 1979 по 1982 р. - орієнтація на виявлення дефектів, що залишилися після реалізації;
з 1983 по 1987 р. - орієнтація на аналіз, перевірку й тестування з метою оцінки якості ПС на всіх стадіях розробки;
з 1988 по 1995 р. - інтеграція дій по перевірці й тестуванню в життєвий цикл ПС із метою запобігання появи дефектів на всіх стадіях розробки (з охватом всіх дій по верифікації, валідації й тестуванню).
в 1995 році - стандарт ISO/IEC 12207
2004 рік - SWEBOK

Version - Руководство к Своду Знаний по Программной Инженерии, “SWEBOK”.

адекватність тестування
оцінка витрат (вартості, часу, персоналу) на тестування
вибір обмеженої множині тестів
поняття «дефект» і «відмова»

виконання тестування
деструктивний (негативне, руйнівне тестування)
конструктивний (позитивне або демонстраційне).

для виявлення дефектів
Проблема оракула.
Теоретичні й практичні обмеження тестування.
Проблема нездійсненних шляхів.
Тестопридатність

перевірка, перевіряємість, спосіб підтвердження, перевірка за допомогою доказів, яких-лібо теоретичних положень, алгоритмів, програм та процедур шляхом їх зіставлення з еталонними чи емпіричними даними, алгоритмами та програмами; підтвердження відповідності кінцевого продукту передвизначеним еталонним вимогам.

Валідація - підтвердження на основі надання об'єктивних свідоцтв того, що вимоги, що призначені для конкретного використання чи застосування, виконані.

перевірки (звірення) характеристик продукції з заданими вимогами, результатом є висновок про відповідність (чи невідповідності) продукції.

Валідація — проводиться за необхідності, шляхом аналізу заданих умов застосування та оцінки відповідності характеристик продукції цим вимогам, результатом є висновок про можливість застосування продукції до конкретних вимог.

Testing“)
інтеграційне (ДСТУ 2941)
тестування ПЗ
Системне (ISO/IEC 12207)
по цілям якості, (акцент на нефункціональні вимоги: надійність, стійкість, продуктивність, переносимость і ін.,
зовнішнім інтерфейсам з іншими системами, середовищем, апаратним забезпеченням.

«Приймання замовником» (споживачем) і зв'язується із процесом «Валідації»
(ISO/IEC 12207)
Тестування інсталяції (настановні випробування) виконується в середовищі експлуатації
Альфа й Бета тестування
Регресійне (regression test) і повторне ( re-test) тестування

безпеки (Security testing)
Тестування зручності застосування (ергономічності)
Тестування технічних характеристик
Тестування на надійність.
Тестування продуктивності (Performance testing)
види:
навантажувальне тестування (load testing)
тестування на стійкість (stress testing);
тестування обсягу (volume testing) .
Тестування конфігурації (Configuration testing).
Порівняльне тестування ( Back-to-back testing).
Тестування відновлення (Recovery testing).
Керована тестами розробка ( Test-driven development)

AA > B

A < B C = 1
A < B C ≠ 1
A ≥ B C=1
A ≥ B C≠1

seeding);
мутаційне тестування (mutation testing).

відмовами MTBF (Mean Time Between Failure)
тестування по операційному профілі
метод SRET (Software Reliability Engineered Testing)
тестування по сценаріях можливого використання
тестування на базі моделей

графічного інтерфейсу користувача;
тестування протоколів на відповідність;
тестування систем реального часу;
тестування критичних систем.

Виконання тестів.
Крок 4. Побудова евристик.
Крок 5. Визначення критерію покриття.

другорядні.
Виявлення областей можливої нестійкості продукту (підданих відмовам функцій і даних).

оперативна пам'ять;
дуже складні функції;
функції, що використовують засоби Windows і/або її параметри, що змінюють (настроювання параметрів);
функції, що маніпулюють конфігурацією Windows;
функції аналізу вхідних даних і обробки помилок;
функції, що підмінюють базові функції Windows (наприклад, відновлення вилучених файлів);
функції або групи функцій, що використовують багато паралельних процесів;
функції, що працюють із багатьма файлами одночасно;
функції, що працюють із файлами, розташованими в мережі. Приклади областей можливої нестійкості при обробці даних:
документи: довгі, багато одночасно відкритих;
запису: довгі, багато записів, порожні, складні;
списки: довгі, порожні або багатоколонкові;
поля: уведення великої кількості символів; дуже більші значення числових полів;
об'єкти: багато, великі, складні й ін.

потенційної нестійкості;
вибіркове тестування другорядних функцій;
реєстрація відмов;
фіксація будь-яких виявлених проблем (для подальшого вивчення).

функції;
протестовані обрані області можливої нестійкості (п'ять - десять функцій, , які можуть привести до нестійкої роботи продукту, протестувати їх на тестових даних).
Розподіл часу
80% часу - на основні функції,
10% - на другорядні й
10% - на області потенційної нестійкості.

даних;
при запуску тестів виконуються ті самі операції;
від виконання тестів очікуються однакові результати;
або жоден з тестів не викликає виконання блоку обробки помилок, або всі тести викликають виконання цього блоку (у припущенні, що програма взагалі містить блоки обробки помилок).

елементи, які можуть тестироваться незалежно.
Крок 2. Ідентифікація параметрів і умов середовища, що впливають на поводження функції.
Крок 3. Виділення категорій інформації, що характеризує кожний параметр і умова середовища.
Крок 4. Розбивка кожної категорії на чіткі альтернативи, які включають різні види значень, можливі для категорії.
Крок 5. Формування формальної специфікації тесту для кожного функціонального елемента.

реалізації функцій і виявлення різних класів дефектів у найбільш уразливих частинах програми;

функціональний аналіз є невід'ємною частиною методу й виконується паралельно зі специфікацією функціональних вимог (або відразу після), забезпечуючи своєчасне усунення дефектів специфікацій;

хоча специфікація тесту повинна охоплювати всі можливі категорії інформації й варіанти сполучення альтернатив, - застосовуючи механізм обмежень і керуючись практичними міркуваннями, можна управляти обсягом тестування;

процес перебору альтернатив і «відсівання» неможливих або небажаних їхніх сполучень може бути автоматизований, що позбавить тестувальника від рутинної роботи.

для генерації тестів або еталона.

на етапи, протягом яких браузер працює з одним описом інтерфейсу, а ці етапи, у свою чергу, розділяються однозначно локализуемыми обігами від браузера до додатка;

для опису інтерфейсу застосовується стандартне подання;

взаємодія між браузером і додатком здійснюється по стандартному протоколі (HTTP) і чітко формалізовано;

функціональність Web-Додатка розподілена між вилученим сервером і клієнтськими комп'ютерами користувачів.

визначення.

між ними

маршрутів.
2. Вичерпне тестування маршрутів не гарантує відповідності програми вихідним вимогам до неї.
3. У програмі можуть бути пропущені деякі маршрути.
Не можна виявити помилки, появу яких залежить від оброблюваних даних
Достоїнства :
1. Кількість помилок мінімально в «центрі» і максимально на «периферії» програми.
2. Попередні припущення про ймовірність потоку керування або даних у програмі часто бувають некоректні. У результаті типовим може стати маршрут, модель обчислень по якому пророблена слабко.
3. При записі алгоритму ПЗ у вигляді тексту мовою програмування можливе внесення типових помилок трансляції (синтаксичних і семантичних).
4. Деякі результати в програмі залежать не від вихідних даних, а від внутрішніх станів програми.

програми. У ході відображення закриваючі дужки умовних операторів і операторів циклів (end if; end loop) розглядаються як окремі (фіктивні) оператори.
2. Вузли (вершини) потокового графа відповідають лінійним ділянкам програми, включають один або декілька операторів програми.
3. Дуги потокового графа відображають потік керування в програмі (передачі керування між операторами). Дуга - це орієнтоване ребро.
Розрізняють операторні й предикатні вузли. З операторного вузла виходить одна дуга, а із предикатного - дві дуги. Предикатні вузли відповідають простим умовам у програмі. Складена умова програми відображається в кілька предикатних вузлів. Складною називають умова, у якій використовується одна або декілька булевих операцій (OR, AND).
5. Замкнуті області, утворені дугами й вузлами, називають регіонами.
6. Навколишнє середовище графа розглядається як додатковий регіон.

запис порожній
3 те видалити запис:
4 інакше якщо поле а >= поля b
5 то видалити b;
6 інакше видалити а;
7а кінець якщо;
7а кінець якщо;
7b кінець виконувати;
8 кінець стиск;

способі тестування базового шляху цикломатична складність визначає:
кількість незалежних шляхів у базовій множині програми;
верхню оцінку кількості тестів, що гарантує однократне виконання всіх операторів.

Незалежні шляхи для потокового графа із приклада 1:
Шлях 1: 1-8.
Шлях 2: 2-3-7а-7 b-1-8.
Шлях 3: 4-5-7а-7 b-1-8.
Шлях 4: 4-6-7а-7 b-1-8.

V(G)= E-N+2,
де Е — кількість дуг, N — кількість вузлів потокового графа;
За виразом V(G) =p+ 1,
де р — кількість предикатних вузлів у потоковому графі G.

Цикломатична складність графа із приклада 1 :
1) потоковий граф має 4 регіони;
2) V(G) = 11 дуг - 9 вузлів + 2 = 4;
3) V(G) = 3 предикатних вузли +1=4.

введено := 0;
1 колич := 0;
1 сум := 0;
вып пока 2 -вел( i ) <> stop и введено <=500 - 3
4 введено:= введено + 1;
если 5 -вел( i ) >= мин и вел( i ) <= макс - 6
7 то колич := колич + 1;
7 сум := сум + вел( i );
8 конец если;
8 i := i + 1;
9 конец вып;
10 если колич > 0
11 то сред := сум / колич;
12 иначе сред := stop;
13 конец если;
13 конец сред;

13 вузлів + 2 = 6;
3) V(G) = 5 предикатних вузлів + 1 = 6.

10-12-13;/вел=stop, колич=0.
Шлях 3: 10-11-13; /спроба обробки 501-й величини.
Шлях 4: 8-9-2-... /вел<хв.
Шлях 5: 8-9-2-... /вел>макс.
Шлях 6: 8-9-2-... /режим нормальної обробки

Е2 — арифметичні вираження, а оператор відносини використовується один з : <, >, =, ≠,≥,≤.
Складна умова складається з декількох простих умов, булевых операторів
можливі наступні типи помилок:
помилка булевого оператора (наявність некоректних / відсутніх / надлишкових булевих операторів);
помилка булевої змінної;
помилка булевої дужки;
помилка оператора відносини;
помилка арифметичного вираження

тестування.
3. Що таке вичерпне тестування?
4. Які завдання вирішує тестування?
5. Яких завдань не вирішує тестування?
6. Які принципи тестування ви знаєте? У чому їхня відмінність друг від друга?
7. У чому складається суть тестування «чорного ящика»?
8. У чому складається суть тестування «білого ящика»?
9. Які особливості тестування «білого ящика»?
10. Які недоліки має тестування «білого ящика»?
11. Які достоїнства має тестування «білого ящика»?
12. Дайте характеристику способу тестування базового шляху.
13. Які особливості має потоковий граф?
14. Поясните поняття незалежного шляху.
15. Поясните поняття цикломатичної складності.
16. Що така базова множина?
17. Які властивості має базова множина?
18. Які способи обчислення цикломатичної складності ви знаєте?
19. Поясните кроки способу тестування базового шляху.
20. Поясните достоїнства, недоліки й область застосування способу тестування базового шляху.
21. Дайте загальну характеристику способів тестування умов.
22. Які типи помилок в умовах ви знаєте?
23. Які методики тестування умов ви знаєте?
24. Поясните суть способу тестування галузей і операторів відносин. Які він має обмеження?
25. Що таке обмеження на результат?
26. Що таке обмеження умови?
27. Що така обмежуюча множина? Чим зручно його застосування?
28. Поясните кроки способу тестування галузей і операторів відносин.
29. Поясните достоїнства, недоліки й область застосування способу тестування галузей і операторів відносин.
30. Поясните суть способу тестування потоків даних.
31. Що така множина визначень даних?
32. Що така множина використань даних?
33. Що таке ланцюжок визначення-використання?
34. Поясните кроки способу тестування потоків даних.
35. Поясните достоїнства, недоліки й область застосування способу тестування потоків даних.
36. Поясните особливості тестування циклів.
37. Які методики тестування простих циклів ви знаєте?
38. Які кроки тестування вкладених циклів?