Технологии тестирования ИСП РАН презентация

за ее работой
в специально подготовленных ситуациях

Система в ходе тестирования должна работать
Нужно готовить специальные ситуации – тесты
Оценивается соответствие – ищем ошибки
Нужна общая оценка – ищем все ошибки

должна быть
Повторяем, пока не исчерпаются все существенно различные ситуации

как должна система вести себя в его рамках
Дополняем сценарий проверкой правильности Получается тестовый вариант (test case)
Оцениваем достаточность имеющегося набора ситуаций: достаточно – конец, нет – goto 1

a)
{ t = a; a = b; b = t; }

while(b > 0)
{ t = b; b = a%b; a = t; }

return a;
}

gcd ( 2, 1 ) == 1 ?
gcd ( 3, 2 ) == 1 ?
gcd ( 4, 2 ) == 2 ?
gcd ( 175, 15 ) == 5 ?

== X)

?

В начале – полна
put(X)
assert (exception)

ситуаций
– ментальная модель всех важных ситуаций
Управление построением тестов
– ментальная модель устройства тестовых воздействий

При тестировании на основе моделей
модели выделяются явно и заранее

-2147483648

системы)

Сложность
Повышенные требования к разработчикам тестов
Образование
Абстрактное мышление
Умение программировать
Трудность интеграции в обычную разработку

целенаправленно – для увеличения полноты тестирования

) ==
gcd ( 3, 2 ) ==
gcd ( 4, 2 ) ==
gcd ( 175, 15 ) ==

a%gcd(a, b) == 0 ?
b%gcd(a, b) == 0 ?
for(int i=gcd(a,b)+1; i{ a%i != 0 || b%i != 0 } ?

1 ?

1 ?

2 ?

5 ?

b>a

b>0

X, Y]

[X, Y, X]

[X, Y, Y]

[Y, X, X]

[Y, X, Y]

[Y, Y, X]

[Y, Y, Y]

воздействий
Получение результатов
Проверка корректности результатов
Диагностика ошибок
Оценка полноты тестирования
При сопровождении тестов
Удобство разработки
Удобство использования
Удобство сопровождения
Переиспользование

x.a = -1
x.b = 3.1415
x.c = x

Тестируемая система

f(x)

g(x)

f(y)

h(x,y)

f(x)

?

спецификации
Параллелизм – аксиома простого параллелизма
Критерии полноты
Варианты в рамках грамматик
Варианты в рамках контракта
Построение тестов
Генераторы данных по грамматикам
Построение конечных автоматов, обеспечивающих полноту покрытия вариантов контракта, их автоматический обход

некорректных данных
– покрытие всех неправильных в данном контексте терминалов
Контекстные условия
Нацеленная генерация
– ссылочная целостность, единственность в данном контексте
Фильтрация
Описание абстрактного синтаксиса

комбинаций

Привязка базовых блоков

if(…)…else …

for(…;…;…)

+ Expr2

набор операций
Поведение операции определяется ее контрактом
Предусловие описывает область определения операции
sqrt(x): pre x ≥ 0
Постусловие описывает ограничения на правильные результаты операции
sqrt(x): post result*result == x
Инварианты компонента описывают условия целостности его данных
Triangle: double x,y,z : x+y>z & x+z>y & y+z>x

post
{
if ( name == null || clients.containsKey(name) )
{
branch "Client cannot be created";
return addClient == null && clients.equals( pre clients.clone() );
}
else
{
branch "Client can be created";
HashMap oldClients = (HashMap)clients.clone();
oldClients.remove(name);

return addClient != null && addClient.name.equals(name)
&& addClient.parent == null && addClient.children.isEmpty()
&& clients.get(name) == addClient
&& oldClients.equals( pre clients.clone() );
}
}
}
}

g(a) ) …
else if( h(a, c) && !g(b) ) …
else …


}

одного воздействия

при помощи контракта
Постусловие события определяет корректность его наступления и изменения состояния компонента
eMailSent:
post pre mails.size() != 0
&& mails.size() == pre mails.size()-1

IPv6
Microsoft Research 2000-2001
Мобильный IPv6 (в Windows CE 4.1) 2002-2003
Октет 2002
Оптимизаторы компиляторов Intel 2001-2003
Стандарт AVS-IPMP 2004
Тестовый набор для IPsec 2004-…
Тестовый набор для Linux Standard Base 3.1 2005-…
Компоненты биллинговой системы и EAI 2005-…
Тестовый набор для ОС ос2000 (НИИСИ) 2005-...
Пилотные проекты
ГосНИИАС 2003
Компоненты TinyOS 2003
Компоненты CRM-системы (Luxoft) 2004
Оптимизатор трансляции граф. моделей 2005
http://www.unitesk.com/ru

автоматов для тестирования программ. Программирование, 26(2):61-73, 2000
I. Bourdonov, A. Kossatchev, V. Kuliamin, A. Petrenko. UniTesK Test Suite Architecture. Proc. of FME 2002, LNCS 2391, pp. 77-88, Springer-Verlag, 2002
В.В.Кулямин, А.К.Петренко, А.С.Косачев, И.Б.Бурдонов. Подход UniTesK к разработке тестов. Программирование, 29(6):25-43, 2003
A. Kossatchev, A. Petrenko, S. Zelenov, S. Zelenova. Using Model-Based Approach for Automated Testing of Optimizing Compilers. Proc. Intl. Workshop on Program Undestanding, Gorno-Altaisk, 2003
А. В. Баранцев и др. Подход UniTesK к разработке тестов: достижения и перспективы. Труды ИСП РАН, т. 5, с. 121-156, 2004
С. Зеленов, С. Зеленова, А. Косачев, А. Петренко. Генерация тестов для компиляторов и других процессоров формальных текстов. Программирование, 29(2):104-111, 2003
V. Kuliamin, A. Petrenko. Applying Model Based Testing in Different Contexts. Proc. of seminar on Perspectives of Model Based Testing, Dagstuhl, Germany, September 2004.
V. Kuliamin, N. Pakoulin, A. Petrenko. Practical Approach to Specification and Conformance Testing of Distributed Network Applications. Proc. of 2-nd International Service Availability Symposium, LNCS 3694, pp. 68-83, Springer-Verlag, 2005

www.ispras.ru/groups/rv/rv.html Сайт UniTESK: www.unitesk.com e-mail: petrenko@ispras.ru Телефон: (8-495)-9125317 Факс: (8-095)-9121524

Докладчик Сайт: www.ispras.ru/~kuliamin e-mail: kuliamin@ispras.ru