Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО на основе числовых и семантичеcких инвариантов. презентация

ПО ИУС критического применения: диверсификация технологий верификации ПО на основе числовых и семантичеcких инвариантов.

Авторский коллектив: Б. М. Конорев, Ю.Г. Алексеев, Ю.С. Манжос, В.В. Сергиенко, В.С. Харченко, Г.Н. Чертков

Сертификационный центр АСУ Госцентркачества Государственного комитета ядерного регулирования Украины Украина 61070, г. Харьков, а/я 9871, ул. Академика Проскуры, 1. Тел/факс: (057) 760-32-76, 760-38-61 Директор Г.Н. Чертков www.scasu.com E-mail: scasu@scasu.com

Харьков, 2005

регулирующих нормативных требований к ПО в рамках ЖЦ ИУС критического применения.
• Диверсификация технологий верификации; модели, методы и метрики оценки качества ПО ИУС для композиции диверсных технологий верификации.
• Концепция, технические требования и разработка утилит статического анализа как основы инструментального оснащения испытательных лабораторий и организаций-разработчиков.
• Реализация процедур инструментирования исходного ПО, измерения атрибутов (инвариантов), калибровки чувствительности к дефектам ПО различных типов и степени (меры) разнообразия методов верификации.

Цель
• Повышение качества экспертизы соответствия ПО ИУС регулирующим требованиям на основе диверсификации технологий верификации по показателям достоверность, полнота, трудоемкость ;
• уменьшение рисков аварийных ситуаций, связанных с остаточными дефектами ПО ИУС критического применения;
• создание нормативно-методического и инструментального оснащения испытательных лабораторий, выполняющих экспертизу и независимую верификацию ПО ИУС критического применения.

Сфера применения
• Независимая верификация ПО, выполняемая при разработке ПО ИУС критического применения.
• Экспертиза, сертификация и лицензирование ПО ИУС критического применения в контурах Государственного регулирования безопасности, качества поставок и услуг.

Актуальность
• ИУС – ключевой фактор обеспечения безопасности АЭС в долгосрочных программах развития атомной энергетики; тенденция – рост объемов программно-реализуемых и программно-поддерживаемых критических функций ИУС АЭС; безопасное использование ИУС непосредственно зависит от качества ПО; остаточные дефекты ПО являются факторами риска аномального поведения ИУС и возникновения аварийных ситуаций; ПО является важным элементом нормативного регулирования качества и безопасности ИУС критического применения.
• Нормативно-методическое и инструментальное оснащение процессов экспертизы ПО ИУС решающим образом определяет реальные возможности обеспечения необходимого уровня безопасности и качества ИУС в целом, в т.ч. в рамках risk-informed подходов к регулированию безопасности.
Существующая практика экспертизы: значительная степень субъективизма, недостаточная полнота и достоверность, высокая трудоемкость экспертных оценок соответствия ПО ИУС регулирующим требованиям.
• Основным направлением повышения достоверности оценок качества ПО ИУС является диверсификация технологий верификации.

Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации

регулирования и разрешительной деятельности

Прикладная область

НП
ТД

Нормативно-методическое обеспечение

Инструментальные средства - утилиты поддержки экспертизы ПО

Лицензии, сертификаты, разрешения

Организация, выполняющая экспертизу и независимую верификацию ПО

?
Оценка
соответствия
ПО

Группа экспертов

Экспертное заключение.
Значение индикатора качества ПО

Общая схема risk-informed лицензирования критического ПО: оценка соответствия ПО предъявляемым требованиям при экспертизе и сертификации с учетом рисков остаточных дефектов ПО

ПРОБЛЕМА:

Объект регулирования: программно-реализуемые функции в системах критического применения с интенсивным использованием ПО.

Нормативное регулирование качества и безопасности ПО ИУС

требований. Структура нормативного профиля ПО ИУС критического применения. Скрининг-технология

Скрининг:
Формирование профилеобразующей базы

Стандарты

Профилеобразующая нормативная база

Профили различных статусов утверждения

Фасетно-иерархические классификаторы требований – шаблоны дизъюнктов

Процессы (определения, действия, задания)

Методология (Методы и метрики, задания, операции)

Процедуры (Методики. Инструментальные средства и среды)

Гармонизация: специализация и обобщение дизъюнктов профиля

Таксономия

Адекватные нормативные профили требований к ПО ИУС – необходимое условие обеспечение безопасности применения ИУС в целом на объектах атомной энергии.

NS-G-1/1:2000 V&V TR Ser.384-1999НП 306.5.02//035-2000
ГНД 306.7.02/041-2000

PSS 05-XX ECSS-E (Q,M)-00 ECSS-E-40 ECSS-Q-80

ISO/IEC 9126 (1-4)
ISO/IEC 14598 (1-10)
ISO/IEC 15504 (1-8) ГОСТ 34.ХХ ГОСТ 24.ХХ

ISO/IEC 12207:1995
ISO/IEC TR 15271: 1998
ISO/IEC
15288 СД2:2000

IAEA, НП,
КНД ГКЯРУ

ECSS, ESA, КНД, НКАУ

Модели качества. Методология

Процессы

Отраслевые стандарты

Базовые стандарты общепромышленного применения

к ПО

Системные
тесты

Приемочные тесты
(валидация)

Детальный проект
и производство

Оценка качества ПО в течение жизненного цикла ИУС критического применения

Системные
требования

Модульная
структура ПО.

Физическая
модель ПО.

Логическая
модель ПО.

Спецификация требований

Контракт

Поставка

валидация

верификация

верификация

верификация

Квалификационные
испытания. Валидация.
Сертификация

Экспертное заключение

Акт
приемки

Приемочные
испытания

Предварительные испытания (заводские испытания на площадке разработчика /изготовителя/поставщика).
Измерение характеристик внутреннего и внешнего качества и качества в использовании.

Экспертиза соответствия. Независимая верификация. Аттестация.
Измерение характеристик внутреннего и внешнего качества и качества в использовании в согласованном объеме, включая реальные условия эксплуатации.

Приемочные испытания (предварительная и окончательная приемка на площадке заказчика ).
Измерение характеристик качества в использовании по результатам опытной эксплуатации.

сопровождение

“Расщепленная” V-модель ЖЦ ПО – ориентация на процессы верификации (процессный подход)
Семейство правых ветвей V-модели соответствует этапам ЖЦ ИУС в целом: предварительные испытания, квалификационные испытания, приемочные испытания, сдача в опытную и промышленную эксплуатацию.

схема измерения качества ПО

Спецификация
ПО

Интеграция ПО

Реальная платформа

Определяется для

Определяется для

Определяется для

Внутреннее качество

Внешнее качество

Качество в использовании

измеряется

измеряется

измеряется

Атрибуты и метрики внутреннего качества
А1

Атрибуты и метрики внутреннего качества
А2

Атрибуты и метрики качества в использовании
А3

влияет на

влияет на

зависит от

зависит от

Характеристика

Подхарактеристика

…

Атрибут

…

Метрика

…

Метод и шкала

…

Примитивы
(первичные атрибуты-инварианты ПО)

…

Схема измерения качества ПО:

А1

А2

А3

База анализа и оценки качества ПО представляет суперпозицию множеств А1, А2, А3 атрибутов ПО (физических или абстрактных свойств ПО, которые могут быть измерены с помощью соответствующих метрик), определяющих характеристики внутреннего, внешнего и качества в использовании.

Диверсификация моделей качества ПО – оценка качества с разных точек зрения на разных фазах жизненного цикла и в разных средах реализации ПО

методологии диверсификации технологий верификации ПО

2 Задача каждой из диверсных технологий - измерение метрик различных атрибутов ПО с использованием различных методов.

4 Возможные варианты обнаружения дефектов диверсными методами d1 и d2 для каждого типа программного дефекта:
Таблица 1

5 Эффект диверсификации технологий зависит от:
а) полноты охвата контролируемых (оцениваемых) атрибутов для композиции диверсных технологий.
б) чувствительности (проверяющей способности) каждой из диверсных технологий при обнаружении программных дефектов различных типов;
в) реальной (не терминологической) степени разнообразия технологий по чувствительности к дефектам различных типов в условиях конкретного проекта ПО;

6 Предлагаемое решение – реализация диверсных технологий верификации на основе инвариантов ПО:
а) технология на основе логико-числового анализа (инвариант – численное значение
переменных с учетом интервальных ограничений, точности представления и
логики вычисления);
б) технология на основе семантического анализа (инвариант – физическая размерность
переменных).

3 Дефект ПО – ключевое понятие при решении проблемы диверсификации технологий верификации, рассматривается:
а) на уровне спецификаций (исходный текст ПО) – некорректное значение (аномалия) атрибута ПО (в терминах языков программирования);
б) на уровне адресного поля ПО – отображение (проекция) аномалии на уровне спецификации ПО в некорректную композицию ячеек адресного поля ПО (в терминах исполняемого кода).

7 Критерии оценки – сохранение инвариантов (неизменных свойств ПО) в различных условиях эксплуатации ИУС.

1 Цель диверсификации технологий верификации ПО- повышение полноты и достоверности оценок характеристик качества ПО и получение улучшенной оценки за счет реализации принципа разнообразия.

верификации ПО: оценка ПО на базе числовых и семантических инвариантов

•D'1U D'2 –множество дефектов, обнаруживаемых 1-м или 2-м методом (в адресном поле ПО)

•D\D'1U D'2 - множество дефектов, необнаруживаемых 1-м и 2-м методами (нечувствительность обоих методов)

А1-множество атрибутов ПО на базе инварианта 1и соответствующие метрики (метод1+шкала1)

А2 - множество атрибутов на базе инварианта 2 и соответствующие метрики (метод2+шкала2)

Адресное поле ПО

Исходное множество дефектов D

D'1

D'2

D1

D2

А1

А2

Сравнительный
анализ диверсных оценок

А1

А2

А3

U Ai – база анализа и оценки характеристик ПО для композиции
диверсных технологий (суперпозиция множеств атрибутов внутреннего, внешнего и качества в использовании и соответствующие им метрики)

Дефект ПО – отображение на адресное поле ПО некорректного значения атрибута (измеряемого физического или абстрактного свойства ПО).

Чувствительность (проверяющая способность) метода – вероятность обнаружения определенного типа программного дефекта

Возможные варианты:
d1 d2
+ +
+ -
+
-

D'1 и D'2 –отображения (проекций) на адресное поле ПО аномалий (дефектов) спецификации ПО на уровне языка программирования D1 и D2

Модель проверяющей способности композиции диверсных технологий верификации, основанных на числовых и семантических инвариантов ПО :

модель остаточных дефектов ПО для композиции диверсных технологий верификации

A – Адресное пространство
программы

Варианты:
Пессимистический - M1 M2
Оптимистический - M1 ∩ M2 = Ø
Общий случай: M1 ∩ M2 ≠Ø

A

М

М2

М1

M\M1 U M2

М1 – Подмножество остаточных дефектов, необнаруживаемых при верификации

M1 ∩ M2– Подмножество остаточных дефектов, необнаруживаемых для композиции верификации и независимой верификации

М2 – Подмножество остаточных дефектов, необнаруживаемых при независимой верификации

M\M1 U M2 –подмножество обнаруженных дефектов для композиции верификации и независимой верификации

• Результативность верификации определяется вероятностью остаточных дефектов ПО

• Модель остаточных дефектов ПО представляет суперпозицию подмножеств Мi для композиции диверсных методов верификации с различной чувствительностью (проверяющей способностью)

M1 ∩ M2

М – Исходное множество дефектов

значение выигрыша от независимой верификации может составить Р(М1)

Выигрыш
M1 \ М1 ∩ М2

Оценка эффективности диверсификации технологий верификации.

•Вероятность отсутствия дефектов ПО после верификации Рбд = 1-Р(М1) после независимой верификации Рбд1.2= 1-Р(М1 ∩ М2)

•Индикатор снижения рисков остаточных дефектов ПО для композиции верификации и независимой верификации Р(М1 ∩ М2) В= Р(М1) - –––––––––––– Р(М1)= Р(М1) (1 – Р(М2│М1) Р(М1)

А

М

М1

М2

М1 ∩ М2
Мера разнообразия

М1, М2 – подмножества дефектов ПО, не обнаруженных каждым из диверсных методов.

М1 ∩ М2 – мера разнообразия диверсных методов.

Множество дефектов

Адресное поле ПО

• Реализация диверсных технологий на базе числового и семантического инвариантов ПО • Определение количественного значения индикатора снижения рисков остаточных дефектов

Исходное ПО

Препроцессорная обработка исходного ПО. Переопределение переменных

Компиляция.
Формирование инструментированной версии. Расстановка контрольных точек (КТ)

Рекурсивная интерпретация Оценка <атрибут><метрика> <критерий> в соот-ветствии с алгеброй КТ

БД проекта

Операционная «смесь» исходного ПО

Формирование профиля дефектов

Матрица профиля дефектов

Инструментированная версия исходного ПО

Калибровка диверсных технологий методом «посева» дефектов. Регистрация первичных данных

Профиль дефектов

Статобработка
и оценка:
а)чувствительности и степени разнообразия диверсных технологий
б) значения индикатора снижения риска остаточных дефектов ПО

Результаты калибровки методом инъекции программных дефектов

Предв. отчет по независимой верификации

Заключение о снижении вероятности остаточных дефектов ПО. Отчет

Исходное ПО
с классом «тип+КТ»

Функции, поддерживаемые инструментальной системой: • грамматический разбор исходного ПО • инструментирование исходного ПО; расстановка контрольных точек – зондов • измерение атрибутов исходного ПО в режиме рекурсивной интерпретации; • формирование интегральной оценки качества проекта ПО • калибровка – экспериментальное определение чувствительности к дефектам ПО различных типов и степени разнообразия диверсных технологий методом капельной инъекции дефектов ПО в соответствии с профилями, устанавливаемыми с учетом статистического инварианта «смесь операций» конкретного проекта ПО

Потоковая модель статического анализа и оценки атрибутов ПО

Реализация диверсных технологий на основе статического анализа исходного ПО

экспертизы

Формирование
сценария
экспертизы

Функциональная модель полного сценария экспертизы или независимой верификации ПО ИУС критического применения

Заявка

Методика, утилита организац. типа

Сообщения о несоответствиях

Шаблон-анкета
Методика, утилита информац. типа

Профилирование
требований
Схема измерений

Методика, утилита информац. типа

«Ручной» анализ
ТД
проекта на основе
экспертных карт

Инструментальн.
статический
анализ исх. ПО

Оценивание
характеристик
ПО

Верификация результатов
промежуточных этапов
и сценария в целом

Экспертное заключение Отчет

Методика

Методика, утилиты аналитич. типа

Экспертное заключение. Отчет

Методика, утилиты аналитич. типа

Сценарий (ссылочный монитор)

Нормализован-ный объект экспертизы

Спецификация:
атрибутов ПО
КТ-зондов
экспертных карт «ручного» анал.
Схема измерений:
места установки КТ
оценка полноты покрытия
чувствительность методов
Нормативный профиль проекта

Результаты измерения атрибутов при «ручном» анализе

Результаты измерения атрибутов при статич.анализе

Методика, группа анализа

ТД проекта

Место и роль статического анализа исходного ПО.

использование утилит поддержки сценария экспертизы ПО на аналитическом, информационном и организационном уровнях.

Методики

Сценарий
(Планирование. Анализ. Оценивание. Управление.)

Утилиты

Утилиты организационного типа

Утилиты информационного и аналитического типов

Утилиты организационного и информационного типов

Генерация отчета

Планирование

Управление

График проведения утилит

График проведения методик
(WBS)

Результаты методик

?

ТД проекта

Методики

Оценивание

Заявка

Сценарий

Экспертное заключение

Инте гральная оценка

Результаты утилит

Т

Т

ТД проекта ПО

Директивы
WBS

ПО: статическая и динамическая спецификация сценария

А0

А1

А24

А324

Фрагмент сценария - рабочий пакет (WBS), этап экспертизы, представленный диаграммой Ганта в терминах работ, выполняемых с использованием утилит и методик.
Методология: IDEF0 (BPwin)

Структура:Иерархия функциональных моделей в терминах утилит и методик

График: «Сборочный чертеж» сценария в осях «Фрагмент сценария - время»

время

Фрагменты сценария (утилиты, методики)

Базовые варианты сценария:
<Профилирование требований к проекту ПО>│ <Статический анализ исходного ПО> │ <Оценивание характеритстик качества проекта ПО>.

<Профилирование требований к проекту ПО> │ <Оценивание характеритстик качества проекта ПО>

элементом нормативно-методического оснащения процессов оценивания качества ПО ИУС критического применения являются нормативные профили требований к ПО различных статусов утверждения, определяющие регулирующие требования к процессам, методам, метрикам и процедурам оценивания для различных категорий ПО ИУС, включая повторное использование имеющегося или модернизированного ПО. Адекватные нормативные профили требований к ПО являются необходимым условием достижения качества и безопасности использования ИУС критического применения и представляют базу для формирования частных и интегральной характеристик качества для всех составляющих проекта ПО ИУС.

2. Диверсификация технологий основана на измерении семантических и логико-числовых инвариантов исходного ПО. Платформой для реализации диверсных технологий на основе инвариантов ПО является статический анализ исходных текстов ПО.
Реализация диверсных технологий на основе статического анализа исходного ПО обеспечивает контролируемую степень разнообразия технологий при оценивании базовых характеристик качества ПО ИУС «Функциональность», «Надежность», «Обслуживаемость» и т.д. с использованием метрик «Семантика», «Интервал», «Точность» переменных ПО.

1. Концепцией нормативно-методического и инструментального оснащения процессов независимой верификации и экспертизы ПО ИУС является использование принципа разнообразия (технологической диверсности) как целевого средства повышения качества экспертных оценок соответствия ПО регулирующим требованиям по показателям достоверность, полнота, рентабельность.

4. Предложенный подход создает возможности в рамках risk-informed регулирования безопасности АЭС количественно оценивать и управлять величиной снижения вероятности рисков остаточных дефектов ПО ИУС в диапазоне 0 – 100% для композиции диверсных технологий верификации на основе экспериментальной калибровки чувствительности и реальной степени разнообразия диверсных методов верификации.

5. Перспектива длительной эксплуатации и развития инструментального оснащения испытательных лабораторий организаций-разработчиков ИУС и сертификационных центров с использованием методологии статического анализа исходного ПО ИУС обеспечивается благодаря использованию принципа открытой архитектуры и современных web-технологий ( web-сервисы, программируемые web-приложения, коммуникационные протоколы).