Слайд 1Тестирование
для не-тестировщиков
Простые мысли про высокое
Юлия Нечаева
Слайд 2Кто я?
Тестировщик
Тест-менеджер
____________________
Опыт 4 года
Инструктор
Активный участник конференций
Слайд 3О чем вебинар
Что такое тестирование?
Зачем нужно тестировать?
Кто должен тестировать?
Слайд 4О чем вебинар
Что такое тестирование?
Зачем нужно тестировать?
Кто должен тестировать?
Цель: не научить,
а натолкнуть вас на мысли.
Слайд 5План рассказа
ЧТО? Тестирование.
ЗАЧЕМ? Цели тестирования.
КТО? Кто должен тестировать?
Сравнивайте и делайте выводы!
Слайд 71.1. Вид сверху. Определения.
Определение 0: «Качество – это соответствие ожиданиям
заказчика (пользователя).»
(Филипп Крухтен)
Слайд 81.1. Вид сверху. Определения.
Определение 0: «Качество – это соответствие ожиданиям
заказчика (пользователя).»
(Филипп Крухтен)
В итоге, всё-таки, пользователя.
Слайд 91.1. Вид сверху. Определения.
Определение 1: «Тестирование программного обеспечения — процесс
выявления ошибок в программном обеспечении »
(Википедия)
Слайд 101.1. Вид сверху. Определения.
Определение 1: «Тестирование программного обеспечения — процесс
выявления ошибок в программном обеспечении »
(Википедия)
Куча вопросов:
- Каких ошибок?
- До каких пор мы будем их выявлять?
- Сколько их должно быть?
- Каким образом мы должны их выявлять?
- … … …
Слайд 111.1. Вид сверху. Определения.
Определение 2: «Правильное определение тестирования таково: Тестирование
— процесс выполнения программы с намерением найти ошибки.»
(Интернет)
Слайд 121.1. Вид сверху. Определения.
Определение 2: «Правильное определение тестирования таково: Тестирование
— процесс выполнения программы с намерением найти ошибки.»
(Интернет)
Содержит не цель, а намерение.
Слайд 131.1. Вид сверху. Определения.
Определение 3. «Тестирование – это сверка реализации
со спецификацией.»
(Народное творчество)
Слайд 141.1. Вид сверху. Определения.
Определение 3. «Тестирование – это сверка реализации
со спецификацией.»
(Народное творчество)
Где здесь ожидания пользователя?
Слайд 151.1. Вид сверху. Определения.
Определение 4: «Тестирование программного обеспечения - проверка
соответствия между реальным и ожидаемым поведением программы, осуществляемая на конечном наборе тестов, выбранном определенным образом.
(IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004)
Слайд 161.1. Вид сверху. Определения.
Определение 4: «Тестирование программного обеспечения - проверка
соответствия между реальным и ожидаемым поведением программы, осуществляемая на конечном наборе тестов, выбранном определенным образом.
(IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004)
Содержит в себе и цель, и метод.
Слайд 171.1. Вид сверху. Определения.
Определение 5: «Тестирование – это процесс позволяющий
определить корректность, полноту и качество разработанного программного продукта.
(тестировщики.ру)
Достаточно просто и правдиво.
Слайд 181.1. Вид сверху. Определения.
Определение 5: «Тестирование – это процесс позволяющий
определить корректность, полноту и качество разработанного программного продукта.
(тестировщики.ру)
Достаточно просто и правдиво.
Слайд 191.2. Взгляд разработчика на тестирование.
«Подчистка» за разработчиком
Поиск ошибок
Вынесено, потому что
у нас:
- нет времени
- нет сил
- нет желания
- недостойное занятие
Слайд 201.2. Взгляд разработчика на тестирование.
«Подчистка» за разработчиком
Поиск ошибок
Вынесено, потому что
у нас:
- нет времени
- нет сил
- нет желания
- недостойное занятие
Слайд 211.3. Взгляд тестировщика на тестирование.
Без нас никуда:
-
у них не тот склад ума
- нельзя тестировать свою работу
- не смотрят, как пользователь
При недоверии к разработчикам полное доверие аналитикам
- спецификация – это Библия
Слайд 221.3. Взгляд тестировщика на тестирование.
Без нас никуда:
-
у них не тот склад ума
- нельзя тестировать свою работу
- не смотрят, как пользователь
При недоверии к разработчикам полное доверие аналитикам
- спецификация – это Библия
Слайд 231.4. Взгляд менеджера на тестирование.
Редко влазит:
- ставит
лишь задачу и сроки
А лучше бы влезал:
- бизнес-область
- приоритеты
- демонстрация
Слайд 241.4. Взгляд менеджера на тестирование.
Редко влазит:
- ставит
лишь задачу и сроки
А лучше бы влезал:
- бизнес-область
- приоритеты
- демонстрация
Слайд 251.5. Взгляд руководителя на тестирование.
Считает, что внедрение тестирование повысит качество
само по себе
Слайд 261.5. Взгляд руководителя на тестирование.
Считает, что внедрение тестирование повысит качество
само по себе
Слайд 271.6. Взгляд программного продукта ☺
Слайд 281.6. Взгляд программного продукта ☺
Слайд 291.7. Промежуточные выводы.
Тестирование – это не обеспечение качества, а всего
лишь его контроль
На качество влияет, что делает команда с полученными показателями
Для улучшения ситуации надо понимать, что сейчас?
Слайд 301.7. Промежуточные выводы.
Тестирование – это не обеспечение качества, а всего
лишь его контроль
На качество влияет, что делает команда с полученными показателями
Для улучшения ситуации надо понимать, что сейчас?
Слайд 311.8. Тестирование. Какое?
Не нашли или нашли мало ошибок. Плохое?
- а если это последний релиз-кандидат?
- а если это приемочный тест?
Слайд 321.8. Тестирование. Какое?
Нашли много или очень много ошибок. Хорошее?
- тогда разработка плохая?
- а если раз за разом?
Слайд 331.8. Тестирование. Какое?
Весь код (все требования) покрыты тестами. Полное?
- а как быть с невыявленными требованиями?
Слайд 341.8. Тестирование. Какое?
Не весь код (не все требования) покрыты. Разное
покрытие
Недостаточное?
- недостаточное для чего?
Слайд 351.8. Тестирование. Какое?
Не весь код (не все требования) покрыты. Разное
покрытие
Недостаточное?
- недостаточное для чего?
Слайд 361.9. Тестирование. Сколько?
Бойтесь голых метрик
Метрика – это лишь сигнал
Слайд 371.9. Тестирование. Сколько?
Бойтесь голых метрик
Метрика – это лишь сигнал
Слайд 381.10. Тестирование. Что же?
Тестирование – это часть процесса разработки ПО,
которое в совокупности с действиями остальной проектной команды помогает повысить качество ПП
Само по себе может:
- измерить
- подтвердить
- опровергнуть
Слайд 391.10. Тестирование. Что же?
Тестирование – это часть процесса разработки ПО,
которое в совокупности с действиями остальной проектной команды помогает повысить качество ПП
Само по себе может:
- измерить
- подтвердить
- опровергнуть
Слайд 412.1. Цели. Классификация.
По объекту (что тестируем)
По субъекту (кто тестирует)
Слайд 422.2. Цели по объекту
Уровень 1 – часть приложения (модуль, экран, функциональность)
- поиск ошибок в требованиях (на тестируемость)
- поиск ошибок в реализации
- проверка работоспособности
- оценка удобства
- измерение характеристик
- проверка тезиса
- … … …
Слайд 432.2. Цели по объекту
Уровень 2 – приложение в целом
- поиск ошибок в требованиях
- поиск ошибок в реализации
- проверка работоспособности
- оценка удобства
- измерение характеристик
- проверка способности к интеграции
- проверка устойчивости, восстанавливаемости , стабильности, надежности
- … … …
Слайд 442.2. Цели по объекту
Уровень 3 - продукт (идея, среда обитания, задачи
и потребности пользователей, конкурентная ситуация и рынок, маркетинговые задачи и задачи бизнеса и т.п.)
Продукт <> приложение
Слайд 452.2. Цели по объекту
Уровень 3 - продукт (идея, среда обитания, задачи
и потребности пользователей, конкурентная ситуация и рынок, маркетинговые задачи и задачи бизнеса и т.п.)
Продукт <> приложение
Слайд 462.2. Цели по объекту
Уровень 3 – продукт
- актуальность
- своевременность
- окупаемость
- привлекательность для аудитории
- удобство для аудитории
- позиционирование на рынке
- соответствие требованиям бизнеса
- … … …
Слайд 472.2. Цели по объекту
Уровень 3 – продукт
- актуальность
- своевременность
- окупаемость
- привлекательность для аудитории
- удобство для аудитории
- позиционирование на рынке
- соответствие требованиям бизнеса
- … … …
Слайд 482.3. Цели по субъекту
Уровень 1 – тестировщик
- поиск
ошибок
- сверка со спецификацией
- измерение характеристик
- контроль реакции на результаты
- слежение за не-ухудшением
- резолюция о состоянии
- … … …
Слайд 492.3. Цели по субъекту
Уровень 1 – тестировщик
- поиск
ошибок
- сверка со спецификацией
- измерение характеристик
- контроль реакции на результаты
- слежение за не-ухудшением
- резолюция о состоянии
- … … …
Слайд 502.3. Цели по субъекту
Уровень 2 – команда тестирования
-
разработка плана и стратегии
- тестирование
- резолюция о состоянии
- коммуникация
- носитель информации
- носитель экспертизы
- … … …
Слайд 512.3. Цели по субъекту
Уровень 2 – команда тестирования
-
разработка плана и стратегии
- тестирование
- резолюция о состоянии
- коммуникация
- носитель информации
- носитель экспертизы
- … … …
Слайд 522.3. Цели по субъекту
Уровень 3 – команда разработки
-
создать качественный продукт
Слайд 532.3. Цели по субъекту
Уровень 3 – команда разработки
-
создать качественный продукт
Слайд 542.3. Цели по субъекту
Уровень 4 – команда продукта
-
идея
- разработка
- продвижение (внедрение)
- лавры ☺
Слайд 552.3. Цели по субъекту
Уровень 4 – команда продукта
-
идея
- разработка
- продвижение (внедрение)
- лавры ☺
Слайд 562.4. Цели. Важность.
Цели нужно ставить
В зависимости от целей меняются:
- взгляды
- подходы
- действия
- настроения
Цели должны быть прозрачными
Слайд 572.4. Цели. Важность.
Цели нужно ставить
В зависимости от целей меняются:
- взгляды
- подходы
- действия
- настроения
Цели должны быть прозрачными
Слайд 582.5. Виды тестирования.
Выбор в зависимости от целей
Слайд 592.5. Виды тестирования.
Выбор в зависимости от целей
Слайд 602.5. Виды тестирования.
Для целей уровня 1 (часть приложения):
-
методы тестирования требований
- функциональное
- нагрузочное
- юзабилити
- объемное
Слайд 612.5. Виды тестирования.
Для целей уровня 2 (приложение в целом):
- методы тестирования требований
- функциональное
- нагрузочное
- юзабилити
- объемное, восстанавливаемости
- надежности, стресс
Слайд 622.5. Виды тестирования.
Для целей уровня 3 (продукт):
- методы
анализа требований
- постановка целей тестирования
- приоритеты и детализация
- критерии окончания тестирования
- степень Good Enough
- организация процесса тестирования
- обеспечение реакции
- разработка плана и стратегии
Слайд 632.6. Стратегия тестирования.
Составляется на основе целей
С ней должны быть ознакомлены все
участники разработки
Слайд 642.6. Стратегия тестирования.
Составляется на основе целей
С ней должны быть ознакомлены все
участники разработки
Слайд 663.1. Тестировщики, конечно!
У нас есть:
- умения
- навыки
- опыт
- знания
- окружения
- нам за это платят
Слайд 673.2. Почему не разработчики?
«Мы и так пишем хороший код, давай покажу,
что все работает».
Не смотрит глазами пользователя
Не в курсе аудитории продукта
«Замыленный взгляд»
Слайд 683.2. Почему не разработчики?
«Мы и так пишем хороший код, давай покажу,
что все работает».
Не смотрит глазами пользователя
Не в курсе аудитории продукта
«Замыленный взгляд»
Слайд 693.3. Почему не менеджер?
«Я же лучше всех знаю, чего хочет заказчик!»
Не
участник, а организатор процесса
Слайд 703.3. Почему не менеджер?
«Я же лучше всех знаю, чего хочет заказчик!»
Не
участник, а организатор процесса
Слайд 713.4. Почему же разработчики?
Обнаружение дефектов на уровне кода
Слайд 723.4. Почему же разработчики? Пример.
Обнаружение дефектов на уровне кода
Слайд 733.4. Почему же разработчики?
Обнаружение дефектов на уровне кода
Смоук (приемочное) тестирование на
работоспособность билда
Тестирование требований на реализуемость
Слайд 743.4. Почему же разработчики?
Обнаружение дефектов на уровне кода
Смоук (приемочное) тестирование на
работоспособность билда
Тестирование требований на реализуемость
Слайд 753.4. Почему же менеджер?
Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования
Слайд 763.4. Почему же менеджер? Пример.
Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования
Control Panel >
Regional and Language Options > Advances > ‘Select a language to match the language version of the non-Unicode programs you want to use ’
Слайд 773.4. Почему же менеджер?
Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования
Слайд 783.4. Почему же менеджер?
Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования
Слайд 804.1. Магический треугольник.
Пользователи
Команда
Бизнес
Качество
Слайд 814.2. И всё-таки…
Общее видение
Определение целей
Прозрачность целей
Сотрудничество в достижении
Слайд 824.2. И всё-таки…
Общее видение
Определение целей
Прозрачность целей
Сотрудничество в достижении
Слайд 83Спасибо.
Вам
Люксофту
Моим учителям
Моим коллегам – тестировщикам, разработчикам, менеджерам, руководителям. Они - тоже
мои учителя.
Пользователям
Слайд 84Контакты.
Я пишу: http://jnechaeva.blogspot.com
Я общаюсь: lorien-julia@yandex.ru
Skype: julia.nechaeva
ICQ: 315399166