Слайд 2РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ
Слайд 3Цели и задачи:
Что за ошибки?
Почему это ошибки?
Как их избежать?
Oracle ISV Forum
Слайд 4Классификация ошибок
Идеология и методология
Планирование
Персонал
Механика
Технологии
Oracle ISV Forum
Слайд 5ИДЕОЛОГИЯ И
МЕТОДОЛОГИЯ
Oracle ISV Forum
Слайд 6Идеология и методология - 1
Oracle ISV Forum
Группа тестирования ответственна за обеспечение
качества
Группа тестирования ответственна за контроль и измерение качества!
Обеспечение качества – командная задача
Слайд 7Идеология и методология - 2
Oracle ISV Forum
«Цель тестирования – нахождение дефектов»
Слайд 8Идеология и методология - 2
Oracle ISV Forum
«Цель тестирования – нахождение важных
Слайд 9Идеология и методология - 3
Oracle ISV Forum
Удобство использования
Вопросы масштабирования
Вопросы локализации
…
Узость представление
о тестировании – что считать дефектами?
Слайд 10Идеология и методология - 4
Oracle ISV Forum
Пренебрежение оценками качества и качеством
этих оценок
Метрики
Покрытие
Тестирование
Контекст оценок
Слайд 11Идеология и методология - 5
Oracle ISV Forum
Слишком позднее начало тестирования
Некогда проводить
Некогда
исправлять
Пропускаем дефекты
…
Слайд 12Oracle ISV Forum
Идеология и методология - сумма
«Цель команды тестирования – обеспечение
качества»
«Цель команды тестирования – находить дефекты»
Узость взглядов на задачи тестирования
Пренебрежение оценками качества и качества оценок
Слишком позднее тестирование
Слайд 14Oracle ISV Forum
Неправильное определение рисков
Планирование - 1
Ставит под вопрос эффективность всего
следующего процесса
Упускаем важные дефекты
Слайд 15Планирование - 2
Oracle ISV Forum
Излишний фокус на функциональном тестировании
Пользователь реализует свои
задачи, а не функционал
Упускаем типовые шаблоны работы пользователей
Можем пропустить важные ошибки
Слайд 16Планирование - 3
Oracle ISV Forum
Планирование нагрузочных тестов на последний момент
Тяжело
Долго
Дорого исправлять
Слайд 17Планирование - 4
Oracle ISV Forum
Переоценка возможностей
β-тестирования
Предвзятость тестеров
Несерьезное использование (не «боевое»)
Редко
отсылают отчеты о дефектах
Ценность отчетов сомнительна
Не дают отчетов по удобству использования
Слайд 18Планирование - 5
Oracle ISV Forum
В планы не вносится «исследовательское» тестирование
Гипотетические дефекты
пропускаются
Не испытываются новые последовательности действий
Слайд 19Oracle ISV Forum
Планирование- сумма
Неправильное определение рисков
Излишний фокус на функциональном тестировании
Планирование нагрузочных
тестов на последний момент
Переоценка возможностей β - тестирования
Отсутствие в планах «исследовательского тестирования»
Слайд 21Oracle ISV Forum
«Тестирование – для начинающих программистов»
Персонал - 1
Стремятся проявить себя
как программисты
Могут получится «специалисты по инструментам»
Нетерпеливость
Незаинтересованность
Слайд 22Oracle ISV Forum
«Тестирование – для неудавшихся программистов»
Персонал - 2
Невнимательный программист –
невнимательный тестировщик
Усталость
Незаинтересованность
Слайд 23Oracle ISV Forum
Отсутствие специалистов в предметной области
Персонал - 3
Пропускаем важные дефекты
Неэффективно
тестируем
Не знаем, как наши пользователи работают с продуктом
Слайд 24Oracle ISV Forum
«Тестировщик должен уметь программировать»
Персонал - 4
Можно научить и специалиста-предметника
Лучше
хорошо тестировать чем не очень хорошо программировать
Слайд 25Oracle ISV Forum
Пробелы в знаниях команды тестирования
Персонал - 5
Тяжело компенсировать
Пропускаем важные
дефекты, и некому на это указать
Слайд 26Oracle ISV Forum
«Программисты не должны тестировать»
Персонал - 6
Не все может быть
протестировано тестировщиком
Кто кроме программиста лучше знает его код?
Слайд 27Oracle ISV Forum
Персонал - сумма
«тестирование – для начинающих программистов»
«тестирование – для
неудавшихся программистов»
Отсутствие специалистов в предметной области
«Тестировщик должен программировать»
Пробелы в знаниях команды тестирования
«Программисты не должны тестировать»
Слайд 29Oracle ISV Forum
Невнимательность к тест-дизайну
Механика - 1
Пропускаем сложные сценарии
Пропускаем важные тесты
Производим
синтетические тесты
Слайд 30Oracle ISV Forum
Чересчур подробные сценарии
Механика - 2
Сложно поддерживать
Долго писать
«А что будет,
если мы интерфейс поменяем?»
Слайд 31Oracle ISV Forum
Чересчур обобщенные сценарии
Механика - 3
Сложно поддерживать
Понятны только автору
«И как
это проверять?»
Слайд 32Oracle ISV Forum
Тестирование продукта только через UI
Механика - 4
Пропускаем дефекты, связанные
с внутренней архитектурой (утечки, сроки, …)
Теряем контроль за происходящим в системе
Слайд 33Oracle ISV Forum
«Плохие» отчеты об ошибках
Механика - 5
Трудно повторить
Трудно понять
Не описывают,
что именно неправильно
Не описывают, как правильно надо
Не могут помочь в отладке
Служат причиной обиды
Слайд 34Oracle ISV Forum
Механика - сумма
Невнимательность к тест-дизайну
Чересчур подробные сценарии
Чересчур общие сценарии
Тестирование
продукта только через UI
«Плохие» отчеты об ошибках
Слайд 36Oracle ISV Forum
«Мы прогоним 100% наших ручных скриптов!»
Технологии - 1
Долго, если
вообще реально
Зачем, если вероятность найти дефект для некоторых тестов мала, но ресурс мы израсходуем?
Слайд 37Oracle ISV Forum
«Давайте мы автоматизируем все!»
Технологии - 2
Тяжело
Долго
Малое соотношение «время разработки/количество
найденных дефектов»
Слайд 38Oracle ISV Forum
«С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много
тестов»
Технологии - 3
Требует много времени на редактирование
Требует много времени на поддержку
Как правило не понимает custom - элементы
Слайд 39Oracle ISV Forum
«С помощью наших регрессионных тестов мы найдем много дефектов!»
Технологии
- 4
Статистика показывает, что новые тесты справляются лучше
Найдем, но лучше спроектировать новые тесты
Регрессионное тестирование надо проводить с умом
Слайд 40Oracle ISV Forum
«Мы должны обеспечить 100% покрытие»
Технологии - 5
Слабое утверждение с
точки зрения нахождения важных дефектов
Не самая показательная метрика
Много времени может уйти только на покрытие, вместо поиска дефектов
Слайд 41Oracle ISV Forum
«А зачем нам контролировать покрытие?»
Технологии - 6
Не дает представления
о текущей ситуации
Не дает метрик для анализа следующих релизов и похожих проектов
Слайд 42Oracle ISV Forum
Технологии - сумма
100% прогон ручных тестов
100% автоматизация
Неразумное регрессионное тестирование
Переоценка
важности тестового покрытия
Недооценка важности тестового покрытия
Слайд 43Oracle ISV Forum
Вопросы?
oracle-isv@atermath.com