Селиверстов Станислав
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Поиск багов в поиске презентация
Содержание
- 1. Поиск багов в поиске
- 2. Поиск Яндекса 150 000 000 запросов в
- 3. Как рождается поиск
- 5. Результат работы программ Как рождается поиск
- 6. Результат взаимодействия Как рождается поиск
- 7. через конечную функциональность по-компонентно Как тестировать?
- 8. Тестирование через конечную функциональность
- 9. Требования Инструмент тестирования
- 10. Selenium Инструмент тестирования работает с реальным браузером
- 11. Главное правильно задать запрос
- 12. проектируем свои берем пользовательские Как задаем запросы?
- 13. Пользовательские запросы Как задаем запросы?
- 14. оцениваем масштаб проблемы проверяем показ элемента в выдаче Ожидаемый результат Пользовательские запросы
- 15. скорость выполнения тестов экспортные данные множество ссылок тестирование верстки Сложности
- 16. скорость выполнения тестов экспортные данные множество ссылок тестирование верстки Сложности
- 17. запускать меньше тестов выполнять тесты быстрее Как уменьшить время Скорость выполнения тестов
- 18. запускать меньше тестов выполнять тесты быстрее Как уменьшить время Скорость выполнения тестов
- 19. Самая длинная цепь Запускать меньше тестов Выдача поиска
- 20. Группировка тестов Запускать меньше тестов
- 21. запускать меньше тестов выполнять тесты быстрее Как уменьшить время Скорость выполнения тестов
- 22. Рост количества данных Выполнять тесты быстрее
- 23. Каким инструментом Выполнять тесты быстрее Selenium?
- 24. эмулирует работу браузера поддерживает jScript быстрее в разы Инструмент HtmlUnit Выполнять тесты быстрее
- 25. Разные интерфейсы Выполнять тесты быстрее
- 26. HtmlUnit to Selenium Выполнять тесты быстрее
- 27. HtmlUnit to? Selenium Выполнять тесты быстрее
- 28. уникальные тесты на Selenium тесты на большом
- 29. скорость выполнения тестов экспортные данные множество ссылок тестирование верстки Сложности
- 30. приходят со сторонних сервисов имеют разные форматы Экспортные данные
- 31. Форматы Экспортные данные
- 32. Преобразования Экспортные данные
- 33. скорость выполнения тестов экспортные данные множество ссылок тестирование верстки Сложности
- 34. Прокликать все Множество ссылок ссылки генерируются данные
- 35. Переход на погоду Множество ссылок pogoda.yandex.ru/saint-petersburg pogoda.yandex.ru/26063
- 36. Инструмент noname Множество ссылок умеет обходить страницы
- 37. Noname улучшизмы Множество ссылок проверка работы JavaScript “склеивание” ссылок
- 38. скорость выполнения тестов экспортные данные множество ссылок тестирование верстки Сложности
- 39. Проблема поколений Тестирование верстки
- 40. Руками и глазами Тестирование верстки
- 41. Нагрузка растет Тестирование верстки сотни сценариев разные браузеры
- 42. А/Б тестирование Тестирование верстки
- 43. Нерешенная проблема Тестирование верстки Как автоматизировать?
- 44. Компонентное тестирование
- 45. Раннее тестирование производительности Стресс-тесты и тестирование стабильности
- 46. Подготовка тестовой среды Выбор входных данных Проведение теста Анализ выходных данных Этапы тестирования Компонентное тестирование
- 47. Отдельно выделенный сервер, с аналогичной продакшен конфигурацией
- 48. Живой поток с продакшен Фиксированный поток Сгенерированный поток План обстрела Компонентное тестирование
- 49. Обеспечивает доставку запроса пользователя к поисковому кластеру
- 50. Пример Балансер HTTP-Балансер IP-Балансер HTTP-Балансер HTTP-Балансер HTTP-Балансер Поисковый кластер Верхний поиск
- 51. Скорость отдачи страницы с результатом выдачи снизилась
- 52. Тесты под нагрузкой Пример Балансер Пусть будут 10 заглушек эмулирующих бэкэнды с различной производительностью
- 53. Среднее количество запросов по группе одинаковых бэкэндов Пример Балансер
- 54. Распределение времени ответов с бэкэндов Пример Балансер
- 55. Количество обработанных запросов на бэкэндах Пример Балансер
- 56. Распределение времени ответов за балансером Пример Балансер
- 57. Скорость отдачи страницы с результатом выдачи снизилась
- 58. Сверяем трафик до балансера и после Пропускаем
- 59. Учитывает все особенности сборки компонент Интегрирован инструментарий
- 60. Тестирование всех компонент на производительность Расширение покрытия функциональными тестами Горизонты Компонентное тестирование
- 61. Покоммитное тестирование компонент Тестирование версии под нагрузкой
- 62. Инженер по тестированию
Поиск Яндекса 150 000 000 запросов в день 5 400 000 сайтов в индексе 800 000 пользователей в день 62 терабайта информации сотни разработчиков
Слайд 1Я.Субботник, Санкт-Петербург, 26-12 2011
инженер по тестированию
Ерошенко Артем
Поиск багов в поиске
инженер по
тестированию
Слайд 2Поиск Яндекса
150 000 000 запросов в день
5 400 000 сайтов в
индексе
800 000 пользователей в день
62 терабайта информации
сотни разработчиков
800 000 пользователей в день
62 терабайта информации
сотни разработчиков
Слайд 10Selenium
Инструмент тестирования
работает с реальным браузером
клиентская часть реализована на нескольких языках
работает с
несколькими браузерами
открытый код
открытый код
Слайд 14оцениваем масштаб проблемы
проверяем показ элемента в выдаче
Ожидаемый результат
Пользовательские запросы
Слайд 24эмулирует работу браузера
поддерживает jScript
быстрее в разы
Инструмент HtmlUnit
Выполнять тесты быстрее
Слайд 28уникальные тесты на Selenium
тесты на большом количестве запросов на HtmlUnit
Перевести все
тесты на HtmlUnit
Выполнять тесты быстрее
Слайд 34Прокликать все
Множество ссылок
ссылки генерируются
данные приходят со сторонних сервисов
сторонние сервисы живут своей
жизню
Слайд 36Инструмент noname
Множество ссылок
умеет обходить страницы “вширь”
умеет “пинговать” ресурс (link, image)
умеет проверять
корректность страницы (css, js, favicon)
proxy, cookie
proxy, cookie
Слайд 45Раннее тестирование производительности
Стресс-тесты и тестирование стабильности компонент
Функциональные тесты под нагрузкой
Надежность и
производительность
Компонентное тестирование
Слайд 46Подготовка тестовой среды
Выбор входных данных
Проведение теста
Анализ выходных данных
Этапы тестирования
Компонентное тестирование
Слайд 47Отдельно выделенный сервер, с аналогичной продакшен конфигурацией
Окружение создается каждый раз перед
тестированием
Эмуляция принимающих выходной поток компонент + возможность использовать тестовые кластеры
Эмуляция принимающих выходной поток компонент + возможность использовать тестовые кластеры
Тестовая среда
Компонентное тестирование
Слайд 48Живой поток с продакшен
Фиксированный поток
Сгенерированный поток
План обстрела
Компонентное тестирование
Слайд 49Обеспечивает доставку запроса пользователя к поисковому кластеру и ответа к пользователю
Распределяет
запросы между поисковыми кластерами кратно их производительности
Функции
Пример Балансер
Слайд 50Пример Балансер
HTTP-Балансер
IP-Балансер
HTTP-Балансер
HTTP-Балансер
HTTP-Балансер
Поисковый кластер
Верхний поиск
Слайд 51Скорость отдачи страницы с результатом выдачи снизилась
Балансер перестал отдавать результат выдачи
(белая страница)
Данные портятся при прохождении через балансер
Данные портятся при прохождении через балансер
Ошибки
Пример Балансер
Слайд 52Тесты под нагрузкой
Пример Балансер
Пусть будут 10 заглушек эмулирующих бэкэнды с различной
производительностью
Слайд 57Скорость отдачи страницы с результатом выдачи снизилась
Балансер перестал отдавать результат выдачи
(белая страница)
Данные портятся при прохождении через балансер
Данные портятся при прохождении через балансер
Ошибки
Пример Балансер
Слайд 58Сверяем трафик до балансера и после
Пропускаем через балансер преднамеренно испорченные запросы
(fuzzing)
Искусственно создаем таймауты и потерю соединения
Искусственно создаем таймауты и потерю соединения
Функциональные тесты под нагрузкой
Пример Балансер
Слайд 59Учитывает все особенности сборки компонент
Интегрирован инструментарий для обстрела и профилирования поисковых
компонент
Есть надежная доставка компонент на многочисленные машины поискового кластера
Автоматическая сборка и тестирование по расписанию или по коммиту
Есть надежная доставка компонент на многочисленные машины поискового кластера
Автоматическая сборка и тестирование по расписанию или по коммиту
SandBox
Компонентное тестирование
Слайд 60Тестирование всех компонент на производительность
Расширение покрытия функциональными тестами
Горизонты
Компонентное тестирование
Слайд 61Покоммитное тестирование компонент
Тестирование версии под нагрузкой
Версия попадает в приемку качества
После приемки
качества попадает в тестирование через конечную функциональность
В продакшен следим через мониторинги
В продакшен следим через мониторинги
Путь тестирования
Слайд 62Инженер по тестированию
+7 (812) 633-36-00 (8575) thistle@yandex-team.ru
Селиверстов Станислав
Инженер по тестированию +7 (812) 633-36-00 (8625)eroshenkoam@yandex-team.ru
Ерошенко Артем
Вопросы?
