- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Яндекс презентация
Содержание
- 1. Яндекс
- 2. О чем я хочу рассказать? Развитии системы статистики Проблемах и их решении
- 3. Зачем нужна система расчета статистики
- 4. Почему нужна система расчета статистики Много проектов Много данных Потребовалось считать статистику регулярно и единообразно
- 6. Сначала данных
- 7. Исходная архитектура в СУБД складываем
- 9. Данных и проектов еще было мало < 100Gb в сутки
- 10. Первая попытка масштабирования кластеризация
- 12. Когда данных стало 200-300Гб в сутки
- 13. Вторая попытка масштабирования Пределы экстенсивного роста
- 14. Вторая попытка масштабирования Пределы экстенсивного роста
- 15. Финальное решение
- 18. Сейчас ежесуточно статистика обрабатывает 2-3Тб данных
- 20. "оптимальность инструмента"
- 21. А будет еще больше…
- 22. Пересмотр архитектуры: почему? Недостатки старой архитектуры:
- 23. Пересмотр архитектуры: почему? Недостатки
- 24. Итог: Нерешаемые проблемы решаются просто
- 25. Итог: Децентрализация системы Специализация компонентов
- 26. Спасибо! Юхно Олег руководитель группы администрирования email: olegu@yandex-team.ru
О чем я хочу рассказать? Развитии системы статистики Проблемах и их решении
Слайд 1От Статистики до Статистики
Яндекс
Докладчик:
Юхно Олег
руководитель группы администрирования
email: olegu@yandex-team.ru
Слайд 4 Почему нужна система расчета статистики
Много проектов
Много данных
Потребовалось считать статистику регулярно и
единообразно
Слайд 7Исходная архитектура
в СУБД складываем только необходимые фрагменты строк из лога
СУБД резервируем
считаем
возможности экстенсивного роста неограниченными
Проблема: конструкция не масштабируется.
Проблема: конструкция не масштабируется.
Слайд 10Первая попытка масштабирования
кластеризация считающих машин("парсеров")
кластеризация СУБД
SAN с использование iscsi
Проблема:
все пропало, сеть не может обеспечить нужную производительность :(
Слайд 13Вторая попытка масштабирования
Пределы экстенсивного роста
Научились эффективно балансировать нагрузку на сеть (а
именно TCP сессии iscsi)
Учли особенности работы с кластеризованной СУБД
Проблема: монолитность системы
Учли особенности работы с кластеризованной СУБД
Проблема: монолитность системы
Слайд 20
"оптимальность инструмента" расчетов
разделение монолитной системы
на обособленные функциональному признаку подсистемы
11
Пересмотр архитектуры
Слайд 22Пересмотр архитектуры: почему?
Недостатки старой архитектуры:
- сложности масштабирования
- монолитность системы
Достоинства
старой архитектуры:
- единая точка входа
- SQL-интерфейс
- ну и то что она как-то работает :)
- единая точка входа
- SQL-интерфейс
- ну и то что она как-то работает :)
Слайд 23Пересмотр архитектуры: почему?
Недостатки новой архитектуры:
Необходимость
локализации расчетов
Достоинства новой архитектуры
Масштабируемость
Надежность
Большая емкость вычислительных и сетевых ресурсов
Достоинства новой архитектуры
Масштабируемость
Надежность
Большая емкость вычислительных и сетевых ресурсов
Слайд 24Итог:
Нерешаемые проблемы решаются просто
Децентрализация системы сильно упрощает ее
обслуживание.
Децентрализация системы повышает ее надежность.
(возможно этот слайд нафиг не нужен)
Децентрализация системы повышает ее надежность.
(возможно этот слайд нафиг не нужен)
Слайд 25 Итог:
Децентрализация системы
Специализация
компонентов
Автономность
компонентов
«Простота»
компонентов
Отказоустойчивость
Производительность
Простота в обслуживании
и высокая эффективность
