- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Масштабируемая система голосования на базе PostgreSQL PgQ презентация
Содержание
- 1. Масштабируемая система голосования на базе PostgreSQL PgQ
- 2. План доклада Обзор PgQ Как мы используем PgQ Pros & Cons
- 3. Вступление Сервис позволяет пользователям бесплатно загружать и
- 4. Голосуем за видео Обновление статистики голосов и
- 5. События
- 6. Где тут голосование?
- 8. В наличии на 2008 год: Суммирование голосов
- 9. «Китайский» вариант
- 10. Что делать?
- 12. Skytools Разработка компании Skype Open Source Репликация: Londiste Очереди: PGQ
- 13. PgQ to the rescue Предоставляет API для
- 14. Компоненты PgQ
- 15. Ticker Ротация таблиц Формирование batches Контроль доставки batches Обработка retry-событий
- 16. Consumer API для SQL, Python, PHP, Java
- 17. В чем польза PgQ Транзакционность (ничего не
- 18. Голосование с помощью PGQ
- 19. Новый вариант
- 20. Сохраняем структуру БД Front-End (PHP) становится producer-ом
- 22. Тюнинг очередей ticker_max_lag (время) ticket_max_count (число)
- 23. Система как трубопровод
- 24. max_lag = 30 мин. max_count = 150
- 25. Disk I/O
- 26. Производительность Vacuum fsync = off Asynchronous commit
- 27. Асинхронность Где подвох? Результат часто нужен немедленно
- 28. Куда расти? Отделение исторических таблиц Несколько БД
- 29. Pitfalls Нельзя узнать длину очереди! Нельзя очистить очередь! Текстовый формат событий Документация аскетична http://wiki.postgresql.org/wiki/Skytools
- 30. Вопросы? snekoval@gramant.ru
- 31. Бонусный слайд Consumer: lag, last_seen
План доклада Обзор PgQ Как мы используем PgQ Pros & Cons
Слайд 3Вступление
Сервис позволяет пользователям бесплатно загружать и просматривать видео-контент (японский аналог YouTube):
Основной источник дохода – реклама.
Число показов в сутки – более 20 млн., 5 ТБ трафика
Число зарегистрированных пользователей – более 150 тыс.
Число показов в сутки – более 20 млн., 5 ТБ трафика
Число зарегистрированных пользователей – более 150 тыс.
Слайд 4Голосуем за видео
Обновление статистики голосов и показов
Обновление рейтингов
Запись истории голосов/показов
Что нужно?
Слайд 8В наличии на 2008 год:
Суммирование голосов с помощью файлов
Рейтинги обсчитываются раз
в день
БД перегружена, статистика запаздывает
БД перегружена, статистика запаздывает
Слайд 13PgQ to the rescue
Предоставляет API для работы с очередью
Хранит данные в
“event tables”
Можно передавать любые данные в событии
Ориентирован на обработку множества событий (batch)
Можно передавать любые данные в событии
Ориентирован на обработку множества событий (batch)
Слайд 16Consumer
API для SQL, Python, PHP, Java
Обрабатывает не события, а пачки
Producer
SELECT pgq.insert_event(queue,
type, data, …)
Слайд 17В чем польза PgQ
Транзакционность (ничего не пропадает)
Асинхронность (регулируется нагрузка)
Consumer логически отделен
от БД
Простота мониторинга (все в БД)
Простота мониторинга (все в БД)
Слайд 20Сохраняем структуру БД
Front-End (PHP) становится producer-ом
На каждый чих в очередь заносится
событие
Memcache: статистика + рейтинги
Memcache: статистика + рейтинги
Слайд 26Производительность
Vacuum
fsync = off
Asynchronous commit
SET LOCAL synchronous_commit TO OFF;
SELECT pgq.insert_event(‘COUNTER’, ‘V’, ‘movie_id=77958023’);
COMMIT;
Слайд 28Куда расти?
Отделение исторических таблиц
Несколько БД с очередями
Skytools 3 cooperative consumers
Предварительное суммирование
Слайд 29Pitfalls
Нельзя узнать длину очереди!
Нельзя очистить очередь!
Текстовый формат событий
Документация аскетична
http://wiki.postgresql.org/wiki/Skytools
