Вячеслав Красовский Старший инженер-разработчик Микрософт BI 202. презентация

Data Warehouse

Вячеслав Красовский

Старший инженер-разработчик

Микрософт

BI 202

сложные дизайны

Сегодня:
Мощные широкодоступные компьютеры
Дешёвые сетевые технологии
Проверенный подход к параллелизму

Как разделить данные и властвовать
Секционный (партиционный) параллелизм

Microsoft SQL Server 2008 R2 PDW
Устройство устройства

Линейное ускорение (рост в быстродействии) – добавление оборудования ведёт к увеличению скорости исполнения запроса

ведёт к увеличению количества данных при прежней скорости исполнения запросов

(100) может быть весьма значительным
Интерференция
Замедление всех запросов привносимое при добавлении нового запроса. Возникает в результате доступа к общим ресурсам
Неравномерность (Skew)
Общее время запроса ограничено временем исполнения самого медленного шага

данные и властвовать
Партиционный параллелизм

Microsoft SQL Server 2008 R2 PDW
Устройство устройства

на сотни терабайт уже в широком обиходе
Что же делать с сотнями 1 ТВ дисков?
Простой перечень подходов:
(1) Системы с общей памятью
(2) Системы с общим диском
(3) Независимые (shared-nothing) системы

масштабированием
Система памяти становится узким местом
Проблемы вызванные протоколами синхронизации кэшей
Интерференция вследствие доступа к общим ресурсам (таблицы блокировок, буфер страниц, т.п.)
Весьма сложно достичь масштаба сотни ядер ЦПУ

Системы с общей памятью

(10-20 машин)
Для координации доступа нужен сложный распределённый менеджер блокировок
Пример: Oracle RAC

Системы с общим диском

База данных находится на СХД дисках

общих разделяемых компонент (как в системах с общей памятью)
Нет распределённого менеджера блокировок (как в системах с общим диском)
Пропускная способность памяти и дисков растёт линейно с добавлением машин

Независимые системы (shared-nothing)

рост производительности (ускорение и масштабирование)
Недостатки
Администрация – труднее создать систему администрирования
Сложнее подобрать удачный дизайн базы данных приложения
Нужен ПО для обработки ситуаций отказа компонент и неравномерностей (skew) данных

Gamma (Univ. of Wisconsin)
IBM DB2/PE – 1990-е
Informix XPS – конец 1990-х
Ныне: Greenplum, Netezza, Vertica, Aster
Этот же подход используется поисковиками (Bing, Yahoo, Google)
Кластеры из 10,000 машин

Microsoft SQL Server 2008 R2 PDW – независимая (shared-nothing) система

Независимые системы

Как разделить данные и властвовать
Партиционный параллелизм

Microsoft SQL Server 2008 R2 PDW
Устройство устройства

машинам и дискам
Масштабируется прекрасно
сотни машин, тысячи дисков
Основа линейного ускорения и масштабируемости
Три варианта
Разделение по кругу (Round Robin)
Разделение по диапазонам (Range)
Разделение по хэшу (Hash)

2

+ Все диски загружаются равномерно
- Неизвестно куда какой ряд попал

примере ID)

Разделение по диапазонам (Range)

Данные пользователя

Node 2

Node 1

105 ≤ ID ≤ 219

ID ≤ 104

220 ≤ ID ≤ 629

ID ≥ 630

После сортировки можно разбить на нужное количество дипазонов

В этом примере 4 диска, следовательно нужно 4 диапозона

Ряды распеделяются согласно дипазонам

Информация о диапазонх сохраняется в схеме таблицы

из колонок

Разделение по хэшу (Hash)

Данные пользователя

Обратите внимание: диск 1 машины 1 получил 4 ряда, в то время как диск 1 машины 2 – толко два ряда. Неравномерность (skew).

Машина 2

Машина 1

Информаця о том, по какой колонке совершино хэширование сохраняетья в схеме

Hash_Function (201) ? (Машина 1, Диск 2)

Hash_Function (105) ? (Машина 1, Диск 2)

Hash_Function (933) ? (Машина 2, Диск 2)

> $30K”






FILTER и SCAN – есть реляционные операторы, ряды проходят через конвейер таких операторов и приходят к пользователю

поиск на всех машинах
Легко маштабируется
Блокировка локальна

Таблица пользователя

(ID, Name, AmtDue)
Разеление по хэшу по ID

Запрос выполняется
Одной машиной
Последовательный поиск
Остальные машины могут выполнять другие запросы

SQL
Server

SQL
Server

SQL
Server

ID

Имеем кластерный индекс по Customers (ID)

хэшу по ID
Кластерный индекс по ID

Запрос выполняется
Одной машиной
Поиск по индексу ID
Эффективные короткие транзакции

SQL
Server

SQL
Server

SQL
Server

хэшу по ID

Имеем кластерный индекс по Customers (AmtDue)

Имеем не кластерный индекс по Customers (ID)

Engine

SQL
Engine

SQL
Engine

Таблица:
Customers (ID, Name, AmtDue)
Разеление по хэшу по ID
Кластерный индекс по AmtDue
Не-кластерный индекс по ID

Запрос:
Select * from Customers
where AmtDue > $30K

Запросы выполняются
Одной машиной
Поиск по индексу ID


Всеми машинами
Поиск по индексу AmtDue
Эффективный поиск в обоих случаях

AmtDue > $30K
Простые агрегации тоже
Select Avg (AmtDue) from Customers
Каждая машина независимо выполняет под-запрос
Одна из машин собирает полный результат

НО: как быть со сложными агрегациями?
Select City, Avg(AmtDue) from Customers group by City
Как работают слияния (join)?
Select Customer.Name, Order.ShipDate where where Customer.CID = Order.CID

хэшу CID

Запрос:
Select Name, Item from Customers C, Orders O where C.CID = O.CID

SQL Engine

JOIN C.CID = O.CID

JOIN C.CID = O.CID

Соединение совершаеться локально
Время выполнение запроса постоянно, вне зависимости от количества машин!

хэшу CID

Запрос:
Select Name, Item from Customers C, Orders O where C.CID = O.CID

SQL Engine

Это соединение не может совершаеться локально – одна таблица разделна по хэшу CID, другая - OID
Нужно сделать пере-разделение (repartition) - послать копию таблицы Orders похэшировав её по CID (после применеия предикатов например Orders.item = ‘Zune’)

одному и тому же атрибуту
Агрегаты с группировкой (GROUP BY)
Концептуально 3 фазы
Фаза разбиения: каждая машина разбивает таблицу на N кусочков (где N – количество машин)
Фаза пересылки - каждая машина посылает свои кусочки другим машинам (и оставляет один себе)
Фаза сборки - каждая машина принимает свои кусочки от других машин и делает одну временную таблицу

Ряды пересылаются от оператора к оператору, пока не придут к пользователю

не разделена, обе таблицы перераспределяться (после применения предикатов)

Не обязательно на самом деле всегда материализовать временные таблицы

На практике эти 3 фазы выполняются одновременно и используется идея конвейера

хранилища данных
? Соединения (Join) с таблицей фактов локально

Компромисс в том, что изменения к таким таблицам применяються на всех машинах

Таблица Orders
разделена по хэшу по OID

таблицу при перераспределении
Оператор слияния – совершает слияние
Результат: параллельная СУБД способная достичь линейного ускорения и масштабирования

Как разделить данные и властвовать
Партиционный параллелизм

Microsoft SQL Server 2008 R2 PDW
Устройство устройства

Fiber Channel

Management Servers

Compute Rack

Control Rack

Compute Nodes

Dual Infiniband

Пример на базе
аппаратных
средств HP

Вычислительные
машины:
HP DL380 G6
HP MSA

TB

HP PDW 1 Rack
17 Серверов
22 Процессора
132 Ядра
от 35 до 125 TB

Nothing”

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-1

SF-2

SF-3

SF-4

Результат: слияния фактов с измерениями локальны

OFF , | REPLICATED_SIZE = replicated_size [ GB ] | DISTRIBUTED_SIZE = distributed_size [ GB ] | LOG_SIZE = log_size [ GB ] ]

CREATE TABLE table_name    [ ( { } [ ,...n ] )    [ CLUSTERED INDEX ( column_name ) ] , [ DISTRIBIUTE ON = ( column_name ) ] | [ REPLICATE ] , [ PARTITION column_name ( RANGE { LEFT | RIGHT } FOR VALUES { [ boundary_value [,...n] ] ) ) ] }
BACKUP DATABASE database_name TO backup_directory WITH [ ( ] DIFFERENTIAL [, DESCRIPTION = 'text'] [ ) ]

настоящему масштабируемый параллелизм на базе общедоступного оборудования
Техника разделения данных и разделённого выполнения запросов является ключом к достижению линейного ускорения и масштабирования
Microsoft SQL Server 2008 R2 PDW – продукт обеспечивает производительность и масштабируемость посредством массивной параллельной обработки данных, используя комплекс систем общедоступных машин

важно для нас.
Пожалуйста, оцените доклад, заполните анкету и сдайте ее при выходе из зала

Спасибо!

России.
Официальные курсы можно прослушать только в авторизованных учебных центрах Microsoft
под руководством опытного сертифицированного инструктора Microsoft
интенсивное обучение с акцентом на практику
более 80-и учебных центров более чем в 20-и городах России (+ дистанционные и выездные курсы)
Сертификат Microsoft - показатель квалификации ИТ-специалиста для работодателя .
Microsoft предлагает гибкую систему сертификаций.





Все курсы, учебные центры и центры тестирования: www.microsoft.com/rus/learning

15 до 20% и бесплатной пересдачей («вторым шансом»). Все экзамены сдаются одним человеком.

Сэкономьте 15% на сертификации вашей ИТ-команды
Пакет из 10-и экзаменационных ваучеров со скидкой 15% для сотрудников ИТ-отдела. «Второй шанс» включен. Ваучеры можно произвольно распределять между сотрудниками.

Microsoft Certified Career Conference
Первая 24-часовая глобальная виртуальная конференция с 18 ноября с 15.00 (моск. время) по 19 ноября 2010 г.
Сессии по технологиям и построению карьеры
Скидка 50% для сертифицированных специалистов Microsoft и студентов

Бесплатная подписка на TechNet для слушателей официальных курсов
Некоторые курсы по SharePoint, Windows 7; Windows Server 2008; SQL Server 2008

Детали: www.microsoft.com/rus/learning

С 22 ноября 2010 г. – подписка TechNet бесплатно для слушателей курсов. Количество ограничено!