Системы хранения данных презентация

Содержание

Слайд 1Системы хранения данных


Слайд 2Классификация СХД
По типам подключения
DAS, NAS, SAN
По масштабу применения:
Для небольших офисов и

домашнего применения
Для центров обработки данных
По внутренней организации:
Отказоустойчивые и неотказоустойчивые
Традиционные и объектно-ориентированные
По техническим возможностям:
Начального уровня (entry-level)
Среднего уровня (mid-range)
Старшего уровня (hi-end)

Слайд 3DAS, NAS, SAN


Слайд 4Назначение
Резервное копирование
Консолидация хранения
Улучшение скорости доступа к данным
Создание резервных площадок
Спектр требований:
Производительность
Надежность, ремонтопригодность,

доступность
Эффективность использования дискового пространства
Защита от НСД
Простота администрирования
Поддержка программных интерфейсов для мониторинга и управления
Поддержка расширенных функциональных возможностей


Слайд 5Объектно-ориентированное хранение


Слайд 6Масштабирование СХД
Scale-Up
Более мощные системы (IOPS, Latency, Storage space)
Big-data не всегда требует

IOPS
Scale-out
Масштабирование однотипными узлами
Вычислительными
Узлами хранения
Комбинированными узлами
Не всегда подходят для задач традиционных СУБД

Слайд 7Структура типовой СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски


Слайд 8Улучшения внутри СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски

ПЕРЕУПОРЯДОЧИВАНИЕ ЗАПРОСОВ


Слайд 9Улучшения внутри СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски

КЭШИРОВАНИЕ ЧТЕНИЯ
READ-AHEAD PREFETCH
КЭШИРОВАНИЕ ЗАПИСИ


Слайд 10Улучшения внутри СХД
Контроллер СХД
Cache
РЕЖИМЫ ФУНКЦИОНИРОВАНИЯ КЭША
Write-through
Write-around
Write-back

Cache
1


2

3

4



Слайд 11Улучшения внутри СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски

КЭШИРОВАНИЕ ЧТЕНИЯ
READ-AHEAD PREFETCH
КЭШИРОВАНИЕ ЗАПИСИ

SSD CACHE


Слайд 12Улучшения внутри СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски

КОНТРОЛЬ ОШИБОК

ДВОЙНЫЕ ПОРТЫ SAS


Слайд 13Улучшения внутри СХД
СХД

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД

Контроллеры портов внутренних подключений

(Back-end)

Cache


Жесткие диски


Контроллеры портов внешних подключений (Front-end)

Контроллер СХД

Cache


Слайд 14СХД

Контроллеры портов внутренних подключений (Back-end)
Улучшения внутри СХД

Жесткие диски
Системы среднего уровня
ХОСТ

Контроллеры портов

внешних подключений (Front-end)

Контроллер СХД

Cache


Контроллеры портов внешних подключений (Front-end)

Контроллер СХД

Cache


Слайд 15Улучшения внутри СХД
СХД




Системы старшего уровня
ХОСТ

Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache

Контроллеры портов

внешних подключений (Front-end)

Контроллер СХД

Cache


Слайд 16Улучшения внутри СХД
«Тонкие» LUN






Зарезервированное, но не используемое пространство
«Толстые» LUN
На СХД занято

пространство в 21 TБайт

2TB

2TB

2TB

6TB

5TB

4TB


Доступное, но не зарезервированное пространство


Слайд 17Эволюция RAID
Требование увеличения пропускной способности дискового массива ведет к необходимости увеличивать

количество дисков в массиве
Рост объема дисков ведет к риску очень длительного восстановления массива в случае отказа одного диска
Отказ за это время еще одного диска в RAID 5 ведет к потере данных

Слайд 18Эволюция RAID

Hot spare


Слайд 19RAID 2.0+
СХД
Disk Domain
Дисковый домен


SSD
SAS HDD
NL-SAS HDD

Chunks, 64 MB


Слайд 20RAID 2.0+

Disk Domain

Для пула хранения можно выбрать, какой тип дисков будет

задействован
и какой тип RAID использовать для каждого типа дисков

Слайд 21RAID 2.0+








Extent 512k…64 MB



«Толстые» LUN
«Тонкие» LUN
Extent
Grain 64k


Слайд 22
RAID 2.0+
СХД
Disk Domain
Дисковый домен


CKs

CKGs

Storage pool


LUN

LUN


Слайд 23RAID 2.0+
Запись на один диск – ограничение производительности
Минимизация объема восстановления
Восстановление многие-ко-многим


Слайд 24RAID 2.0+
Наиболее распространенный подход


Технология Huawei RAID 2.0+
Нужно выбрать деление дисков на

группы до начала конфигурирования LUN

Создание LUN не требует детального планирования по распределению дисков


Слайд 25RAID 2.0+ SmartMotion
Данные распределяются по дискам равномерно
Расширение пространства хранения создает дисбаланс
















































SmartMotion
Нагрузка

на диски выравнивается

Слайд 26RAID 2.0+


Слайд 27Иерархическое хранение данных с динамическим перераспределением
С увеличением скорости доступа к данным

стоимость хранения 1 Гбайта данных на дисках растет
Не все данные имеют одинаковую востребованность
Функциональность динамического перераспределения данных позволяет оптимизировать емкость более быстрых (и, соответственно, более дорогих) дисков

Слайд 28Иерархическое хранение данных с динамическим перераспределением
Данные
Tiering
Перераспределение данных между уровнями на основе

собираемой статистики
Возможны исключения из временного периода статистики часов простоя
Выполнение перераспределения (миграции) для ускорения доступа к наиболее часто используемым данным и перемещения редко используемых данных на уровни с меньшей стоимостью хранения
Миграция может осуществляться по расписанию или инициироваться вручную


Слайд 29Tiering на примере СХД Huawei
Статистика основана на учете следующих факторов:
количества обращений
типа

обращения (чтение или запись)
объема передаваемых данных
является ввод-вывод последовательным или случайным
Редко востребованные данные перемещаются на уровень с минимальной стоимостью хранения
На SSD-уровень перемещаются данные с малым размером обращения ( до 64 кБайт)
Обращения с последовательным чтением на SSD-уровень не перемещаются
Единица статистического учета и единица перемещения блоков - extent

Слайд 30Tiering на примере СХД Huawei
Использование динамичес- кого перераспределения позволяет достичь большей

скорости ввода-вывода с уменьшением задержек

Тот же уровень скорости ввода-вывода может быть достигнут на меньшем количестве дисков

Сбор информации

Анализ и перераспределение


Слайд 31Мгновенные снимки данных (Snapshot)
«Старые» данные в виде блока «D» копируются в

дополнительное пространство и производится модификация указателей в таблице соответствия

Copy-on-Write
COW

Метод «Копирование при записи»


Слайд 32Мгновенные снимки данных (Snapshot)
Удаленные данные
Redirect-on-Write
ROW
Метод «Перенаправление при записи»
E1
C
B
A
D
Исходный LUN
Таблица соответствия
D1
E2
B
Измененные данные
Новые

данные

«Новые» данные (блоки E1,E2) записываются в дополнительное пространство.

Удаление данных (блок B) не освобождает дисковое пространство


Слайд 33Одновременность создания копий данных на разных LUN
Существуют приложения, в которых для

оптимизации их работы необходимо наличие не менее 2 разных логических дисков, которые, как правило, располагаются на разных LUN
СУБД (журналы + таблицы БД)
Системы электронной почты
Для получения корректной копии данных для приложения необходимо обеспечить одномоментность получения копий разных LUN
Эта функциональность должна быть реализована в СХД, иначе гарантированно правильные копии данных приложения получить значительно сложнее или невозможно
Такие СХД реализуют наличие Consistency Groups

Слайд 34Дедупликация и сжатие данных











Данные
1. Блоки данных одинакового размера
2. Дедупликация:
2.1 Вычисление хэш-функции
2.2

Поиск полученного значения в таблице хэшей
2.3 В случае успешного поиска – сравнение блока с уже известным блоком

3. Дедуплицированные данные сжимаются.


Дедупликация и сжатие может выполняться
До записи на диски (inline)
Или
После записи на диски
(post)

В случае одновременного использования функций дедупликации и сжатия
сначала выполняется дедупликация,
затем выполняется
сжатие.


Слайд 35Аппаратные ускорители дедупликации и сжатия данных
Вычисление хэш-функций и сжатие данных являются

интенсивными вычислительными операциями. Аппаратные ускорители улучшают производительность систем хранения, снимая вычислительную нагрузку с ЦПУ контроллеров системы хранения.

Функциональность ускорителя в СХД Huawei:
Вычисление значения хэш-функции
Выполнение алгоритма gzip
Пропускная способность при дедупликации16 Гбит/с
Пропускная способность при сжатии данных 8 Гбит/с
Пропускная способность при декомпрессии данных 16 Гбит/с


Слайд 36Применение дедупликации и сжатия данных


Слайд 37Ограничения по применимости дедупликации и сжатия данных
Дедупликация неэффективна для таких специфических

случаев, как зашифрованные данные или сжатые данные (например файлы изображений)
Сжатие не дает заметного эффекта для уже сжатых данных или зашифрованных данных
Если в результате сжатия достигнутый уровень сжатия недостаточен, на диске лучше записывать несжатые данные

Слайд 38Клонирование данных
Получение полной копии данных
Может использоваться, например, для:
Создания резервных копий
Получения актуальных

данных для проведения анализа и тестов

Клонирование не дает моментальной копии.
Создание клона
(первичная синхронизация)
требует времени.
После достижения синхронного состояния она поддерживается через двойную запись


Слайд 39Клонирование данных
Таблица изменившихся блоков
Повторная синхронизация часто занимает меньше времени, чем создание

клона

Слайд 40Клонирование данных
Возможность поддержания в синхронном состоянии одновременно нескольких клонов позволяет использовать

имеющиеся дубликаты данных независимо в различных целях, например:
Резервное копирование
Построение отчетности
Анализ данных в режиме он-лайн

Вторичный LUN 2 (клон)



Вторичный LUN № (клон)




Слайд 41Клонирование данных
Операции чтения-записи переключаются на клон
Можно осуществить изменение направления синхронизации
Возможные цели

использования:
восстановление из резервной копии
новая версия ПО

Слайд 42Копирование данных
Операции записи необходимо остановить
Копирование, в отличие от клонирования, не поддерживает

идентичность данных после создания копии

Возможные цели использования:
Резервная копия
Копия данных для анализа, тестирования,…


Слайд 43Виртуализация систем хранения

Основной LUN



Существующая система хранения
Хост

Основной LUN


Существующая система хранения
Хост


























































































































eDevLUN


Новая система хранения




Новый LUN



Слайд 44Виртуализация СХД

Метаданные
Исходный LUN


eDevLUN
Сохранение уже произведенных инвестиций в оборудование СХД
Централизация управления с

сохранением доступа к данным на уже имеющихся СХД
Возможность миграции данных между СХД без остановки операция ввода-вывода для хоста
Использование мгновенных снимков для создания резервных копий данных с имеющихся СХД
Возможность использования расширенного функционала новейших СХД для LUN старых СХД


Преимущества виртуализации


Слайд 45ЦОД2
ЦОД1
Репликация данных



Слайд 46Синхронная репликация данных
Синхронная репликация
CACHE
CACHE
LUN A
LUN B
СХД1 ЦОД1
СХД2 ЦОД2
1


2

3

4
4. Хост получает подтверждение

успеха записи от 1й системы

3. 2я система подтверждает успех записи

Пропускная способность канала должна соответствовать максимальной пиковой нагрузке по операциям записи


Слайд 47Асинхронная репликация данных
СХД1 ставит временнУю метку на блок данных
Все блоки с

соответствующими временнЫми метками пересылаются на СХД2

Пропускная способность канала должна быть адекватна максимальной пиковой нагрузке по операциям записи за временной промежуток окна репликации

LUN A

LUN B

2

5

5

3



Cache

T1’

T0’



Cache

T1

T0

1

1

4

Асинхронная репликация

СХД1 ЦОД1

СХД2 ЦОД2


Слайд 48Асинхронная репликация файловых систем
СХД1 ЦОД1
СХД2 ЦОД2
Файловая система
1
2
Host

3

4
Мгновенный снимок
Файловая система
Мгновенный снимок
5 Инкрементальная

реплика

Для обеспечения корректности данных используются мгновенные снимки

Мгновенные снимки делаются по технологии перенаправление-при-записи (Redirect-on-Write, ROW)


Слайд 49В СХД Huawei при отключении второй СХД или возрастании задержки реализовано

автоматическое переключение с синхронной репликации на асинхронную

Репликация данных

* - определяется задержкой в канале


Слайд 50Возможности репликации LUN в СХД Huawei OceanStor v3

Репликация с 32 СХД

на одну вторичную СХД (32:1)
Репликация LUN с одной на 32 вторичных СХД
До 2048 репликационных пар LUN
Восстановление сбойных секторов на первичном LUN с синхронной реплики

Централизация защиты данных


Consistency Group

До 512 Consistency Group
До 512 репликационных пар для каждой из групп

Скорость асинхронной репликации можно изменять
4 уровня скорости: Low (< 5MB/s), Middle (10MB/s – 20MB/s), High (50MB/s – 70MB/s), Ultra High (> 100MB/s)

Регулируемая скорость


Возможна репликация между системами различной мощности ( например, между 5300 v3 и 6800 v3 или 18000 v3)
Экономичное решение по защите данных в резервном ЦОД с минимизацией времени восстановления и объема потери данных

Системы разной мощности


Слайд 51Зеркалирование LUN


Слайд 52Зеркалирование LUN
С использованием виртуализации СХД становится возможным создавать зеркальные копии на

различных системах хранения (в том числе, системах разных производителей)
Обеспечивается возможность продолжения операций ввода-вывода при сбое в одной из систем


Хранение на разных СХД

После создания «зеркала» есть 2 независимые копии данных
Отказ одного из LUN в зеркале не приводит к отказу в осуществлении ввода-вывода для хоста
LUN могут располагаться, например, на разных дисковых полках


Надежность хранения

Чередование чтения (Round-robin) позволяет улучшить производительность по чтению до 80%.
Возможно указание приоритетного зеркала для чтения данных.

Непрерывность операций ввода-вывода

Зеркальные копии могут быть созданы без остановки операций хоста. Процесс создания зеркала полностью прозрачен для хоста


Улучшение производительности


Слайд 53Перенос данных внутри СХД
Disk Domain 1
Перенос в пул хранения с другой

организацией RAID для подстройки производительности
Перенос в пул хранения, основанный на дисках с иной производительностью ввода-вывода
Перенос LUN производится без остановки операций ввода-вывода для хоста


Перемещение LUN

Disk Domain 2


Слайд 54Перенос данных между СХД
Перенос между системами хранения может быть использован для
Повышения

производительности ввода-вывода при переносе со старой или менее мощной системы
Оптимизации использования пространства хранения за счет переноса менее требовательных к вводу-выводу задач на СХД с меньшей производительностью или стоимостью хранения


Перемещение LUN

Для переноса между системами хранения необходимо предварительно выполнить настройку виртуализации СХД



Слайд 55Управление качеством обслуживания в СХД
Использование дисков SSD для увеличения объема кэша

чтения на контроллере
Имеется возможность создания разделов для разделения ресурса кэша контроллера между LUN
Совместное применение с виртуализацией позволяет ускорить ввод-вывод для унаследованных СХД


SmartCache

Приоритезация операций ввода-вывода
Имеется возможность задания расписания для применения приоретизации по времени суток


SmartQoS

Разделение объема памяти кэша контроллера для обеспечения выделенного фиксированного объема памяти для приложений
Выделенный ресурс кэша используется для одного или нескольких LUN
Возможно использование вместе с виртуализацией


SmartPartition


Слайд 56Управление качеством обслуживания в СХД
Кэш контроллера
SmartCache
HDD
1
9
2
3
4
7
5
6
8










































P1
P2


Слайд 57Система очередей
Управление качеством обслуживания в СХД
Система квитирования
Q1
Q2
Q3







3 очереди
Возможно создание политик с

расписанием работы по времени дня
IOPS (< или >)
Latency (<)
Bandwidth (< или >)
Применение набора технологий управления качеством обслуживания дает достаточную гибкость конфигурирования


SmartQos


Слайд 58Управление качеством обслуживания в СХД
SmartPartition
LUN
P1
P2
Кэш контроллера
Default





Слайд 59Мониторинг и управление СХД Huawei
Подключение через интерфейс RS-232
Управление через сеть через

командную строку (SSH)
Управление через веб-интерфейс
Управление через программный интерфейс SMI-S


Управление СХД

Ведение журнала событий с возможностью выгрузки на FTP-сервер
Мониторинг в реальном времени через веб-интерфейс
Протокол SNMP
Использование программного обеспечения для централизованного управления инфраструктурой (Huawei eSight)


Мониторинг СХД


Слайд 60Учебные эмуляторы СХД Huawei
Эмулятор веб-интерфейса управления СХД доступен для загрузки на

веб-сайте технической поддержки Huawei

Слайд 61Основной экран интерфейса управления
Общие сведения
Журнал событий



Использование пространства хранения

График текущей нагрузки

Переключение между

экранами управления

Слайд 62Детальная информация об оборудовании

System


Слайд 63Детальная информация об оборудовании
Информация о диске
Сводная информация о дисках


Слайд 64Детальная информация об оборудовании
Информация о порте ввода-вывода на контроллере
Информация о портах

на плате ввода-вывода

Слайд 65Детальная информация об оборудовании
Информация о порте управления
Настройка IP адреса сетевого интерфейса

управления

Информация о блоке питания


Слайд 66Управление хранением данных
Диаграмма операций управления
Основные операции блочного хранения
Основные операции файлового хранения




Общее

конфигурирование и настройка

1

1


Слайд 67
Настройка производительности



Общее конфигурирование и настройка




Слайд 68Общее конфигурирование

1
2
3
4
5
6
7


Слайд 69Типовые конфигурации для распространенных приложений

5


Слайд 70Настройка защиты данных
1
2
3
4
5
6


Слайд 71Мгновенный снимок




Слайд 72Копирование LUN


Слайд 73Подключение удаленного устройства



Слайд 74Репликация



Слайд 75Зеркалирование


Зеркалирование может осуществляться как внутри одной системы, так и между системами


(с использованием виртуализации)

Слайд 76Клонирование


Клонирование может осуществляться только внутри одной системы


Слайд 77Мониторинг





Слайд 78Мониторинг (объекты)



Слайд 79Мониторинг (2)







Слайд 80Мониторинг (3)






Слайд 81Мониторинг (4)


Слайд 82Мониторинг (5)


Слайд 83Базовые настройки

1
2
3
4


Слайд 84Базовые настройки

2
3
4
1
5
6


Слайд 85Базовые настройки

1


Слайд 86Базовые настройки

1


Слайд 87Базовые настройки

2


Слайд 88Базовые настройки

3


Слайд 89Базовые настройки

4


Слайд 90Базовые настройки

2


Слайд 91Базовые настройки

3


Слайд 92Базовые настройки

4


Слайд 93Базовые настройки

5


Слайд 94Базовые настройки

5


Слайд 95Базовые настройки

5


Слайд 96Базовые настройки

6


Слайд 97Поддержка
2
4
5
1
7
8
3
6


Слайд 98Управление файловым доступом
Создать дисковый домен
Создать пул хранения
Создать файловую систему
Создать логический порт

подключения
Создать ресурс общего доступа

Слайд 99Управление блочным доступом
Создать дисковый домен
Создать пул хранения
Создать LUN
Указать (создать) логическую группу

для созданного LUN
Создать запись о хосте
Указать (создать) логическую группу для созданного хоста
Установить соответствие между логической группой LUN и логической группой хостов

2

3

4

1

5

6

7


Слайд 100Управление пространством хранения



Слайд 101Управление пространством хранения



Слайд 102Управление пространством хранения



Слайд 103Управление пространством хранения



Слайд 104Управление пространством хранения

Возможно определить политику в момент создания пространства хранения
Политика может

быть определена позднее и/или изменена в будущем при возникновении необходимости внесения изменений


Управление политикой SmartTier


Слайд 105Управление пространством хранения


Позволяют настроить отличные от значений «по умолчанию» характеристики LUN
Индивидуальные

характеристики могут быть определены позднее и/или изменены в будущем

Дополнительные настройки характеристик


Слайд 106Управление пространством хранения

Политика упреждающего чтения


Слайд 107Политика упреждающего чтения


Слайд 108Дополнительные настройки LUN


Слайд 109Дополнительные настройки LUN (2)


Слайд 110Управление пространством хранения


Задание расписания создания мгновенных снимков
Задание дополнительных характеристик

Дополнительные настройки


Слайд 111Дополнительные настройки


Слайд 112Дополнительные настройки


Слайд 113Дополнительные настройки
Write once Read many
Защита файлов от изменения после создания
Технология может

быть использована в случае наличия требования законодательства или внутренних правил компании

WORM


Слайд 114Управление учетными записями пользователей файловых ресурсов


Слайд 115Виртуальная частная СХД

Разделение на частные СХД
Использование политик QoS для обеспечения уровней

SLA
Позволяет достичь экономии за счет совместного использования ресурса при наличии гарантий производительности

Smart Multi-Tenant


Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика