Слайд 1Обзор технологий и продуктов Oracle для создания аналитических систем
и хранилищ
Слайд 2План доклада
1. Аналитическая обработка данных и средства Oracle Express
2. Технология построения
корпоративного хранилища данных
3. Опыт применения
Слайд 3
Аналитическая
обработка данных и
средства Oracle Express
Слайд 4Рассматриваемые вопросы
Аналитическая обработка данных и OLAP -технология
Инструментальные средства Oracle Express
Технология создания
Express-приложений
Слайд 5Задачи
информационного анализа
Оценка общего состояния области
Прогнозирование перспектив
Выявление тенденций
Оценка влияния параметров
Выявление
взаимосвязей
...
Слайд 6Многомерная модель БД
Потребители
Время
Энергосистемы
123
432
193
874
9876
979
34
475
555
Тариф на электроэнергию
Слайд 7Логические представления данных конечному пользователю
Энергосистемы
Потребители
Время
Потребители
Энергосистемы
Время
Слайд 8
Многомерные и реляционные информационные модели
Сумма
Продукт
Регион
Время
Цена
Показатели и размерности
Сущности и атрибуты
Заказ
Клиент
Продукт
Слайд 9Сравнение моделей данных
Реляционная модель данных
Многомерная модель данных
Потребитель
Регион
Время
100000
01.01.98
02.01.98
Центр
Восток
Население
С/x
Промышл.
66000
34000
80000
48000
980000
Слайд 10Сравнение моделей данных
1
2
Потребит.
Население
С/x
Промышл.
1
2
3
100000
66000
34000
980000
80000
48000
(1,1,1)
(1,1,2)
(1,1,3)
(1,2,1)
(1,2,1)
(1,2,1)
(2,1,1)
(2,1,1)
130000
85000
Реляционная модель
Многомерная модель
Слайд 11Продукты Oracle Express
Express Server ( многомерная СУБД )
Express Tools (
средства разработки OLAP-приложений )
Express Applications (специализированные OLAP-приложения)
Слайд 12Oracle Express Server
Многомерная модель данных
Эффективные структуры хранения данных для многомерных запросов
Развитые
средства многомерного анализа
Слайд 13Развитые средства многомерного анализа
Oracle Express Server
Поддержка аналитических запросов
Встроенные статистические, финансовые
функции, анализ временных рядов
Гибкое определение производных данных
Моделирование
Прогнозирование
Слайд 14Размерности
Время, Типы налога, Территории
Переменные
В_федер._бюджет , Тип ории)
В_ремя,
Тип налога, Территории)
Формулы
Поступление = В_федер._бюджет + В_террит_бюджет
Объекты базы данных Express
Стоимость=Отпуск * Тариф
01.98
02.98
03.98
04.98
Время
Тариф
Слайд 15Объекты базы данных Express
Отношения Потребители Type
DEM
FRF Собственные
USD
RUR
UAH Внешние
Иерархии Регион
BANK
TFXL TFXI ACCT
FXMN ACCR FUTR FDLP DGRT
Слайд 16Продукты Oracle Express
Sales Analyzer
Financial Analyzer
Express Analyzer
Express Objects
Express Web Publisher
Express Web Agent
Oracle
Express Server
Third Party FET
Relational Access Manager
Реляционные базы данных
Оперативные БД
и внешние источники
Слайд 17Oracle Express Analyzer
Объектно-ориентированный инструмент конечного пользователя
Графический интуитивный интерфейс (drag-and-drop)
Динамическое формирование запросов,
отчетов, диаграмм
Визуализация многомерных операций (поворот, срез)
Поддержка “что, если” - анализа
Брифинги c многомерными таблицами и графиками, кнопками и встроенными OLE-объектами
Возможность распространения брифингов по E-mail
Слайд 18Oracle Express Objects
Объектно-оринтированная среда разработки OLAP-приложений
Базовые и определяемые пользователем библиотеки классов
Средства
визуального программирования + Express Basic (Visual Basic-совместимый язык разработки )
Поддержка OLE
Приложения могут выполняться под управлением Oracle Express Analyzer
Слайд 19Приложения Oracle Express
Oracle Sales Analyzer
Средство анализа данных продаж, информационного обеспечения маркетинга
и других подобных задач
Интеграция с RDBMS с помощью механизма SQL*Bridge и использование для анализа информации в Хранилищах Данных (Data Warehouse)
Oracle Financial Analyzer
Распределенное приложение для финансового планирования, бюджетинга, прогнозирования и анализа финансовой информации
Интерфейс с Oracle GL, Excel, различными RDBMS
Слайд 20Технология создания OLAP
Определение информационных потребностей пользователей
Проектирование и реализация многомерной базы данных
Разработка
процедур загрузки данных из источников
Создание рабочих мест конечных пользователей
Слайд 21
Технология построения корпоративного
хранилища данных
Слайд 22Рассматриваемые вопросы
Архитектура корпоративного хранилища данных
Проектирование и поддержка хранилища данных
Согласование и загрузка
данных из разных источников
Доступ к данным хранилища и витрин
Слайд 23
Любые данные
Любой доступ
Любые источники
Общий подход к созданию
систем поддержки принятия решений
Слайд 24
Технология Oracle для создания
систем поддержки принятия решений
Согласование данных
Многомерные
витрины
Реляционное
Хранилище
данных
Реляционные витрины
Средства
анализа
Средства
анализа
Оперативные
системы
Внешние источники
Слайд 25
Хранилище данных:
серверы и рабочие места
Витрины данных
Операционные
системы
Сервер согласования
данных
Oracle Server
Data Mart Builder
Oracle Server,
Express Server
Администратор
перемещения данных
Администратор
хранилища
Системный администратор
Подготовка отчетов
Анализ
Приложения
Oracle Server
Designer/2000
OEM
Discoverer
Express Analyzer
Внешние данные
Метаданные
Oracle Reports
Слайд 26Основные задачи разработки
Проектирование хранилища данных
Разработка процедур согласования, очистки и загрузки данных
из разных источников в хранилище
Создание многомерных и реляционных витрин данных
Организация доступа к данным хранилища и витрин
Слайд 27
Финансы
Oracle Designer
для проектирования и поддержки хранилища данных
Витрины данных
Продажи
Маркетинг
Оперативные
системы
Сервер согласования
данных
Oracle Server
Data Mart Builder
Oracle Server,
Express Server
Администратор
перемещения данных
Администратор
хранилища
Системный администратор
Подготовка отчетов
Анализ
Приложения
Oracle Server
Oracle Designer
OEM
Discoverer
Express Analyzer
Внешние данные
Слайд 28Инструментальные средства проектирования хранилища
Oracle Designer (Oracle Data Mart Designer)
Хранение в репозитарии
метаданных о
локальных данных источников;
структуре и объектах хранилища
Спецификация информационных требований (информационная модель)
Средства анализа существующих источников данных
Средства визуального проектирования объектов хранилища
Генерация скриптов создания хранилища
Поддержка и сопровождение
Слайд 29Основные задачи разработки
Проектирование хранилища данных
Разработка процедур согласования, очистки и загрузки данных
из разных источников в хранилище
Создание многомерных и реляционных витрин данных
Организация доступа к данным хранилища и витрин
Слайд 30
Финансы
Data Mart Builder
для согласования и загрузки данных
Витрины данных
Продажи
Маркетинг
Оперативные
системы
Сервер согласования
данных
Oracle Server
Data Mart Builder
Oracle Server,
Express Server
Администратор
перемещения данных
Администратор
хранилища
Системный администратор
Подготовка отчетов
Анализ
Приложения
Oracle Server
Oracle Designer
OEM
Discoverer
Express Analyzer
Внешние данные
Слайд 31Согласование и очистка данных
Согласование однотипных данных из разнородных источников
Согласование и
очистка исторических данных из одного источника
Примеры согласования
Нестандартный формат дат
Различная степень детализации
Согласование данных по времени
Различные способы идентификации
Слайд 32Инструментальные средства согласования и загрузки данных
Oracle Data Mart Builder
Связь с различными
источниками
Формирование общего логического метапредставления данных (MetaView)
Построение плана загрузки с использованием визуальных графических средств и техники “drag and drop”
Выполнение плана загрузки
Слайд 33Связь с источниками
Прямая связь с Oracle, Sybase, SQL Server и др.
Связь
через ODBC с базами данных
Использование шлюзов (Transparent Gateway)
Слайд 34Создание представления об источниках
Слайд 35Создание общего метаописания исходных данных
Создание метапредставлений (MetaView)
Метапредставление состоит из категорий и
атрибутов (аналог сущности в ER модели)
При спецификации атрибута указывается связь со столбцами таблиц источника
непосредственно имя столбца или
формула вычисления атрибута (для вычислимых атрибутов)
При создании метапредставлений частично решается задача согласования данных
Слайд 36Формирование плана загрузки
План загрузки -- блок-схема процесса извлечения, преобразования и загрузки
данных
План представляет собой диаграмму потока данных, которые преобразуются с помощью стандартных блоков преобразования -- трансформеров
Удобный графический интерфейс формирования и выполнения планов
Использование техники “drag and drop”
Слайд 38Трансформеры плана загрузки
Трансформер определяет тип преобразования и имеет определенные параметры настройки
Более 20 типов предопределенных трансформеров
Примеры:
извлечение данных (SQL Query);
фильтры;
загрузка в таблицу (Batch Loader, SaveToTable)
Программирование и включение в состав общей библиотеки пользовательских трансформеров
Слайд 39Библиотека трансформеров
Извлечение из источника (SQL Query, чтение из текстовых файлов)
Операции над
столбцами (отбор столбцов)
Операции над строками (фильтры)
Действия с потоком (расщепление, условное расщепление, объединение, соединение)
Загрузка в таблицу
Трансформеры согласования :
генерация таблицы дат;
генерация основных ключей;
подстановка ключей при загрузке фактических таблиц
Слайд 43Выполнение плана загрузки
Непосредственный вызов плана с помощью специальной кнопки
Формирование расписания выполнения
планов загрузки
Слайд 44Основные задачи разработки
Проектирование хранилища данных
Разработка процедур согласования, очистки и загрузки данных
из разных источников в хранилище
Создание многомерных и реляционных витрин данных
Организация доступа к данным хранилища и витрин
Слайд 45Создание витрин данных
Проектирование структуры и объектов витрины
Разработка процедур загрузки данных из
хранилища
Технология и регламент пополнения и обновления витрин
Слайд 46Основные задачи разработки
Проектирование хранилища данных
Разработка процедур согласования, очистки и загрузки данных
из разных источников в хранилище
Создание многомерных и реляционных витрин данных
Организация доступа к данным хранилища и витрин
Слайд 47
Финансы
Доступ к данным хранилища и витрин
Витрины данных
Продажи
Маркетинг
Оперативные
системы
Сервер
согласования
данных
Oracle Server
Data Mart Builder
Oracle Server,
Express Server
Администратор
перемещения данных
Администратор
хранилища
Системный администратор
Подготовка отчетов
Анализ
Приложения
Oracle Server
Oracle Designer
OEM
Discoverer
Express Analyzer
Внешние данные
Слайд 48Доступ к данным хранилища и витрин
Oracle Server
Регламентированные отчеты
Многомерный
анализ
Сложный анализ
данных
Discoverer
Express Analyzer
Oracle Reports
Произвольные запросы
Data Mining ...
Express Objects
Oracle Server
Express Server
Слайд 49Oracle Reports
для хранилищ данных
Режим “клиент-сервер”
Пакетный режим
обновление отчетов по расписанию
адресная рассылка
электронных документов
Работа с выделенным сервером через Web
централизованное администрирование
простота получения отчетов
ограничение нагрузки на сервер баз данных
Документы в формате HTML и PDF
Слайд 50Доступ к данным хранилища и витрин
Oracle Server
Регламентированные отчеты
Многомерный
анализ
Аналитические приложения
Discoverer
Express
Analyzer
Oracle Reports
Произвольные запросы
Data Mining ...
Express Objects
Oracle Server
Express Server
Слайд 51Oracle Discoverer
Произвольные запросы к реляционным данным
Создание бизнес-представлений данных (End User Layer)
для конечных пользователей
Для конечного пользователя:
Визуальные средства формирования запросов в терминах бизнес-области
Динамическое агрегирование, сортировка и группировка данных
Цветовое кодирование
Использование многомерных представлений данных
Слайд 52Дополнительные возможности
Вычисление предполагаемого времени запроса (по стандартной статистике Oracle)
Возможность для конечного
пользователя
выполнить запрос;
отменить выполнение;
назначить выполнение по расписанию в пакетном режиме
Оптимизация схемы данных (индексы, промежуточные таблицы)
Слайд 53Доступ к данным хранилища и витрин
Oracle Server
Регламентированные отчеты
Многомерный
анализ
Аналитические приложения
Discoverer
Express
Analyzer
Oracle Reports
Произвольные запросы
Data Mining ...
Express Objects
Oracle Server
Express Server
Слайд 54Партнеры Oracle
в области Data Mining
DataMind
Information Discovery
NeoVista
Thinking Machines
ISL - Clementine
Data Distilleries
SPSS
Слайд 55Доступ к данным хранилища и витрин
Oracle Server
Регламентированные отчеты
Многомерный
анализ
Аналитические приложения
Discoverer
Express
Analyzer
Oracle Reports
Произвольные запросы
Data Mining ...
Express Objects
Oracle Server
Express Server
Слайд 56
Опыт использования
технологий Oracle для создания хранилищ и витрин данных
Слайд 57Опыт применения технологии хранилищ данных и OLAP
Налогообложение
Анализ задолженников (Госналогслужба)
Аналитические приложения для
налоговых инспекций
Банки и финансы
Прогнозирование балансов многофилиального банка
Анализ рынка государственных ценных бумаг (ЦБ)
Анализ состояния кредитно-депозитной деятельности в республике Узбекистан (ЦБ Узбекистана)
Анализ открытой валютной позиции банка
Слайд 58Опыт применения технологии хранилищ данных и OLAP
Энергетика
Анализ полезного отпуска электро- и
теплоэнергии
Анализ данных по абонентской плате
Другие области
Анализ статистики преступности (по Москве)
Анализ демографических данных (Вологодская обл.)
Маркетинговый анализа продаж на рынке нефтепродуктов