Метод главных компонент презентация

Содержание

1. Метод главных компонент
2. Предположим,
3. Поиск нового фактора
4. Далее, ищется
5. 50 наблюдений переменных x1
6. Комбинируя переменные, мы можем
7. 50 наблюдений переменных z1
8. Переменные
9. Прогнозирование по главным компонентам Главные компоненты
10. Рассмотрим задачу поиска такой
11. Необходимым условием экстремума функции
12. Вторая комбинация с
13. Опять используем множители Лагранжа.
14. Таким образом
15. Расчет главных компонент
16. Формируется матрица собственных векторов,
17. На основе собственных векторов
18. Пусть рынок акций описывается набором признаков Курс
19. Анализ курса акций Ковариационная матрица
20. Анализ курса акций Корреляционная матрица
21. Анализ курса акций
24. Пусть состояние динамической сис-темы
25. Таким образом, n
26. Жесткий алгоритм. В жестком
27. Однако полученные главные компоненты
28. Мягкий алгоритм. При
29. Шаг 1. Формируется учебная
30. Шаг 3. Показатели динамической
31. Ошибки прогноза Оценка ошибок прогноза
32. Среднеквадратическая ошибка (Mean Squared Error, MSE)
33. Стандартная ошибка оценки Оценка ошибок
34. Рассматривается задача прогнозирование курсов валют. В качестве
35. Для построения модели используем обучающую выборку, которая
36. Модель на основе первых двух главных компонент.
39. Ошибки прогноза (мягкий алгоритм) Прогнозирование курсов валют

Предположим, что x – это вектор p случайных или детерминированных величин. Дисперсия этих величин и структуры ковариации или корреляции между переменными представляют для нас

Слайд 1Тема 3. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

Слайд 2

Предположим, что x – это вектор p случайных или детерминированных величин.

Дисперсия этих величин и структуры ковариации или корреляции между переменными представляют для нас интерес.
Если p мало или структура слишком проста, то зачастую бесполезно оценивать p дисперсий и все ½ p(p-1) корреляций и ковариаций.

Главные компоненты

Слайд 3

Поиск нового фактора

комбинации элементов , имеющей максимальную дисперсию

Главные

компоненты

Далее, ищется

исходных факторов, которая не коррелированна с z1 и имеет максимальную дисперсию, и так далее

линейная комбинация

Альтернативным вариантом является поиск таких комбинаций факторов, которые сохраняют большую часть информации/

— линейной

Слайд 4

Далее, ищется

исходных факторов, которая не коррелированна с

Главные компоненты

Главный смысл выделения

главных компонент заключается в том чтобы достаточно хорошо описать изменчивость x с помощью m главных компонент, где m<

— линейная комбинация

и имеет максимальную дисперсию, и т.д.

Слайд 5

50 наблюдений переменных x1 и x2.

Главные компоненты

Слайд 6

Комбинируя переменные, мы можем найти две комбинации имеющих разные дисперсии

Главные компоненты

Слайд 7

50 наблюдений переменных z1 и z2.

Главные компоненты

Слайд 8

Переменные x можно достаточно хорошо описать с помощью первой главной компоненты.

Главные

компоненты

Если мы знаем значение переменной

то используя первое уравнение системы (1) получим

(1)

Слайд 9

Прогнозирование по главным компонентам

Главные компоненты

Слайд 10

Рассмотрим задачу поиска такой линейной комбинации

необходимо использовать метод множителей Лагранжа. Функция

Лагранжа имеет вид

Чтобы максимизировать

, которая максимизирует.

с учетом

Главные компоненты

дисперсию равной

Слайд 11

Необходимым условием экстремума функции Лагранжа является равенство нулю градиента

Величина, которая

максимизируется, равна

Дифференцируем по

Главные компоненты

Слайд 12

Вторая комбинация

с сохранением некоррелированности с

максимизирует
При этом

, т.е.

В связи с

этим, любое из уравнений

может быть использовано для определения нулевой корреляции между 1 и 2 главными компонентами

Главные компоненты

Слайд 13

Опять используем множители Лагранжа. При этом функция Лагранжа равна

приводит к

а умножение

уравнения на

Дифференцирование по

дает

Главные компоненты

Слайд 14

Таким образом

вновь становятся

и
приводят к тому, что

собственным значением и собственным вектором

матрицы

Наши доказательства приведены для k=2, для k > 2 доказательство более сложное, но в целом выполняется по аналогичной схеме.

Главные компоненты

Слайд 15Расчет главных компонент

Ковариационная матрица определяется по формуле

Собственные векторы ковариационной матрицы

определяются из уравнения

Слайд 16

Формируется матрица собственных векторов, которым соответствуют наибольшие собственные значения

Расчет главных компонент

Слайд 17

На основе собственных векторов вычисляются главные компоненты

Расчет главных компонент

Слайд 18Пусть рынок акций описывается набором признаков
Курс доллара (USD)
Курс евро (EURO)
Индекс РТС

(RTC)
Цена на нефть Юралс (OIL)
Доходность ГКО-ОФЗ, % (GKO)
Межбанковская ставка, % (MB)

Анализ курса акций

Слайд 19
Анализ курса акций
Ковариационная матрица

Слайд 20
Анализ курса акций
Корреляционная матрица

Слайд 21

Анализ курса акций

Слайд 22

Первая главная компонента
Анализ курса акций