б) производим отбор наиболее информативных переменных;
в) вычисляем оценки значений параметров модели;
г) анализируем точность уравнения связи и его параметров;
д) анализируем степень пригодности уравнения для целей прогноза.
1
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Регрессионный анализ. Основы презентация
Содержание
- 1. Регрессионный анализ. Основы
- 2. 1. Регрессионный анализ. Основы Основные варианты статистических
- 3. 1. Регрессионный анализ. Основы Анализ влияния объясняющей
- 4. 1. Регрессионный анализ. Основы Случайность зависимости –
- 5. 1. Регрессионный анализ 1. Выбор вида связи
- 6. 1. Регрессионный анализ 2. Определение параметров (коэффициентов)
- 7. 1. Регрессионный анализ Задачи линейного регрессионного анализа
- 8. 1. Парный регрессионный анализ Задача: подобрать для
- 9. 1. Парный регрессионный анализ 1. Для решения
- 10. 1. Парный регрессионный анализ составляем целевую
- 11. 1. Парный регрессионный анализ Подставим в лемму
- 12. 1. Парный регрессионный анализ Систему в матричном
- 13. 1. Парный регрессионный анализ 2. Решение по
- 14. 1. Парный регрессионный анализ Откуда нормальное уравнение
- 15. 1. Парный регрессионный анализ Разделим числитель и
- 16. 1. Парный регрессионный анализ Полученное уравнение -
- 17. 1. Парный регрессионный анализ
- 18. 1. Парный регрессионный анализ Если известна
- 19. 1. Парный регрессионный анализ Оценка точности
- 20. 1. Парный регрессионный анализ Получение погрешности модели
- 21. 1. Парный регрессионный анализ Погрешности определения
- 22. 1. Парный регрессионный анализ Некоторые дополнительным
- 23. 1. Парный регрессионный анализ Целевая функция
- 24. 1. Парный регрессионный анализ Рациональнее в матричном
- 25. 1. Парный регрессионный анализ Транспонируя выражение
- 26. 1. Парный регрессионный анализ Подход может расширяться
- 27. 1. Парный регрессионный анализ Модель процесса может
- 28. 1. Парный регрессионный анализ - целевая
- 29. 1. Парный регрессионный анализ Периодические функции
- 30. 1. Парный регрессионный анализ Матрица системы
- 31. 1. Парный регрессионный анализ Контрольные вопросы
1. Регрессионный анализ. Основы Основные варианты статистических взаимосвязей между переменными X и Y: Не направленная связь, обе переменные равноценны, наличие и сила взаимосвязи – корреляционный анализ. выделяем одну величину
Слайд 11. Регрессионный анализ. Основы
Основные задачи регрессионного анализа:
а) подбираем класс функций для
анализа;
б) производим отбор наиболее информативных переменных;
в) вычисляем оценки значений параметров модели;
г) анализируем точность уравнения связи и его параметров;
д) анализируем степень пригодности уравнения для целей прогноза.
б) производим отбор наиболее информативных переменных;
в) вычисляем оценки значений параметров модели;
г) анализируем точность уравнения связи и его параметров;
д) анализируем степень пригодности уравнения для целей прогноза.
Слайд 21. Регрессионный анализ. Основы
Основные варианты статистических взаимосвязей между переменными X и
Y:
Не направленная связь, обе переменные равноценны, наличие и сила взаимосвязи – корреляционный анализ.
выделяем одну величину как независимую (объясняющую, факторную, предиктор), а другую как зависимую (объясняемую, результирующую), изменение первой может служить причиной для изменения второй переменной в виде какой либо зависимости – регрессионный анализ
Количество, качество и неоднозначность связи.
Не направленная связь, обе переменные равноценны, наличие и сила взаимосвязи – корреляционный анализ.
выделяем одну величину как независимую (объясняющую, факторную, предиктор), а другую как зависимую (объясняемую, результирующую), изменение первой может служить причиной для изменения второй переменной в виде какой либо зависимости – регрессионный анализ
Количество, качество и неоднозначность связи.
2
Слайд 31. Регрессионный анализ. Основы
Анализ влияния объясняющей переменной на зависимую переменную «в
среднем»:
функция регрессии Y на X. Здесь X – объясняющая переменная (регрессор), Y – зависимая.
Общий вид регрессии, суть:
Парная, множественная регрессия. Ф. Далтон 19 в.
Возможность прогноза.
функция регрессии Y на X. Здесь X – объясняющая переменная (регрессор), Y – зависимая.
Общий вид регрессии, суть:
Парная, множественная регрессия. Ф. Далтон 19 в.
Возможность прогноза.
3
Слайд 41. Регрессионный анализ. Основы
Случайность зависимости – не совпадение реальных значений зависимой
переменной с её условным математическим ожиданием.
Дополнение случайным слагаемым ε, отражающим это несоответствие
Регрессионные модели (уравнения). Необходимость случайного члена.
Дополнение случайным слагаемым ε, отражающим это несоответствие
Регрессионные модели (уравнения). Необходимость случайного члена.
4
Слайд 51. Регрессионный анализ
1. Выбор вида связи переменных - спецификация уравнения регрессии.
Графический метод по корреляционному полю (диаграмме рассеивания). Аналитический.
5
Слайд 61. Регрессионный анализ
2. Определение параметров (коэффициентов) модели - параметризация.
3. Проверка качества
регрессии - верификация.
Линейная модель как общая тенденция процесса.
Параметризация линейной модели:
Метод средних (Метод Маркова, на основе МЗР);
Метод максимального правдоподобия.
Частный случай ММП при квадратичной целевой функции – метод наименьших квадратов МНК.
Линейная модель как общая тенденция процесса.
Параметризация линейной модели:
Метод средних (Метод Маркова, на основе МЗР);
Метод максимального правдоподобия.
Частный случай ММП при квадратичной целевой функции – метод наименьших квадратов МНК.
6
Слайд 71. Регрессионный анализ
Задачи линейного регрессионного анализа для статистических данных (хi, yi)
для переменных Х и Y:
а) получить наилучшие по какому-либо критерию оценки неизвестных теоретических параметров ai ;
б) проверить статистические гипотезы о параметрах модели;
в) проверить адекватность модели данных наблюдений;
г) выполнить оценку точности результатов вычислени
д) провести анализ полученных данных.
а) получить наилучшие по какому-либо критерию оценки неизвестных теоретических параметров ai ;
б) проверить статистические гипотезы о параметрах модели;
в) проверить адекватность модели данных наблюдений;
г) выполнить оценку точности результатов вычислени
д) провести анализ полученных данных.
7
Слайд 81. Парный регрессионный анализ
Задача: подобрать для 2 рядов X и Y
оптимальную модель из класса линейных вида
чтобы наилучшим образом линейно выразить Y через Х. С учетом коррекции имеем
Решение на основе:
метода наименьших квадратов в натуральных величинах
метода наименьших квадратов в центрированных величинах
Байесовского метода (на основе характеристик многомерного закона распределения)
чтобы наилучшим образом линейно выразить Y через Х. С учетом коррекции имеем
Решение на основе:
метода наименьших квадратов в натуральных величинах
метода наименьших квадратов в центрированных величинах
Байесовского метода (на основе характеристик многомерного закона распределения)
8
Слайд 91. Парный регрессионный анализ
1. Для решения модели по МНК в натуральных
величинах:
на поправки v накладывают условие метода наименьших квадратов: найти такие значения коэффициентов a и b чтобы сумма квадратов поправок v – [v2] = vTv → min – была минимальной из всех возможных наборов пар коэффициентов. Расчетные формулы:
- выражаем поправки v, записывая уравнения поправок для модели,
или в матричном виде
Здесь матрица плана Х и искомых коэффициентов
имеет вид
на поправки v накладывают условие метода наименьших квадратов: найти такие значения коэффициентов a и b чтобы сумма квадратов поправок v – [v2] = vTv → min – была минимальной из всех возможных наборов пар коэффициентов. Расчетные формулы:
- выражаем поправки v, записывая уравнения поправок для модели,
или в матричном виде
Здесь матрица плана Х и искомых коэффициентов
имеет вид
9
Слайд 101. Парный регрессионный анализ
составляем целевую функцию качества Ф для МНК
которая
должна быть минимальна
для минимизации берем частные производные от Ф по k и полученное выражение приравниваем к нулю
с учетом того, что
Транспонируя выражение имеем
- лемма Гаусса.
для минимизации берем частные производные от Ф по k и полученное выражение приравниваем к нулю
с учетом того, что
Транспонируя выражение имеем
- лемма Гаусса.
10
Слайд 111. Парный регрессионный анализ
Подставим в лемму значение поправки
Получаем окончательно
матричную систему нормальных
уравнений (совместная, 2 уравнения, 2 неизвестных) в свернутом виде
Nk = d,
с элементами
Nk = d,
с элементами
11
Слайд 121. Парный регрессионный анализ
Систему в матричном виде целесообразно решать через обращение
матрицы N, откуда имеем
Здесь матрица Q = N-1 носит название обратная матрица.
Модельные значения в матричном виде будут
Поправки в измерения получим как
Здесь матрица Q = N-1 носит название обратная матрица.
Модельные значения в матричном виде будут
Поправки в измерения получим как
12
Слайд 131. Парный регрессионный анализ
2. Решение по МНК в центрированных величинах.
Для этого
исходная модель
центрируется средним
т.к.
Имеем 1 неизвестное а. Тогда целевая целевая функция Ф будет
Минимизация Ф дает
центрируется средним
т.к.
Имеем 1 неизвестное а. Тогда целевая целевая функция Ф будет
Минимизация Ф дает
13
Слайд 141. Парный регрессионный анализ
Откуда
нормальное уравнение
- решение относительно коэффициента а
Для вычисления
величины сдвига b раскроем скобки в центрированной модели модели и перегруппируем что получится
Откуда величина сдвига b будет
Откуда величина сдвига b будет
14
Слайд 151. Парный регрессионный анализ
Разделим числитель и знаменатель выражения для а
на
число элементов в ряде n. Получим т.о. его оценку в терминах элементов ковариационной матрицы
Подставив вид для а в центрированную модель, получим
Подставив вид для а в центрированную модель, получим
15
Слайд 161. Парный регрессионный анализ
Полученное уравнение - оценка условного математического ожидания для
нормально распределенной пары рядов. Метод получения уравнения регрессии в таком виде – метод средних, метод Маркова, метод условного математического ожидания, байесовский метод.
Этот же результат можно получить на основе выборочной ковариационной матрицы для 2 рядов х и у:
Тогда имеем:
Этот же результат можно получить на основе выборочной ковариационной матрицы для 2 рядов х и у:
Тогда имеем:
16
Слайд 171. Парный регрессионный анализ
-т.е. все необходимые элементы модели в терминах ковариационной
матрицы (2 мерный случай байесовского метода)
17
Слайд 181. Парный регрессионный анализ
Если известна обратная ковариационная матрица
формулы для расчета
коэффициентов примут вид
и
Часто бывают более удобные чем другие.
В конце расчетов всегда записывается вид модели в числах.
и
Часто бывают более удобные чем другие.
В конце расчетов всегда записывается вид модели в числах.
18
Слайд 191. Парный регрессионный анализ
Оценка точности уравнения регрессии:
оценка модели в целом;
оценка коэффициентов модели.
При необходимости – оценка значимости коэффициентов.
Чаще выполняется на основе метода наименьших квадратов и теоремы о переносе ошибок.
Для оценки точности модели:
величины поправок v есть оценки истинных погрешностей Δ модели;
обычная формула стандартного отклонения для качества модели
При необходимости – оценка значимости коэффициентов.
Чаще выполняется на основе метода наименьших квадратов и теоремы о переносе ошибок.
Для оценки точности модели:
величины поправок v есть оценки истинных погрешностей Δ модели;
обычная формула стандартного отклонения для качества модели
19
Слайд 201. Парный регрессионный анализ
Получение погрешности модели на основе метода условного математического
ожидания по условной дисперсии вида
если используется ковариационная матрица и
Если использовать обратную ковариационную матрицу
если используется ковариационная матрица и
Если использовать обратную ковариационную матрицу
20
Слайд 211. Парный регрессионный анализ
Погрешности определения коэффициентов получим на основе теоремы
о переносе ошибок используя формулу где вектор коэффициентов k линейно выражен через вектор измерений y:
Тогда вид ковариационной матрицы Kk для вектора коэффициентов k
Вектор измерений у – один – и
размера (2×2) - диагональные элементы – дисперсии вычисленных коэффициентов а и b.
Тогда вид ковариационной матрицы Kk для вектора коэффициентов k
Вектор измерений у – один – и
размера (2×2) - диагональные элементы – дисперсии вычисленных коэффициентов а и b.
21
Слайд 221. Парный регрессионный анализ
Некоторые дополнительным возможностям регрессионного анализа:
построение регрессии по
методу наименьших квадратов для полиномиальной модели,
представление на основе МНК периодических данных. Очевидно, что это далеко не все дополнительные возможности парного регрессионного анализа.
Пусть появилось подозрение что исходные данные лучше будут представлены не линейной, а квадратичной моделью вида
или в матричном виде
представление на основе МНК периодических данных. Очевидно, что это далеко не все дополнительные возможности парного регрессионного анализа.
Пусть появилось подозрение что исходные данные лучше будут представлены не линейной, а квадратичной моделью вида
или в матричном виде
22
Слайд 231. Парный регрессионный анализ
Целевая функция Ф для модели при использовании
МНК будет
производные от Ф по коэффициентам a, b и с приравненные к нулю
и т.д., откуда первое нормальное уравнение
и т.д., которых будет 3 по числу коэффициентов модели. Система совместная и разрешима относительно коэффициентов.
производные от Ф по коэффициентам a, b и с приравненные к нулю
и т.д., откуда первое нормальное уравнение
и т.д., которых будет 3 по числу коэффициентов модели. Система совместная и разрешима относительно коэффициентов.
23
Слайд 241. Парный регрессионный анализ
Рациональнее в матричном виде. Уравнения поправок
где матрица плана
Х и свободный член у имеют вид
целевая функция Ф = vTv, а её минимизация (производная по k и приравнивание к нулю дает лемму Гаусса
целевая функция Ф = vTv, а её минимизация (производная по k и приравнивание к нулю дает лемму Гаусса
24
,
Слайд 251. Парный регрессионный анализ
Транспонируя выражение имеем более привычный вид
Подстановка
в неё вида уравнений поправок v дает совместную систему нормальных уравнений
или
Nk = d,
с элементами
или
Nk = d,
с элементами
25
Слайд 261. Парный регрессионный анализ
Подход может расширяться на любую степень полинома, изменяется
только состав матрицы Х.
Оценка точности стандартная для МНК:
-погрешность модели,
-погрешности коэффициентов,
-если необходимо, статистический анализ.
По погрешности модели можно сказать о необходимости усложнения модели.
Оценка точности стандартная для МНК:
-погрешность модели,
-погрешности коэффициентов,
-если необходимо, статистический анализ.
По погрешности модели можно сказать о необходимости усложнения модели.
26
Слайд 271. Парный регрессионный анализ
Модель процесса может быть разная . Очень распространена
периодическая функция представления данных.
При построении регрессии (аппроксимации) для периодической функции модель имеет следующий вид
Модели 1, 2 и т.д. порядков. Гармоники.
Для получения коэффициентов модели 1 порядка на основе МНК запишем уравнения поправок, целевую функцию Ф и минимизируем её.
- уравнения поправок
При построении регрессии (аппроксимации) для периодической функции модель имеет следующий вид
Модели 1, 2 и т.д. порядков. Гармоники.
Для получения коэффициентов модели 1 порядка на основе МНК запишем уравнения поправок, целевую функцию Ф и минимизируем её.
- уравнения поправок
27
Слайд 291. Парный регрессионный анализ
Периодические функции имеют циклы и на основе
свойств циклических перестановок имеем
Откуда
и явное решение
Откуда
и явное решение
29
Слайд 301. Парный регрессионный анализ
Матрица системы нормальных уравнений имеет диагональный вид
для модели любого порядка. Тогда по аналогии новые коэффициенты будут
а вычисленные ранее не меняются. Таким образом, модель 2 порядка получается из модели 1 порядка простым добавлением новых коэффициентов, 3 – добавление в модель 2 порядка вычисленных коэффициентов 3 порядка и т.д.
Оценка точности стандартная. Погрешность модели, погрешность коэффициентов, если надо – статистический анализ.
а вычисленные ранее не меняются. Таким образом, модель 2 порядка получается из модели 1 порядка простым добавлением новых коэффициентов, 3 – добавление в модель 2 порядка вычисленных коэффициентов 3 порядка и т.д.
Оценка точности стандартная. Погрешность модели, погрешность коэффициентов, если надо – статистический анализ.
30
Слайд 311. Парный регрессионный анализ
Контрольные вопросы по теории 3 модуля
1. Основы
общего регрессионного анализа. Основные этапы.
2. Парный линейный регрессионный анализ. Основные положения.
3. Решение задачи регрессии на основе МНК
4. Решение задачи регрессии на основе условного математического ожидания (метод средних).
5. Оценка точности и элементы статистического анализа в парной линейной регрессии.
6. Расширение парной модели регрессии на другие случаи.
2. Парный линейный регрессионный анализ. Основные положения.
3. Решение задачи регрессии на основе МНК
4. Решение задачи регрессии на основе условного математического ожидания (метод средних).
5. Оценка точности и элементы статистического анализа в парной линейной регрессии.
6. Расширение парной модели регрессии на другие случаи.
31
