- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Обобщенная модель множественной регрессии презентация
Содержание
- 1. Обобщенная модель множественной регрессии
- 2. 1. Мультиколлинеарность Под мультиколлинеарностью понимают высокую
- 3. В первом случае, по крайней мере, одна
- 4. В этом случае матрица
- 5. Чаще связь между объясняющими
- 6. Матрица
- 7. В итоге отметим
- 9. Точных количественных критериев для
- 10. Считается, что если в ней содержатся коэф-фициенты
- 11. Для оценки значимости мультиколлинеар-ности факторов можно использовать
- 12. Отсюда выдвигается гипотеза
- 13. Если мультиколлинеарность установлена, то каким
- 14. Самый простой из них
- 15. Другой метод заключается в
- 16. В следующем
- 17. Рис. 1
- 18. Например, при
- 19. Определитель матрицы увеличивается по
- 21. 2. Гетероскедастичность
- 24. Для обнаружения гетероскедастичности наиболее
- 25. Рис. 4 Рис. 5
- 26. В некоторых случаях гетероскедастичность визуально не столь
- 27. Никаких дополнительных предположений относительно
- 28. Рассмотрим применение теста на
- 29. В итоге коэффициент
- 30. Поэтому, если
- 31. Тест Голдфельда-Квандта применяется в
- 32. 1. Все наблюдений упорядочиваются в порядке возрастания
- 33. Рассчитываются остаточные суммы
- 34. которая при справедливости гипотезы имеет
- 35. Если в модели более
- 36. Если дисперсии
- 37. Тогда
- 38. Очевидно, что для любого наблюдения
- 39. Уравнение (4) представляет собой взвешен-ную регрессию с
- 40. Здесь
- 41. На практике значения
- 42. тогда уравнение (3) преобразуется в гомоскедастичную модель
- 43. Если же предположить, что дисперсии
1. Мультиколлинеарность Под мультиколлинеарностью понимают высокую взаимную коррелированность объясняющих переменных. Мультиколлинеарность может проявляться в функциональной и стохастической формах.
Слайд 1Лекция 4
Обобщенная модель множественной регрессии
1. Мультиколлинеарность
2. Гетероскедастичность
Слайд 21. Мультиколлинеарность
Под мультиколлинеарностью понимают высокую взаимную коррелированность объясняющих переменных.
Мультиколлинеарность может
проявляться в функциональной и стохастической формах.
Слайд 3В первом случае, по крайней мере, одна пара из объясняющих переменных
связана линейной функциональной зависимостью и тогда говорят о строгой мультиколлинеарности этих факторов. В этом случае в матрице в силу линейной зависимости двух её столбцов нарушается предпосылка 6° МНК – ранг матрицы будет меньше, чем .
Слайд 4 В этом случае матрица
будет вырожденной и обратной матрицы просто не существует. Оценку параметров модели невозможно найти из нормального векторного уравнения
На практике строгая мультиколлинеар-ность встречается достаточно редко, т. к. её несложно избежать на стадии предва-рительного отбора факторов модели.
На практике строгая мультиколлинеар-ность встречается достаточно редко, т. к. её несложно избежать на стадии предва-рительного отбора факторов модели.
Слайд 5 Чаще связь между объясняющими переменными выражается в стохастичес-кой
форме, когда они тесно коррелируют друг с другом.
В этом случае говорят о нестрогой мультиколлинеарности.
В этом случае говорят о нестрогой мультиколлинеарности.
Слайд 6 Матрица хотя и
неособенная, но её определитель близок к нулю. Компоненты вектора оценок обратно пропорциональны величине определителя и в силу этого имеют значительные средние квадратические отклонения , и, следовательно, большие стандартные ошибки . Отсюда они нестабильны как по величине, так и по знаку.
Слайд 7 В итоге отметим основные негативные последствия мультиколлинеарности:
большие дисперсии оценок параметров приводят к существенным отклонениям оценок от оцениваемого параметра, расширяет интервальные оценки;
уменьшаются статистики параметров , что может привести к неоправданному выводу о статистической незначимости параметров и о несущест-венном влиянии соответствующего фактора на результат ;
Слайд 8 МНК- оценки
коэффициентов модели и их стандартные ошибки становятся очень чувствительными к малейшему изменению исходных данных;
становится невозможным определить изолированное влияние факторов на результат .
становится невозможным определить изолированное влияние факторов на результат .
Слайд 9 Точных количественных критериев для установления или отсутствия мультиколли-неарности
не существует. Но существуют некоторые эвристические подходы к её выявлению.
Один из них заключается в анализе матрицы межфакторной корреляции
Один из них заключается в анализе матрицы межфакторной корреляции
Слайд 10Считается, что если в ней содержатся коэф-фициенты корреляции, у которых
, то это свидетельствует о присутствии нестрогой мультиколлинеарности.
Другой подход в оценке мульти-коллинеарности состоит в исследовании определителя матрицы . Если = 0 , то существует строгая мультиколлинеар-ность, а если он близок к нулю ( 0,1), то это свидетельствует о наличии нестрогой мультиколлинеарности.
Другой подход в оценке мульти-коллинеарности состоит в исследовании определителя матрицы . Если = 0 , то существует строгая мультиколлинеар-ность, а если он близок к нулю ( 0,1), то это свидетельствует о наличии нестрогой мультиколлинеарности.
Слайд 11Для оценки значимости мультиколлинеар-ности факторов можно использовать определитель матрицы межфакторной корреляции
. Если бы факторы не коррелировали между собой, то все внедиагональные элементы матрицы равнялись бы нулю. Если же все =1, то определитель такой матрицы равнялся бы нулю.
Слайд 12 Отсюда выдвигается гипотеза (отсутствие
мультиколлинеарности). Доказано, что статистика
имеет приближенное распределение «хи-квадрат» с степенями свободы.
Если , то гипотеза отклоняется и мультиколлинеарность факторов считается доказанной.
имеет приближенное распределение «хи-квадрат» с степенями свободы.
Если , то гипотеза отклоняется и мультиколлинеарность факторов считается доказанной.
Слайд 13 Если мультиколлинеарность установлена, то каким образом её можно устранить?
Единого подхода к её устранению не существует, но используются ряд методов, которые применимы в конкретных ситуациях.
Слайд 14 Самый простой из них заключается в том, что
из двух объясняющих переменных, имеющих высокий коэффициент корреляции ( ), одну из переменных исключают из уравнения.
Но здесь нужна осторожность, чтобы не исключить переменную, которая необходима в уравнении по своей экономической сущ-ности, но зачастую коррелирует с другими факторами.
Но здесь нужна осторожность, чтобы не исключить переменную, которая необходима в уравнении по своей экономической сущ-ности, но зачастую коррелирует с другими факторами.
Слайд 15 Другой метод заключается в увеличении объёма выборки, если
это возможно: большее количество данных позволяет получить МНК-оценки с меньшей дисперсией.
Например, при использовании ежегодных данных можно перейти к поквартальным данным и объем выборки увеличится в 4 раза.
Например, при использовании ежегодных данных можно перейти к поквартальным данным и объем выборки увеличится в 4 раза.
Слайд 16 В следующем методе переходят от несмещенных
МНК-оценок параметров к таким смещенным оценкам, которые обладают меньшим рассеиванием относительно математического ожидания (рис. 1).
Слайд 18 Например, при использовании «ридж-
регрессии» (гребневой регрессии)
рассматривают
смещенные оценки
где некоторое малое положительное число называемое гребнем,
единичная матрица порядка . Диагональные элементы матрицы при этом увеличиваются на величину , а остальные элементы остаются неизменны-ми.
где некоторое малое положительное число называемое гребнем,
единичная матрица порядка . Диагональные элементы матрицы при этом увеличиваются на величину , а остальные элементы остаются неизменны-ми.
Слайд 19Определитель матрицы
увеличивается по сравнению с
и эффект мультиколлинеарности
уменьшается.
При плохой обусловленности матрицы для оценки параметров иногда применяют метод главных компонент. Основная идея метода состоит в замене исходных объяс-няющих переменных на новые переменные Новые переменные (главные компоненты) должны обладать следующими свойствами:
Слайд 20 полная совокупность главных
компонент должна содержать в себе всю изменчивость исходных переменных
главные компоненты должны быть ортогональны между собой, т. е. быть линейно-независимыми.
главные компоненты должны быть ортогональны между собой, т. е. быть линейно-независимыми.
Слайд 212. Гетероскедастичность
Предпосылка 3° МНК о постоянстве
дисперсий случайных составляющих для всех наблюдений на практике не всегда выполняется и имеет место гетероскедас-тичность модели.
Негативные последствия гетероскедасти-чности следующие:
Негативные последствия гетероскедасти-чности следующие:
Слайд 22
оценки коэффициентов модели, оставаясь несмещенными и состоятель-ными, уже не будут эффективными, и при небольших объёмах выборок появляется риск получения оценок , существенно отличающихся от оцениваемого коэффициента ;
Слайд 23 стандартные ошибки параметров ,
как правило, будут заниженными, а статистики – завышенными, что приводит к признанию статистической значимости параметров, которые на самом деле таковыми не являются;
дисперсии оценок будут рассчитываться со смещением, что существенно влияет на интервальные оценки коэффициентов модели.
дисперсии оценок будут рассчитываться со смещением, что существенно влияет на интервальные оценки коэффициентов модели.
Слайд 24 Для обнаружения гетероскедастичности наиболее простым является визуальный метод.
Наличие гетероскедастичности для парной регрессии можно наглядно видеть из поля корреляции, когда дисперсия случайных составляющих растет (или уменьшается) по мере увеличения (рис. 2).
Слайд 26В некоторых случаях гетероскедастичность визуально не столь очевидна. Тогда приме-няют тесты
на гетероскедастичность, причем все они используют нулевую гипотезу об отсутствии гетероскедастичности.
Тест ранговой корреляции Спирмена использует наиболее общее предположение о зависимости дисперсий ошибок от значений объясняющей переменной :
Тест ранговой корреляции Спирмена использует наиболее общее предположение о зависимости дисперсий ошибок от значений объясняющей переменной :
Слайд 27 Никаких дополнительных предположений относительно вида функций
и законе распределения возмущений здесь не делается.
Идея теста заключается в том, что является некоторой оценкой , и поэтому в случае гетероскедастичности значения и будут коррелировать.
Идея теста заключается в том, что является некоторой оценкой , и поэтому в случае гетероскедастичности значения и будут коррелировать.
Слайд 28 Рассмотрим применение теста на примере парной регрессии
. В тесте используют коэффициент ранговой корре-ляции , для нахождения которого следует отдельно ранжировать наблюдения по возрастанию переменной , когда каждое значение получит свой ранг от 1 до , а таким же образом ранжировать остатки .
Слайд 29 В итоге коэффициент вычисляется по
формуле:
(1)
где разность между рангами и .
Доказано, что при справедливости гипотезы статистика
(2)
имеет распределение Стьюдента с числом степеней свободы .
(1)
где разность между рангами и .
Доказано, что при справедливости гипотезы статистика
(2)
имеет распределение Стьюдента с числом степеней свободы .
Слайд 30Поэтому, если превышает
, то гипотезу отклоняют и признают наличие гетероскедастичности.
Для множественной регрессии проверка гипотезы с помощью статис-тики (2) может выполняться по каждому фактору отдельно.
Для множественной регрессии проверка гипотезы с помощью статис-тики (2) может выполняться по каждому фактору отдельно.
Слайд 31 Тест Голдфельда-Квандта применяется в том случае, когда случайные
величины имеют нормальное распределение и
.
В нём предполагается, что дисперсии возмущения пропорциональны квадрату переменной , т. е.
.
На примере парной регрессии
тест состоит из следующих этапов.
.
В нём предполагается, что дисперсии возмущения пропорциональны квадрату переменной , т. е.
.
На примере парной регрессии
тест состоит из следующих этапов.
Слайд 321. Все наблюдений упорядочиваются в порядке возрастания переменной .
2.
Вся упорядоченная выборка разбивается на три подвыборки объёмов соответст-венно (обычно ).
3. Оцениваются отдельно две регрессии
для первой подвыборки (первые наблю-дений) и третьей подвыборки (последние наблюдений).
3. Оцениваются отдельно две регрессии
для первой подвыборки (первые наблю-дений) и третьей подвыборки (последние наблюдений).
Слайд 33 Рассчитываются остаточные суммы для обеих регрессий
4. Выдвигается
гипотеза
для проверки которой используется статистика
для проверки которой используется статистика
Слайд 34
которая при справедливости гипотезы имеет распределение Фишера с степенями
свободы. Если , то гипотеза об отсутствии гетероскедастич-ности отклоняется на уровне значимости
Слайд 35 Если в модели более одного фактора, то выборка
упорядочивается по тому фактору, который, как предполагается, теснее связан с
При установлении гетероскедастичности возникает необходимость преобразования модели с целью устранения данного недостатка.
При установлении гетероскедастичности возникает необходимость преобразования модели с целью устранения данного недостатка.
Слайд 36 Если дисперсии известны, то
гетероскедастичность легко устраняется. Рассмотрим это на примере парной регрессии
(3)
Разделим обе части уравнения (3) на известное значение
и сделаем замену переменных:
(3)
Разделим обе части уравнения (3) на известное значение
и сделаем замену переменных:
Слайд 37
Тогда получим модельное уравнение регрессии с двумя
факторами , но без свободного члена
(4)
(4)
Слайд 38Очевидно, что для любого наблюдения
т.е. модель (4) является гомоскедастичной, классической.
Полученные МНК - оценки коэффициентов модели (4) будут наилучши-ми несмещенными оценками и их можно использовать для первоначальной модели (3).
Слайд 39Уравнение (4) представляет собой взвешен-ную регрессию с весами
.
Наблюдения с наименьшими дисперсиями получат наибольшие "веса" и наоборот. Поэтому данную версию МНК называют взвешенным методом наименьших квадратов (ВМНК). В свою очередь он является частным случаем обобщенного метода наименьших квадратов (ОМНК), когда оценки определяются по формуле:
Наблюдения с наименьшими дисперсиями получат наибольшие "веса" и наоборот. Поэтому данную версию МНК называют взвешенным методом наименьших квадратов (ВМНК). В свою очередь он является частным случаем обобщенного метода наименьших квадратов (ОМНК), когда оценки определяются по формуле:
Слайд 40Здесь ковариационная положительно определенная матрица
ошибок, т.е. и её диагональные элементы различны, а внедиагональные элементы в общем случае не равны нулю (в классической модели представляет скалярную матрицу с одинако-выми диагональными элементами ).
Слайд 41 На практике значения
неизвестны. Поэтому, чтобы применить ВМНК, необходимо сделать реалистические предположения о значениях . В этих случаях говорят не об устранении, а о смягчении гетероскедастичности.
Если предположить, что дисперсии пропорциональны значениям
Если предположить, что дисперсии пропорциональны значениям
Слайд 42тогда уравнение (3) преобразуется в гомоскедастичную модель делением обеих его частей
на :
где
где
Слайд 43 Если же предположить, что дисперсии пропорциональны значениям квадратов
то делением обеих его частей на величину можно получить гомоскедастичную модель
Отметим, что параметры в последней модели по сравнению с уравнением (3) поменялись ролями: коэффициент регрессии, свободный член.
