Некоторые аспекты регрессионного анализа. Тема 4 презентация

Содержание

Вопросы: 4.1. Спецификация уравнения регрессии и ошибки спецификации. 4.2. Мультиколлинеарность: способы выявления и устранения 4.3. Фиктивные переменные в регрессионных моделях. 4.4. Гетероскедастичность 4.5. Автокорреляция

Слайд 1Тема 4. Некоторые аспекты регрессионного анализа

Слайд 2Вопросы:
4.1. Спецификация уравнения регрессии и ошибки спецификации.
4.2. Мультиколлинеарность: способы выявления и

устранения
4.3. Фиктивные переменные в регрессионных моделях.
4.4. Гетероскедастичность
4.5. Автокорреляция

Слайд 3
Модель множественной линейной регрессии в матричном виде

Слайд 9
Уравнение множественной линейной регрессии в матричном виде

Слайд 10
Метод наименьших квадратов

Слайд 11Условия теоремы Гаусса-Маркова
1.

i=1,…,n
2. при i=j
3. при i≠j
4. i=1,…,n


Слайд 12
Гомоскедастичность
Гетероскедастичность

Слайд 13Условия теоремы Гаусса-Маркова


при i=j
2,3
при i≠j





Слайд 14Условия теоремы Гаусса-Маркова

или


где I – единичная матрица

Слайд 15Мультиколлинеарность
Способы выявления и устранения

Слайд 16Признаки наличия мультиколлинеарности
1. Небольшое изменение
исходных данных сильно


изменяет значения оценок
коэффициентов

Слайд 17Признаки наличия мультиколлинеарности
2. Стандартные ошибки
коэффициентов очень
велики

(коэффициенты стат. незначимы), а
модель в целом
статистически значима

Слайд 18Признаки наличия мультиколлинеарности
3. Значения коэффициентов
неправильны с точки

зрения экономической
теории

Слайд 19Способы выявления мультиколлинеарности:
1. Вычисление матрицы парных коэффициентов корреляции для всех

объясняющих переменных.
2. Расчет фактора инфляции вариации VIF (variance inflation factor).

Слайд 20Матрица парных коэффициентов корреляции

Слайд 21
Фактор инфляции вариации

Слайд 23Методы устранения мультиколлинеарности:
1. Удаление коллинеарных переменных.
2. Исправление выборки (проверка ее репрезентативности).
3.

Преобразование переменных, при котором уменьшается корреляция между ними. Например, переход к первым разностям.
4. Использование в модели регрессии эффекта взаимодействия факторов, например в виде их произведения.

Слайд 24Случай 1. Исключены существенные переменные.

Слайд 25Случай 2. Включены несущественные переменные.

Слайд 26Информационные критерии
Акаике и Шварца


Слайд 27Информационные критерии
Хеннана-Куинна


Слайд 28Фиктивные переменные в регрессионных моделях
dummy

Слайд 29
X=0 если женский
x=1 если мужской

Слайд 30
X=0 если женский
x=1 если мужской

Слайд 31
X=0 если женский
x=1 если мужской

Слайд 34

неправильно

Слайд 35

правильно

Слайд 37Фиктивные переменные позволяют строить и оценивать так называемые кусочно-линейные модели, которые

можно применять для исследования структурных изменений.

Пусть х и у представлены в виде временных рядов.

xt – размер ОПФ в период времени t,
уt – объем выпуска продукции в период времени t.

Слайд 38Пусть в момент времени tо произошли некие структурные изменения и линия

регрессии будет отличаться от той, которая была до момента tо.

Слайд 41Регрессионная линия (рис) имеет коэффициент наклона β1 для t ≤ to

и наклон β1+β2 для t > to. При этом разрыва в точке to не происходит.

Слайд 42

Тестируя стандартную гипотезу β2=0 мы проверяем предположение о том, что фактически

структурные изменения не повлияли на объем выпуска продукции.

Слайд 44ГЕТЕРОСКЕДАСТИЧНОСТЬ ОСТАТКОВ

Слайд 45Гомоскедастичность


при i=j






Слайд 46Гетероскедастичность


при i=j






Слайд 47Последствия гетероскедастичности
Основное последствие гетероскедастичности заключается в получении неэффективных оценок параметров модели

регрессии, что проявляется в завышении стандартных ошибок коэффициентов регрессии, занижении t-статистики и, как следствие, неправильном представлении о надежности оценок.

Слайд 48Способы обнаружения гетероскедастичности

Графики
Тесты

Слайд 49Примеры гетероскедастичности

Слайд 50Примеры гетероскедастичности

Слайд 51Примеры гетероскедастичности

Слайд 52Тесты на гетероскедастичность

1. Бартлетта
2. Голдфелда-Квандта
3. Уайта
4. Бреуша-Пагана
5. Глейзера

Слайд 53Остатки:

Слайд 54Вне зависимости от используемых тестов необходимо сформулировать гипотезы:


при i=j
остатки гомоскедастичны
при i=j
остатки гетероскедастичны

Слайд 55Тест Голдфелда-Куандта.
1. Упорядочить наблюдения по убыванию той независимой переменной, относительно

которой есть подозрение на гетероскедастичность.

Слайд 56Тест Голдфелда-Куандта.
2. Опустить v наблюдений, оказавшихся в центре (v должно

быть примерно равно четверти общего количества наблюдений n).

Слайд 57Тест Голдфелда-Куандта.
3. Оценить отдельно обыкновенным МНК регрессии на первых (n−v)/2

наблюдениях и на последних (n−v)/2 наблюдениях при условии, что (n−v)/2 больше числа оцениваемых параметров m.

Слайд 58Тест Голдфелда-Куандта.
4. Найти SSE1 и SSE2 – суммы квадратов остатков

(ошибок) для первой и второй регрессий, соответственно.
5. Найти Fнабл.

Слайд 59Тест Голдфелда-Куандта.
6. Найти Fкр. по таблице распределения Фишера по уровню

значимости α и числу степеней свободы k1 и k2
k1= k2= (n-v-2m)/2 .

Слайд 60 Если Fнабл.>Fкр., то нулевая гипотеза отклоняется в пользу альтернативной о

гетероскедастичности остатков.
Иначе оснований отклонять нулевую гипотезу о гомоскедастичности остатков нет.

Слайд 61Тест Уайта.
1. Оцениваем параметры исходной модели, получаем уравнение регрессии



Слайд 62Тест Уайта.
2. Находим остатки




3. Находим квадраты остатков





Слайд 63Тест Уайта.
4. Строим вспомогательную регрессию, в которой в качестве зависимой

переменной выступают квадраты остатков , а в качестве объясняющих – все регрессоры , их квадраты , попарные произведения


Слайд 64Тест Уайта.
Например, для двухфакторной модели

вспомогательная регрессия будет иметь вид:




Слайд 65Тест Уайта.
5. Оцениваем вспомогательную регрессию и находим R2
вспомогательной регрессии.


6. Вычисляем наблюдаемое значение




Слайд 66Тест Уайта.
7. По таблице распределения Пирсона по уровню значимости α

и числу степеней свободы k = m-1 находим


m – число параметров во вспомогательной регрессии.

Слайд 67Тест Уайта.

8. Сравниваем наблюдаемое

и критическое

значения.






Слайд 68Тест Уайта.
Если

,
нельзя отклонить нулевую гипотезу об отсутствии гетероскедастичности.
Если ,
нулевая гипотеза отклоняется в пользу конкурирующей о наличии гетероскедастичности.






Слайд 69Тест Уайта (упрощенный)
Отличается от классического вспомогательной регрессией, в которой в

качестве зависимой переменной выступают квадраты остатков , а в качестве объясняющей –

Слайд 70Тест Уайта (упрощенный).
Тогда вспомогательная регрессия будет иметь вид:


Слайд 71Тест Уайта (упрощенный).
А число степеней свободы k = 2-1=1


Слайд 72Критерий Бартлетта.

Слайд 73Критерий Бартлетта.

Слайд 75Обобщенный МНК

Отличается от обычного МНК в изменении предположений о поведении случайной

ошибки.
Обычный МНК:


Обобщенный МНК:

Слайд 76Обобщенный МНК

Или
Обычный МНК:

при i=j
при i≠j

Обобщенный МНК:
при i=j
при i≠j

Слайд 77Обобщенный МНК

Если есть только гетероскедастичность, то:
Обобщенный МНК:


при i=j

Слайд 78Обобщенный МНК

Критерий минимизации суммы квадратов ошибок МНК заменяется на другой –

минимизация обобщенной суммы квадратов отклонений (с учетом ненулевых ковариаций случайной ошибки для разных наблюдений и непостоянной дисперсии ошибки)

Слайд 79Обобщенный МНК

Соответственно усложняется вид системы уравнений для определения оценок коэффициентов. ОМНК

позволяет получить линейные несмещенные оценки параметров модели регрессии, которые будут эффективными.

Слайд 80Обобщенный МНК

Соответственно усложняется вид системы уравнений для определения оценок коэффициентов. ОМНК

позволяет получить линейные несмещенные оценки параметров модели регрессии, которые будут эффективными.

Слайд 81Обобщенный МНК



Слайд 82Обобщенный МНК



Оценки МНК получаются по формуле

Оценки ОМНК получаются по формуле


Слайд 83Обобщенный МНК




Для применения ОМНК необходимо знать элементы матрицы Ω, что на

практике случается крайне редко.

Слайд 84Взвешенный МНК

Предположим, что нам известны значения величин





Тогда исходную модель разделим на σi:

Слайд 85Исходная модель

Слайд 86
где
причем

при

Слайд 87Взвешенный МНК

Для получения оценок неизвестных дисперсий будем предполагать, что они пропорциональны

некоторым числам




где σ2 – некоторая константа.


Слайд 88Взвешенный МНК

Принимая различные гипотезы относительно характера гетероскедастичности, будем иметь соответствующие значения

λi.
Если дисперсия случайного члена пропорциональна квадрату регрессора X, так что


то



Слайд 89Взвешенный МНК

Если дисперсия случайного члена пропорциональна X, так что



то


Слайд 90Взвешенный МНК

Если предположить, что дисперсия случайного члена пропорциональна

то необходимо преобразовать модель следующим образом:



Слайд 91Существуют также и другие методы коррекции модели на гетероскедастичность, в частности,

состоятельное оценивание стандартных ошибок.
Известны способы коррекции стандартных ошибок Уайта и Ньюи-Веста.

Стандартные ошибки в форме Уайта.
Рассмотрим матрицу XTΩX. Имеем ij-й элемент матрицы получается по
формуле (XTΩX)ij = . Обозначим как векторы-строки
размерности 1×k матрицы регрессоров X. Тогда XTΩX = . Уайт
предложил использовать в качестве состоятельной оценки матрицы ковариаций оценок коэффициентов величину:


Стандартные отклонения, рассчитанные по последней формуле, являются состоятельными стандартными ошибками при наличии гетероскедастичности.





Слайд 92Стандартные ошибки в форме Ньюи-Веста.
Пусть в матрице ковариаций Ω ненулевые

элементы стоят не только на главной диагонали, как в предыдущем случае Уайта, но и на соседних диагоналях, отстоящих от главной не более чем на L ( ).
Ньюи и Вест показали, что оценка:



является состоятельной оценкой матрицы ковариаций оценок коэффициентов регрессии.
Веса wj выбираются либо по Бартлетту: ,
либо по Парзену:





Стандартные ошибки, рассчитанные по Ньюи и Весту, являются состоятельными стандартными ошибками при наличии гетероскедастичности и автокорреляции остатков.





Слайд 93Автокорреляция в остатках

Слайд 94пространственные данные –
cross-sectional data;

временные ряды данных –
time-series data

Слайд 95Условие отсутствия автокорреляции

при i≠j
или

где I – единичная матрица

Слайд 96Причины автокорреляции
Стохастические зависимости между значениями случайных ошибок – автокорреляция ошибок.
Ее

причинами являются:
влияние некоторых случайных факторов или опущенных в уравнении регрессии важных объясняющих переменных, которое не является однократным, а действует в разные периоды времени;
случайный член может содержать составляющую, учитывающую ошибку измерения объясняющей переменной.

Слайд 97Последствия автокорреляции:
1. Выборочные дисперсии полученных оценок коэффициентов будут больше по сравнению с

дисперсиями по альтернативным методам оценивания, т.е. оценки коэффициентов будут неэффективны.
2. Стандартные ошибки коэффициентов будут оценены неправильно, чаще всего занижены, иногда настолько, что нет возможности воспользоваться для проверки гипотез соответствующими точными критериями – мы будем чаще отвергать гипотезу о незначимости регрессии, чем это следовало бы делать в действительности.

Автокорреляция означает нарушение условия Гаусса-Маркова, которое принимает вид:



и матрица ковариаций:

Слайд 98Стандартные ошибки коэффициентов будут оценены неправильно, т.е. оценки коэффициентов будут неэффективны.


Выводы о значимости оценок коэффициентов будут некорректны.

Последствия автокорреляции:

Слайд 99Можно рассматривать так называемую корреляцию сериями (автокорреляцию), когда зависимость между ошибками,

отстоящими на некоторое количество шагов s, называемое порядком корреляции (в частности, на один шаг, s=1), остается одинаковой, что хорошо проявляется визуально на графике в системе координат (ei; ei-s).
Например, для s=1 показаны отрицательная (слева) и положительная (справа) автокорреляция остатков. В экономических исследованиях чаще всего встречается положительная автокорреляция.

Слайд 100система координат
(ei; ei-s)

Слайд 103et
t
Пример графика остатков по наблюдениям при положительной автокорреляции

Слайд 104Пример графика остатков по наблюдениям при отрицательной автокорреляции
et
t

Слайд 106Тестирование на наличие автокорреляции.

Для проверки гипотезы о существовании линейной автокорреляции первого

порядка, которая чаще всего имеет место на практике, используется критерий Дарбина-Уотсона, основанный на статистике






Слайд 107Критерий Дарбина-Уотсона.

Слайд 108Тестирование на наличие автокорреляции.


Критерий Дарбина-Уотсона предназначен для моделей с детерминированными регрессорами

X и не применим в случаях, когда среди объясняющих переменных есть лагированные значения переменной Y.
Для больших выборок
Автокорреляция отсутствует
Положительная автокорреляция
Отрицательная автокорреляция


Слайд 110Коэффициент автокорреляции первого порядка

Слайд 112
По таблице Дарбина-Уотсона определяются две критические точки: верхняя dU и

нижняя dL.

Слайд 113Границы интервала (dl и du) критических значений критерия Дарбина-Уотсона при уровне

значимости α=0,05 (n - объем выборки, m - число объясняющих переменных

Слайд 114

2
4
0
dL
dU
dcrit
положительная
автокорреляция
отрицательная автокорреляция
нет автокорреляции
dcrit

Области статистических решений для критерия Дарбина-Уотсона
H0: ρ=0 (автокорреляции

нет)
H1: ρ≠0 (автокорреляция есть)

4-dL

4-dU

Слайд 116Методы устранения автокорреляции

Кохрейна-Оркатта
Хилдрета-Лу
Дарбина

Слайд 117Запишем регрессию (1):

Слайд 118В момент времени t-1 имеем (2):

Слайд 119Умножим уравнение (2) на коэффициент автокорреляции ρ:

Слайд 120Вычтем уравнение (2) из уравнения (1)

Слайд 124Предположим, что остатки ui удовлетворяют следующему уравнению:

ui=ρui-1+ςi, i=2,...,n,

(4.11)

представляющему собой авторегрессионную модель первого порядка, для которой выполнено |ρ|≤1, а ςi удовлетворяют условиям:

E(ςi)=0 и


Тогда несложно показать, что будет выполняться:



и матрица ковариаций


Слайд 125Оценивание регрессии при наличии автокорреляции.
Метод 1. Отказавшись от определения величины ρ

статистически, можно положить ρ=0,5; 1 или -1.
Однако даже грубая статистическая оценка будет более эффективной, поэтому другой способ определения ρ с помощью статистики Дарбина-Уотсона ρ≈1–0,5d.
Применяя затем непосредственно ОМНК, получим оценки коэффициентов.
Метод 2. Рассмотрим на примере парной регрессии:








(4.12)
причем и .
Ошибки в (4.12) не автокоррелированы и можно применять МНК.








Слайд 126Метод 3. Итеративная процедура Кохрейна-Оркатта.
а) Оценивается регрессия

с исходными не преобразованными данными с помощью обыкновенного МНК.
б) Вычисляются остатки ei.
в) Оценивается регрессия ei=ρei-1+ςi, и коэффициент при ei-1 дает оценку ρ.
г) С учетом полученной оценки ρ уравнение
преобразовывается к виду (4.12), оценивание которого позволяет получить пересмотренные оценки коэффициентов β0 и β1.
д) Вычисляются остатки регрессии (4.12) и процесс выполняется снова, начиная с этапа в).
Итерации заканчиваются, когда абсолютные разности последовательных значений оценок коэффициентов β0, β1 и ρ будут меньше заданного числа (точности).
Подобная процедура оценивания порождает проблемы, касающиеся сходимости итерационного процесса и характера найденного минимума: локальный или глобальный


Слайд 127Метод 4. Метод Хилдрета-Лу.
Основан на тех же принципах, что и

рассмотренный метод 3, но использует другой алгоритм вычислений. Здесь регрессия (4.12) оценивается МНК для каждого значения ρ из диапазона [-1, 1] с некоторым шагом внутри него. Значение, которое дает минимальную стандартную ошибку для преобразованного уравнения (4.12), принимается в качестве оценки ρ, а коэффициенты регрессии определяются при оценивании уравнения (4.12) с использованием этого значения.

Слайд 128Метод 5. Метод Дарбина.
Получаем оценку ρ как коэффициента при Yi-1

в уравнении


Вычисляем значения преобразованных переменных


и применяем к ним обыкновенный МНК. Получаем искомые оценки коэффициентов регрессии.

Похожие презентации

Подготовка к ЕГЭ по геометрии 372
Решение задач на готовых чертежах. Площади фигур. (8 класс) 463
Скрещивающиеся прямые 1493
Градиентные методы решения ЗНЛП 455
zadachi na kratnoe i raznostnoe sravnenie 3 kl 311
Екі айнымалысы бар сызықтық теңдеудің графигі 534

Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.

Для правообладателей

Яндекс.Метрика