- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Метод наименьших квадратов презентация
Содержание
- 1. Метод наименьших квадратов
- 2. Истинная модель парной линейной регрессии Y
- 3. Для элемента (Yi, Xi) выборки, i =
- 4. Как оцениваются по выборке коэффициенты регрессии?
- 5. Выборка (Yi, Xi), по которой мы должны
- 7. По этим точкам мы хотим получить такое
- 8. Интуиция подсказывает: Чем лучше оцененная прямая регрессии
- 10. Если выборка состоит только из двух точек, то проблем нет:
- 11. Если точек больше двух:
- 14. Принцип метода наименьших квадратов Для данной выборки
- 15. Или
- 16. Решаем систему уравнений:
- 17. После преобразований получаем систему нормальных уравнений для коэффициентов регрессии
- 18. Решение этой системы дает значения для оценок параметров уравнения регрессии a и b:
- 19. Решение уравнения регрессии в Excel На листе
- 20. Решение уравнения регрессии в Excel 3. В
- 21. Коэффициент детерминации показывает, насколько хорошо в выборке
- 22. Коэффициент детерминации: -
- 23. Еще одно дополнение к R2 Мы знаем,
- 24. Статистические свойства МНК-оценок коэффициентов регрессии. ТЕОРЕМА ГАУССА-МАРКОВА
- 25. Почему при оценке параметров модели a и
- 26. Каких условий? МНК-оценки a и b
- 27. Условия Гаусса-Маркова 1. Математическое ожиданиет значений остатков
- 28. Для уравнения множественной регрессии: 6. Факторы xi
- 29. Модель, удовлетворяющая предпосылкам МНК (1)-(7), называется классической
- 31. Если 1-е условие Г-М не выполняется, МНК дает смещенную оценку для b.
- 32. 2. σei2 = σ2 = const для
- 33. 2-е условие Г-М выполняется.
- 34. 2-е условие Г-М не выполняется.
- 35. 2-е условие Г-М не выполняется.
- 36. 3. σei, ej = 0 для всех
- 39. 4. σXi, ei = 0 для всех
- 40. Дополнительное условие: 7. Случайный член, i=1,
- 41. Это условие не нужно для обеспечения хороших
- 42. Теорема Гаусса-Маркова Если предпосылки МНК соблюдаются, то
- 43. F-критерий Фишера Если Fрасч ≥ Fтабл ,
- 44. t-статистика Стьюдента H0 – гипотеза о статистической
- 45. Формулы для расчета случайных ошибок: ^ ^
- 46. Расчет доверительного интервала прогноза где Если в
- 47. Расчет прогнозного значения Прогнозное значение yp определяется
Слайд 2Истинная модель парной линейной регрессии Y = а + b*X
+ e.
Для ее оценки используется выборка:
(Y1, X1)
………
(Yn, Xn)
Получается выборочное уравнение регрессии
Для ее оценки используется выборка:
(Y1, X1)
………
(Yn, Xn)
Получается выборочное уравнение регрессии
Слайд 5Выборка (Yi, Xi), по которой мы должны оценить теоретическую модель
Y
= a + b*X + e,
графически представляется в виде «облачка» точек:
графически представляется в виде «облачка» точек:
Слайд 7По этим точкам мы хотим получить такое выборочное уравнение
(т. е. оценки a и b), которое как можно точнее представляло бы истинную линию регрессии
Слайд 8Интуиция подсказывает:
Чем лучше оцененная прямая регрессии представляет выборку, тем точнее она
приближает истинную прямую регрессии.
Слайд 13
Точки выборки
P1 = (X1, Y1), P2 = (X2, Y2), P3 = (X3, Y3) моделируются (оцениваются) точками линии регрессии
Q1 = (X1, Ŷ1), Q2 = (X2, Ŷ2 ), Q3 = (X3, Ŷ3 ).
Точность моделирования Yi для каждого Xi определяется величиной ошибки ei = Yi - Ŷ1.
Хотелось бы, чтобы выборочное уравнение Ŷ = a + b*X с наименьшими ошибками моделировало бы сразу все выборочные значения Yi, i =1, …, n.
P1 = (X1, Y1), P2 = (X2, Y2), P3 = (X3, Y3) моделируются (оцениваются) точками линии регрессии
Q1 = (X1, Ŷ1), Q2 = (X2, Ŷ2 ), Q3 = (X3, Ŷ3 ).
Точность моделирования Yi для каждого Xi определяется величиной ошибки ei = Yi - Ŷ1.
Хотелось бы, чтобы выборочное уравнение Ŷ = a + b*X с наименьшими ошибками моделировало бы сразу все выборочные значения Yi, i =1, …, n.
Слайд 14Принцип метода наименьших квадратов
Для данной выборки (X1, Y1), …, (Xn, Yn)
параметры a и b рассчитываются таким образом, чтобы получить минимальное значение суммы квадратов остатков:
min
min
Слайд 19Решение уравнения регрессии в Excel
На листе Excel выделяют блок ячеек в
котором
- строк всегда 5
- столбцов–(m+1), где m – число независимых переменных
2. Вводят функцию: ЛИНЕЙН(…)++
Константа: =1, если параметр а присутствует в уравнении
=0, если уравнение имеет вид у=b*x
Статистика: =1, если необходима оценка достоверности
=0, если оценка не нужна
- строк всегда 5
- столбцов–(m+1), где m – число независимых переменных
2. Вводят функцию: ЛИНЕЙН(…)
Константа: =1, если параметр а присутствует в уравнении
=0, если уравнение имеет вид у=b*x
Статистика: =1, если необходима оценка достоверности
=0, если оценка не нужна
Слайд 20Решение уравнения регрессии в Excel
3. В выделенном блоке ячеек будет результат
в виде
значения параметров
среднее квадр. отклонение полученных значений
Fрасч – расчетное значение функции Фишера
df – число степеней свободы (=n-m-1)
SSрегр – регрессионная сумма квадратов
SSост – остаточная сумма квадратов
R2 – коэффициент детерминации
Слайд 21Коэффициент детерминации показывает, насколько хорошо в выборке изменения Y объяснены изменениями
Х. Т. е., насколько хорошо выборочная модель регрессии объясняет поведение Y в выборке.
Изменения фактора Y измеряются его дисперсией σ2(Y).
Изменения фактора Y измеряются его дисперсией σ2(Y).
Слайд 22Коэффициент детерминации:
- часть дисперсии Y, объясненная уравнением регрессии, т. е.
изменениями в выборке фактора Х.
Слайд 23Еще одно дополнение к R2
Мы знаем, что 0 ≤ R2 ≤
1.
Однако, если модель регрессии не имеет свободного члена, например, Y = b*x + e, то возможны отрицательные значения R2.
Это также недостаток R2.
Однако, если модель регрессии не имеет свободного члена, например, Y = b*x + e, то возможны отрицательные значения R2.
Это также недостаток R2.
Слайд 25Почему при оценке параметров модели a и b минимизируется именно
?
Потому что при выполнении некоторых условий оценки a и b, полученные по МНК, оказываются очень хорошими: несмещенными, эффективными, состоятельными.
Потому что при выполнении некоторых условий оценки a и b, полученные по МНК, оказываются очень хорошими: несмещенными, эффективными, состоятельными.
Слайд 26Каких условий?
МНК-оценки a и b являются случайными величинами, свойства которых
существенным образом зависят от свойств случайного члена e модели регрессии.
Слайд 27Условия Гаусса-Маркова
1. Математическое ожиданиет значений остатков e равно 0:
М(ei) = 0
для всех наблюдений хi
2. Значение дисперсии ошибки является постоянной величиной σei2 = σ2 = const для всех наблюдений Xi
(условие гомоскедастичности)
3. Значения e, для разных значений хi независимы между собой
(отсутствие автокорреляции в остатках)
4. Значения хi и ei для одного и того же наблюдения независимы между собой σXi, ei = 0 для всех наблюдений
5. Модель является линейной относительно параметров
2. Значение дисперсии ошибки является постоянной величиной σei2 = σ2 = const для всех наблюдений Xi
(условие гомоскедастичности)
3. Значения e, для разных значений хi независимы между собой
(отсутствие автокорреляции в остатках)
4. Значения хi и ei для одного и того же наблюдения независимы между собой σXi, ei = 0 для всех наблюдений
5. Модель является линейной относительно параметров
Слайд 28Для уравнения множественной регрессии:
6. Факторы xi независимы между собой в том
смысле, что их выборочные парные линейные коэффициенты корреляции не превышают некоторого порога p:
(условие отсутствия мультиколлинеарности)
7. Остатки являются нормально распределенной случайной величиной, т.е. подчиняются закону нормального распределения.
(условие отсутствия мультиколлинеарности)
7. Остатки являются нормально распределенной случайной величиной, т.е. подчиняются закону нормального распределения.
Условия Гаусса-Маркова
Слайд 29Модель, удовлетворяющая предпосылкам МНК (1)-(7), называется классической нормальной моделью регрессии,
если
не выполняется только условие (7), то модель – классическая модель регрессии.
Слайд 322. σei2 = σ2 = const для всех наблюдений Xi
Условие гомоскедастичности
ошибок.
Когда оно не выполняется, говорят о гетероскедастичности ошибок.
Когда оно не выполняется, говорят о гетероскедастичности ошибок.
Слайд 363. σei, ej = 0 для всех Xi и Xj, i
≠ j .
Условие некоррелированности ошибок для разных наблюдений.
Это условие часто нарушается, когда данные являются временными рядами, из-за наличия в динамике экономических показателей различных регулярных колебаний.
При невыполнении (3) говорят об автокоррелированности остатков.
Слайд 394. σXi, ei = 0 для всех наблюдений.
Случайный член распределен независимо
от объясняющей переменной.
Это всегда выполняется, если объясняющие переменные не являются случайными величинами.
Это всегда выполняется, если объясняющие переменные не являются случайными величинами.
Слайд 40Дополнительное условие: 7. Случайный член, i=1, …, n, имеет нормальное распределение, ei
~ N(0, σe2)
Слайд 41Это условие не нужно для обеспечения хороших свойств оценок a и
b.
Но оно позволяет корректно проводить проверку гипотез о коэффициентах регрессии.
Реальность предположения о нормальности ei обеспечивается Центральной предельной теоремой.
Но оно позволяет корректно проводить проверку гипотез о коэффициентах регрессии.
Реальность предположения о нормальности ei обеспечивается Центральной предельной теоремой.
Слайд 42Теорема Гаусса-Маркова
Если предпосылки МНК соблюдаются, то оценки, полученные по МНК, обладают
следующими свойствами:
Оценки параметров являются несмещенными, т.е. М(bi)= bi и М(а)= а. Это вытекает из того, что М(еi)= 0 и говорит об отсутствии систематической ошибки в определении положения линии регрессии
Оценки параметров состоятельны, т.к. дисперсия оценок параметров при возрастании числа n наблюдений стремится к нулю. Т.е. При увеличении объема выборки надежность оценок возрастает.
Оценки параметров эффективны, т.е. Они имеют наименьшую дисперсию по сравнению с другими оценками данных параметров.
Оценки параметров являются несмещенными, т.е. М(bi)= bi и М(а)= а. Это вытекает из того, что М(еi)= 0 и говорит об отсутствии систематической ошибки в определении положения линии регрессии
Оценки параметров состоятельны, т.к. дисперсия оценок параметров при возрастании числа n наблюдений стремится к нулю. Т.е. При увеличении объема выборки надежность оценок возрастает.
Оценки параметров эффективны, т.е. Они имеют наименьшую дисперсию по сравнению с другими оценками данных параметров.
Слайд 43F-критерий Фишера
Если Fрасч ≥ Fтабл , то отвергается гипотеза H0 и
признается значимость и надежность полученных оценок параметров a и b
H0 – гипотеза о статистической незначимости уравнения регрессии и показателя тесноты связи: b=0, ryx=0
Слайд 44t-статистика Стьюдента
H0 – гипотеза о статистической незначимости оценок параметров уравнения регрессии
и показателя тесноты связи: a=b=ryx=0
где mb , ma , mr – случайные ошибки параметров линейной регрессии и коэффициента корреляции
Слайд 46Расчет доверительного интервала прогноза
где
Если в границы доверительного интервала попадает ноль, т.е.
нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, т.к. он не может одновременно принимать и положительное и отрицательное значение.
Слайд 47Расчет прогнозного значения
Прогнозное значение yp определяется путем подстановки в уравнение регрессии
соответствующего (прогнозного) значения xp. Вычисляется средняя стандартная ошибка прогноза:
^
и строится доверительный интервал прогноза:
^
^
^
^
