Слайд 1ОБУЧЕНИЕ С УЧИТЕЛЕМ
&
ЛИНЕЙНАЯ РЕГРЕССИЯ
Слайд 4НЕМНОЖКО ФОРМАЛИЗМА
X – input features
Y – target variable
(xi ; yi) –
training example
{ (xi ; yi) i = 1 … m } – training set
Слайд 5ЦЕЛЬ ОБУЧЕНИЯ С УЧИТЕЛЕМ
Prediction function h : X -> Y
Регрессия
– бесконечное множество
Классификация – конечное множество (дискретные величины)
Слайд 8МЕТОД ГРАДИЕНТНОГО СПУСКА
Нужно найти такие коэффициенты, чтобы минимизировать функцию стоимости J.
Слайд 10ПСЕВДООБРАТНАЯ МАТРИЦА
МУРА - ПЕНРОУЗА
Пусть A – m x n матрица.
Матрица C называется псевдообратной к A, если:
ACA = A
CAC = C
(AC)* = AC
(CA)* = CA
Обозначение: C = A+
Слайд 11СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ И СВЯЗЬ С ЛИНЕЙНОЙ РЕГРЕССИЕЙ
Пусть Ax = B
– С.Л.У
Теорема Мура – Пенроуза:
x = A+B + (En – A+A)y, где y из Rn
Слайд 12ПРИМЕРЫ НЕЛИНЕЙНЫХ МОДЕЛЕЙ РЕГРЕССИИ
Слайд 13ПЕРЕОБУЧЕНИЕ И РЕГУЛЯРИЗАЦИЯ
Переобучение - нежелательное явление, возникающее при решении задач обучения
по прецедентам, когда вероятность ошибки обученного алгоритма на тестовой выборке оказывается существенно выше, чем средняя ошибка на обучающей выборке. Переобучение возникает при использовании избыточно сложных моделей
Недообучение - нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величиный средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных
Слайд 14РАЗБЕРЕМ ПРИМЕР
Будем апроксимировать
Обучающая выборка
Модель
Алгоритм
Тестовая выборка
Слайд 18РЕГУЛЯРИЗАЦИЯ
Штраф к функции ошибки ( или функция стоимости )