Многослойные сети. Алгоритмы обучения презентация

Сети с радиально-базисными функциями;

работы существенно зависит от выбранной функции активации скрытых нейронов;
3. Наиболее часто используемая структура сети;

Преимущества:
1. Принцип работы легко описывается матричными уравнениями;
2. Универсальный аппроксиматор/классификатор;

Недостатки:
1. Сложные алгоритмы обучения;
2. Отсутствие точной методики выбора количества слоев и нейронов в них;

производных первого порядка;
2. Алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка;
3. Стохастические алгоритмы оптимизации;
4. Глобальные методы оптимизации.

По наличию эталонного сигнала
1. Контролируемое обучение.
2. Неконтролируемое обучение (без учителя).

градиента функции ошибки – направления наибольшего возрастания или убывания функции:


Где R – матрица поиска направления движения, λ – величина шага.
Варианты:
1. Метод градиентного спуска;
2. Метод сопряженного градиента;
3. Метод антиградиента.
Методы первого порядка вычисляют матрицу направления как:


Методы второго порядка:


Где Н – матрица Гессе частных производных критерия обучения по весовым коэффициентам

функции ошибки по принципу «проб и ошибок».
Варианты:
1. Машины Больцманна;
2. Метод Монте-Карло и др.
Случайный характер изменения направления поиска увеличивает затраты времени на обучение сетей. Такой алгоритм применяется редко в чистом виде.
Использование генетических алгоритмов позволяет ускорить поиск и обход локальных минимумов за счет случайных «мутаций».

всех аргументов.
Данный метод применяется только для сетей с простой структурой, поскольку сложность математических расчетов существенно возрастает с увеличением размерности решаемой задачи.

(последовательной передачей сигнала), что обусловило устоявшееся обозначение таких сетей как feedforward-backpropagation networks. Этот метод относится к градиентным алгоритмам локальной оптимизации.
Суть метода заключается в передаче сигнала ошибки с выходного нейрона на нейроны скрытого слоя, на основании чего рассчитываются корректировки весовых коэффициентов.
За счет применения последовательной коррекции весовых коэффициентов существенно облегчается процедура нахождения направления движения.
Если представить сеть в виде цепочки матричных уравнений:


То можно получить:

слой:




2. Скрытый слой:

другого нейрона и они оба являются активными, то есть, имеют одинаковый знак, то весовой коэффициент связи этих нейронов необходимо усилить.

2. Правило Хопфилда.
Если входной и выходной сигнал одновременно активны или неактивны, весовой коэффициент связи этих сигналов необходимо увеличить на величину коэффициента обучения, в противном случае его необходимо уменьшить на эту же величину.

3. Правило Кохонена (победитель получает все).
На выход нейронной сети подается выходной сигнал нейрона с наибольшим значением выходного сигнала (победителя). Корректировка весовых коэффициентов осуществляется только для этого нейрона и нейронов из некоторой окрестности в структуре нейронной сети.

который имеет наибольшую величину при совпадении направления векторов входных воздействий и весовых коэффициентов.

map) выполняет отображение последовательности входных воздействий на многомерный массив узловых точек.

Условие выбора наилучшего соответствия: