Нейронные сети. Сеть Хопфилда презентация

Сети с обратными связями могут работать в качестве ассоциативной памяти. Это означает, что по вектору, поданному на вход, сетью будет создан на выходе один из запомненных ранее векторов,

Слайд 1Нейронные сети
Часть 7


Слайд 2


Сети с обратными связями могут работать в качестве ассоциативной памяти. Это

означает, что по вектору, поданному на вход, сетью будет создан на выходе один из запомненных ранее векторов, наиболее "похожий" (в некотором выбранном смысле) на данный входной вектор. Такой способ выборки данных называется адресацией по содержимому, в отличие от адресации по номеру ячейки памяти, принятому в ЭВМ фон неймановского типа.
Память с такой адресацией является весьма перспективной для создания систем искусственного интеллекта, систем распознавания речевых сигналов и изображений.
Пусть задано множество векторов , подлежащих запоминанию в нейросети. Критерий "похожести" векторов зависит от задачи и может быть весьма сложным.

Сеть Хопфилда




Слайд 3 Если, к примеру, входной вектор состоит из нескольких отсчетов сигнала во

времени, взятых подряд, то критерий близости векторов должен обладать инвариантностью к масштабированию отсчетов, к переносу вдоль оси времени (фазе сигнала), и к зашумленности входных данных. Так что поиск критерия близости специфичен для каждой задачи и представляет собой серьезную проблему.
Рассмотрим простейший случай, когда в качестве меры близости двух векторов используется их скалярное произведение . Чем более "похожи" вектора, тем больше мера близости. Тогда можно ожидать, что изменение вектора x с течением времени по закону
в конце концов приведет к тому, что x совпадет с наиболее похожим эталоном, т.е. требуемая ассоциация будет найдена.




Слайд 4Если найти такую функцию H(x), что
то задача поиска ассоциации для вектора

x будет совпадать с задачей поиска минимума функции H(x). Если выбрать функцию H, которая называется энергией сети, в виде



то ее градиент


здесь - i-й вектор базиса. Нижними индексами обозначены компоненты вектора, верхними - номер вектора в множестве. Тогда




Слайд 5Первое слагаемое обеспечивает стремление x к ближайшим эталонам, а второе —

приближение компонент вектора x к допустимым значениям +1 или 1. Коэффициент λ соотносит интенсивности этих двух процессов. Обычно λ растет с течением времени от λ<1 до λ>1 c ростом времени обучения. Чтобы получить весовые коэффициенты и пороговые уровни, запишем последнее выражение покомпонентно:


Отсюда видно, что весовые коэффициенты должны определяться:



Слайд 6Веса не зависят от направления от i к j или от

j к i. Данная формула аналогична формуле Хебба для обучения перцептрона, когда связь между нейронами i и j положительна, если состояния нейронов одинаковы и отрицательна, если состояния противоположны.
Каждый i- й нейрон содержит управляемый нелинейный порог со значением


рассчитываемый на каждой итерации. Каждый выходной сигнал подается обратно на вход сети с весом Wij и на вход того же нейрона для расчета порога. Данная модель называется сетью Хопфилда.


Слайд 7Решение задач с помощью сетей Хопфилда;
1.Построить функцию энергии таким образом, чтобы

точка глобального минимума этой функции совпадала с решением задачи. При этом градиент функции энергии должен допускать вычисление с помощью НС.
2.Записать формулы для расчета параметров сети (весовых коэффициентов и пороговых уровней) для расчета градиента функции энергии.
3.Разорвать цепочку обратной связи и предъявить сети входной вектор. Рассчитать значения выходов.
4.Замкнуть обратную связь и предоставить сети возможность самостоятельно менять свое состояние (релаксация). Остановить процесс релаксации после того, как выходной вектор перестанет меняться, т.е.по достижении минимума функции энергии. Полученные выходы сети дают решение задачи.


Слайд 8Задача комбинаторной оптимизации
В задачах комбинаторной оптимизации требуется найти наилучшее из

конечного, но обычно очень большого числа возможных решений.
Рассмотрим задачу комбинаторной оптимизации на примере задачи коммивояжера. Для решения этой задачи с помощью нейронной сети Хопфилда нужно закодировать маршрут активностью нейронов и так подобрать связи между ними, чтобы энергия сети оказалась связанной с полной длиной маршрута. Хопфилд предложил для этого следующий способ.
Рассмотрим сеть, состоящую из N*N бинарных нейронов, состояния которых мы обозначим , где индекс i - кодирует город, а индекс α - номер города в маршруте.



Слайд 9Если обозначить через dij расстояние между i-м и j-м городами, решение

задачи коммивояжера сводится к минимизации целевой функции


при дополнительных условиях



первое из которых говорит о том, что любой город в маршруте встречается лишь однажды, а второе - что маршрут проходит через каждый город.
Общий подход к ограничениям в задачах оптимизации состоит в том, что в итоговый функционал, подлежащий минимизации, включаются штрафные члены, увеличивающие целевую функцию при отклонении от накладываемых ограничений.


Слайд 10В данном случае в качестве энергии состояния сети можно выбрать функционал




где регулирует строгость соблюдения дополнительных условий в конечном решении.
Решению задачи будет соответствовать стационарное состояние сети, в котором лишь N нейронов сети будут активными (νiα=1) и в каждом столбце и в каждой строке матрицы ||νiα|| будет находиться один и только один единичный элемент.


Слайд 12Величина γ регулирует “торг” между поиском маршрута минимальной протяженности и осмысленностью

вида самого маршрута. Частное решение, соответствующее локальному минимуму функционала E , может быть осмысленным (второе слагаемое обращаются на нем в ноль), но первое слагаемое (длина маршрута) для него, возможно будет слишком велико. Наоборот, длина маршрута может быть достаточно мала, но одно из оставшихся слагаемых будет ненулевым и маршрут окажется не интерпретируем или недостаточен (например, проходит не через все города).
После того, как минимизируемая целевая функция для задачи коммивояжера построена, можно определить, какие связи в нейронной сети Хопфилда следует выбрать, так чтобы функционал энергии состояния в ней совпал с этой функцией. Для этого достаточно приравнять выражение для E(ν) к энергии рекуррентной сети:



Слайд 13Таким образом находятся значения синаптических связей в сети:


и значений порогов нейронов

. Общее число весов в сети - порядка N3.



Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика