АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА презентация

Содержание

Слайд 1АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА
Цой Ю.Р., Спицын В.Г.
Томский политехнический

университет
Кафедра вычислительной техники
qai@mail.ru, spitsyn@ce.cctpu.edu.ru
http://qai.narod.ru

Слайд 2СОДЕРЖАНИЕ
Введение
Алгоритм NEvA
Адаптивный оператор мутации
Результаты работы
Заключение


Слайд 3Использование ИНС включает:
Подготовка обучающих данных
Выбор архитектуры
Обучение
Дополнительные операции по оптимизации обученной ИНС
1.

Введение (1/2)

Генетические алгоритмы (ГА) и искусственные нейронные сети (ИНС) – две концепции, имеющие природные «прототипы».


Слайд 41. Введение (2/2)
Эволюционные алгоритмы для настройки и обучения ИНС:
Настройка значений весов

связей (F. Gomez, D. Whitley, Л. Комарцова, О. Мосалов)
Поиск структуры ИНС (A. Fiszelew, А. Хомич)
Одновременная настройка весов и структуры ИНС (C. Ferreira, F.Gruau, C. Igel, D. Moriarty, K. Stanley, X. Yao)

Ограничиваемые параметры:
- количество скрытых нейронов и топология ИНС;
- количество входных связей нейронов;
- «направление» эволюции сетей (усложнение/упрощение)


Слайд 52. Алгоритм NEvA (1/3)
NEvA – NeuroEvolutionary Algorithm
Настройка весов и структуры

ИНС
1 особь = нейронная сеть
Популяция = множество нейронных сетей

Слайд 62. Алгоритм NEvA (2/3)
Пример скрещивания:


Слайд 72. Алгоритм NEvA (3/3)
Начальная популяция – ИНС без скрытых нейронов.
Усложнение структуры

нейронных сетей в процессе эволюции.
Нейроны с лог-сигмоидной функцией активации




Слайд 8NC – количество связей в сети,
NI, NO, NN – соответственно количество

входных, выходных нейронов и общее число нейронов в сети,
FB – флаг, обозначающий, разрешено появление обратных связей (FB=1) или нет (FB=0)

3. Адаптивный оператор мутации (1/5)


Слайд 9fC – степень «связанности» ИНС
fN – регуляция скорости усложнения структуры ИНС
3.

Адаптивный оператор мутации (2/5)

Нет обратных связей (FB = 0)

Возможны обратные связи (FB = 1)


Слайд 103. Адаптивный оператор мутации (3/5)
FC = fC2

FN = FC * fN2


СВ

– случайная
величина

NH – число скры-
тых нейронов

Слайд 113. Адаптивный оператор мутации (4/5)
Пример
fC = 6 /(0,5*(5*4 – 2*1 –

1*0)) = 0,667

fN = 3/5 = 0,6

FC = fC2 = 0,445, FN = FC * fN2 = 0,160

p1

p2

p3

p4

p1 = ( 1 - FC )(1-FC+αFC) = 0,308
p2 = 0,454, p3 = 0,071, p4 = 0,166


Слайд 123. Адаптивный оператор мутации (5/5)
Вероятность мутации:
«Уменьшение вероятности мутации в процессе эволюции

улучшает результаты работы ГА» (Schаffer, Caruana, Eshelman, Das, 1989, Goldberg, 1989, Eiben, Hinterding, Michalewicz,1999, Igel, Kreutz, 2003 )


NC – количество связей в ИНС, представленной особью

Вероятность мутации разыгрывается NI+NO раз для каждой особи. Таким образом, вероятность k-кратной мутации:


Слайд 13Исключающее ИЛИ
4. Результаты экспериментов (1/4)


Слайд 14Балансирование 1 шеста
4. Результаты экспериментов (2/4)


Слайд 15Балансирование 2 шестов
4. Результаты экспериментов (3/4)


Слайд 16Удаление входных сигналов для задачи балансирования двух маятников:
7 раз удален

1 вход с сигналом о движении тележки.
1 раз удалено 2 входа с сигналами о движении тележки.

4. Результаты экспериментов (4/4)

Удаление связей может привести к изоляции некоторых входных нейронов в полученной ИНС, и, следовательно, к уменьшению размерности проблемы.


Слайд 175. Заключение (1/2)
Планы на будущее:
исследовать скорость работы алгоритма на задачах, требующих

использование обратных связей;
исследовать обобщающие способности получаемых ИНС на примере данных из тестового набора Proben1;
реализовать адаптивную настройку размера популяции, что способно увеличить скорость работы алгоритма до 30%.

Слайд 185. Заключение (2/2)
Использование адаптивной вероятности мутации позволило добиться улучшения скорости работы

алгоритма (до 30% процентов в задаче балансирования двух маятников).

В алгоритме NEvA нет явного ограничения на сложность структуры получаемых ИНС. Направление эволюции (упрощение или усложнение сетей) также не ограничивается.


Слайд 19Ваши вопросы qai@mail.ru http://qai.narod.ru
Спасибо за внимание!


Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика