университет
Кафедра вычислительной техники
qai@mail.ru, spitsyn@ce.cctpu.edu.ru
http://qai.narod.ru
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА презентация
Содержание
- 1. АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА
- 2. СОДЕРЖАНИЕ Введение Алгоритм NEvA Адаптивный оператор мутации Результаты работы Заключение
- 3. Использование ИНС включает: Подготовка обучающих данных Выбор
- 4. 1. Введение (2/2) Эволюционные алгоритмы для настройки
- 5. 2. Алгоритм NEvA (1/3) NEvA – NeuroEvolutionary
- 6. 2. Алгоритм NEvA (2/3) Пример скрещивания:
- 7. 2. Алгоритм NEvA (3/3) Начальная популяция –
- 8. NC – количество связей в сети, NI,
- 9. fC – степень «связанности» ИНС fN –
- 10. 3. Адаптивный оператор мутации (3/5) FC =
- 11. 3. Адаптивный оператор мутации (4/5) Пример fC
- 12. 3. Адаптивный оператор мутации (5/5) Вероятность мутации:
- 13. Исключающее ИЛИ 4. Результаты экспериментов (1/4)
- 14. Балансирование 1 шеста 4. Результаты экспериментов (2/4)
- 15. Балансирование 2 шестов 4. Результаты экспериментов (3/4)
- 16. Удаление входных сигналов для задачи балансирования двух
- 17. 5. Заключение (1/2) Планы на будущее: исследовать
- 18. 5. Заключение (2/2) Использование адаптивной вероятности мутации
- 19. Ваши вопросы qai@mail.ru http://qai.narod.ru Спасибо за внимание!
СОДЕРЖАНИЕ Введение Алгоритм NEvA Адаптивный оператор мутации Результаты работы Заключение
Слайд 1АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА
Цой Ю.Р., Спицын В.Г.
Томский политехнический
Слайд 3Использование ИНС включает:
Подготовка обучающих данных
Выбор архитектуры
Обучение
Дополнительные операции по оптимизации обученной ИНС
1.
Введение (1/2)
Генетические алгоритмы (ГА) и искусственные нейронные сети (ИНС) – две концепции, имеющие природные «прототипы».
Слайд 41. Введение (2/2)
Эволюционные алгоритмы для настройки и обучения ИНС:
Настройка значений весов
связей (F. Gomez, D. Whitley, Л. Комарцова, О. Мосалов)
Поиск структуры ИНС (A. Fiszelew, А. Хомич)
Одновременная настройка весов и структуры ИНС (C. Ferreira, F.Gruau, C. Igel, D. Moriarty, K. Stanley, X. Yao)
Поиск структуры ИНС (A. Fiszelew, А. Хомич)
Одновременная настройка весов и структуры ИНС (C. Ferreira, F.Gruau, C. Igel, D. Moriarty, K. Stanley, X. Yao)
Ограничиваемые параметры:
- количество скрытых нейронов и топология ИНС;
- количество входных связей нейронов;
- «направление» эволюции сетей (усложнение/упрощение)
Слайд 52. Алгоритм NEvA (1/3)
NEvA – NeuroEvolutionary Algorithm
Настройка весов и структуры
ИНС
1 особь = нейронная сеть
Популяция = множество нейронных сетей
1 особь = нейронная сеть
Популяция = множество нейронных сетей
Слайд 72. Алгоритм NEvA (3/3)
Начальная популяция – ИНС без скрытых нейронов.
Усложнение структуры
нейронных сетей в процессе эволюции.
Нейроны с лог-сигмоидной функцией активации
Нейроны с лог-сигмоидной функцией активации
Слайд 8NC – количество связей в сети,
NI, NO, NN – соответственно количество
входных, выходных нейронов и общее число нейронов в сети,
FB – флаг, обозначающий, разрешено появление обратных связей (FB=1) или нет (FB=0)
FB – флаг, обозначающий, разрешено появление обратных связей (FB=1) или нет (FB=0)
3. Адаптивный оператор мутации (1/5)
Слайд 9fC – степень «связанности» ИНС
fN – регуляция скорости усложнения структуры ИНС
3.
Адаптивный оператор мутации (2/5)
Нет обратных связей (FB = 0)
Возможны обратные связи (FB = 1)
Слайд 103. Адаптивный оператор мутации (3/5)
FC = fC2
FN = FC * fN2
СВ
– случайная
величина
NH – число скры-
тых нейронов
величина
NH – число скры-
тых нейронов
Слайд 113. Адаптивный оператор мутации (4/5)
Пример
fC = 6 /(0,5*(5*4 – 2*1 –
1*0)) = 0,667
fN = 3/5 = 0,6
FC = fC2 = 0,445, FN = FC * fN2 = 0,160
p1
p2
p3
p4
p1 = ( 1 - FC )(1-FC+αFC) = 0,308
p2 = 0,454, p3 = 0,071, p4 = 0,166
Слайд 123. Адаптивный оператор мутации (5/5)
Вероятность мутации:
«Уменьшение вероятности мутации в процессе эволюции
улучшает результаты работы ГА» (Schаffer, Caruana, Eshelman, Das, 1989, Goldberg, 1989, Eiben, Hinterding, Michalewicz,1999, Igel, Kreutz, 2003 )
NC – количество связей в ИНС, представленной особью
Вероятность мутации разыгрывается NI+NO раз для каждой особи. Таким образом, вероятность k-кратной мутации:
Слайд 16Удаление входных сигналов для задачи балансирования двух маятников:
7 раз удален
1 вход с сигналом о движении тележки.
1 раз удалено 2 входа с сигналами о движении тележки.
1 раз удалено 2 входа с сигналами о движении тележки.
4. Результаты экспериментов (4/4)
Удаление связей может привести к изоляции некоторых входных нейронов в полученной ИНС, и, следовательно, к уменьшению размерности проблемы.
Слайд 175. Заключение (1/2)
Планы на будущее:
исследовать скорость работы алгоритма на задачах, требующих
использование обратных связей;
исследовать обобщающие способности получаемых ИНС на примере данных из тестового набора Proben1;
реализовать адаптивную настройку размера популяции, что способно увеличить скорость работы алгоритма до 30%.
исследовать обобщающие способности получаемых ИНС на примере данных из тестового набора Proben1;
реализовать адаптивную настройку размера популяции, что способно увеличить скорость работы алгоритма до 30%.
Слайд 185. Заключение (2/2)
Использование адаптивной вероятности мутации позволило добиться улучшения скорости работы
алгоритма (до 30% процентов в задаче балансирования двух маятников).
В алгоритме NEvA нет явного ограничения на сложность структуры получаемых ИНС. Направление эволюции (упрощение или усложнение сетей) также не ограничивается.
