ГЕНЕТИЧЕСКИЙ АЛГОРИТМ НАСТРОЙКИ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ Конференция «Технологии Microsoft в информатике и программировании», 21-23 февраля 2004г. - презентация

1 ГЕНЕТИЧЕСКИЙ АЛГОРИТМ НАСТРОЙКИ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ Конференция «Технологии Microsoft в информатике и программировании», февраля 2004г. Цой Ю.Р., Спицын В.Г. Томский политехнический университет Кафедра вычислительной техники

2 Схема нейроэволюционного алгоритма Отбор Выбор родительских особей Инициализация Формирование нового поколения

3 Особенности алгоритма NEvA (NeuroEvolutionary Algorithm) Одновременная настройка весов и структуры искусственной нейронной сети. Неограниченный размер и сложность сетей. Большая гибкость эволюционного поиска. Адаптивный механизм мутации. Для работы необходима только обучающая выборка.

4 Представление информации в генетическом виде

5 Скрещивание особей

6 Мутация добавление нейрона; удаление нейрона; добавление связи; удаление связи; изменение веса случайно выбранной связи на произвольную величину из диапазона [-0,5; 0,5]. Выбор типа мутации осуществляется, исходя из характеристик сети, представленной мутирующей особью

7 Эксперименты Задача «Исключающего ИЛИ». Канонический генетический алгоритм (CGA). Алгоритм обратного распространения ошибки без инерционной составляющей (BP). Алгоритм обратного распространения ошибки с инерционной составляющей (BPM). Структура сети: 2 входных нейрона, 4 скрытых нейрона, 1 выходной нейрон. Каждый алгоритм запускался по 50 раз.

8 Сравнение результатов N - количество вычислений целевой функции NE - алгоритм NEvA CGA - канонический генетический алгоритм BP - алгоритм обратного распространения ошибки BPM - алгоритм обратного распространения ошибки с инерционностью

9 Примеры решений, найденных алгоритмом NEvA

10 Результаты и выводы Среднее число скрытых нейронов в решениях, найденных алгоритмом NEvA, равно 4,98, связей – 15,38. 7 раз были найдены сети с более простой топологией, чем в случае алгоритмов CGA, BP и BPM. 3 раза были найдены сети с эквивалентной топологией. Несмотря на проигрыш в скорости, стоит отметить стабильность работы и изначально большую сложность задачи. Алгоритм успешно справился с поставленной задачей.

11 Спасибо за внимание! (Ваши вопросы)