Динамические нейронные сети и их аттракторы Резник Александр Михайлович Институт проблем математических машин и систем НАН Украины отдел Нейротехнологий.

Презентация:



Advertisements
Похожие презентации
Тема 10. Архитектура и алгоритмы обучения НС Основные парадигмы нейронных сетей обучения с учителем Однослойный перцептрон f f f х1.
Advertisements

МОДУЛЬНАЯ АРХИТЕКТУРА НС. Каждая входная переменная связана только с одним из входов модулей. Выходы всех входных модулей соединены с модулем решения.
1 Главным содержанием нейросетевой технологии является создание электронных и программных аналогов естественных нейронных сетей и использование этих аналогов.
Сеть поиска максимума (MAXNET) Сеть поиска максимума с прямыми связями – слогослойная нейронная сеть определяющая, какой из входных сигналов имеет.
Использование нейронных сетей для прогнозирования изменений на фондовом рынке Михаил Бондаренко 14 August
10. 3 Повносвязные нейронные сети со смешанным обучением Нейронная сеть Хопфилда ( Hopfield Net)
© ElVisti Лекция 10 Основные сведения о нейронных сетях Дмитрий Владимирович ЛАНДЭ МЕЖДУНАРОДНЫЙ СОЛОМОНОВ УНИВЕРСИТЕТ.
Использование нейросимулятора при определении внешнего вида ребенка по параметрам родителей.
Система управления РТК Основная задача системы управления роботом – автоматизация деятельности человека-оператора. Составные части: Система технического.
Ассоциативная память. Ассоциативная сеть прямого распространения. 1 X 1 Y 1 X 2 Y 2 X i Y i X n Y n 2 i n... Y j = i=1 N w ij x i, j=1,M (*)
1. Cведения о нейронах и искусственных нейросетях.
Лекция 6. Нейронные сети Хопфилда и Хэмминга Среди различных конфигураций искусственных нейронных сетей (НС) встречаются такие, при классификации которых.
Вероятностная НС (Probability neural network) X 1 X n... Y 1 Y m Входной слой Скрытый слой (Радиальный) Выходной слой...
Сети глубокого обучения. Локальное и нелокальное в пространстве признаков обучение Прототипом всякого локально-обучающего алгоритма является построение:
Запорожский национальный технический университет СТЕПЕННЫЕ РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ, КАК МОДЕЛИ НЕЛИНЕЙНЫХ ЭЛЕКТРОТЕХНИЧЕСКИХ ОБЪЕКТОВ Орловский И.А.
Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 5. Алгоритмы обучения искусственных.
Использование нейронной сети Хопфилда для решения оптимизационных задач маршрутизации.
ФАКУЛЬТЕТ ПРИКЛАДНОЙ МАТЕМАТИКИ и ИНФОРМАТИКИ Тарасюк Александр Евгеньевич СИСТЕМА РАСПОЗНАВАНИЯ ЛИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ.
Липецкий государственный технический университет Кафедра прикладной математики Кузьмин Алексей Сергеевич Распознавание образов сверточными искусственными.
Искусственные нейронные сети. 1. Формальный нейрон Большинство моделей основывается на схеме формального нейрона У.С. Мак-Каллока и У.Питтса (1943 гол),
Транксрипт:

Динамические нейронные сети и их аттракторы Резник Александр Михайлович Институт проблем математических машин и систем НАН Украины отдел Нейротехнологий

Фрагмент нервной ткани коры мозга

Нервная клетка,

Перцептрон Розенблатта (1957г.) Проблема исключающее ИЛИ и ее решение 1 1 x2x2 x2x2 x1x1 x1x1 x2x2 x1x1 b y y0 y= sign (a 1 x 1 +a 2 x 2 -b)

Градиентный подход к обучению Обучающая выборка Средняя ошибка Градиент ошибки

Сеть Хопфилда b 1 ……b N y 1 …….y N Сеть Хопфилда Двустороняя ассоциативная память Коско

Уравнение энергии сети

Обратные связи и аттракторы нейронной сети Хопфилда Статический и динамический аттракторы сети из 4 нейронов Рекуррентные связи динамических нейронов

Рекуррентная нейронная сеть Обратные связи Слой эффекторов (выходы) Z(t) Входы (рецепторы) Слой скрытых нейронов Y(t) Y(t) : X(t) Z(t):

Рекурентный многослойный перцептрон (RMLP). Слой скрытых нейронов ττ τ τ τ Вход x(t) K K+1 порог b (1) порог b (2) Слой эфекторов K+L Выход y(t)

Нейроны рекуррентной сети -нелинейная активационная функция нейрона; -вес связи для j-входа нейрона l-го слоя -множество значений задержки свзи Условие устойчивого состояния - постсинаптический потенциал:

Динамический нейрон x j (t) -b f[s(t)-b] x N (t) C R настраиваемые параметры: - веса межнейронных связей - коэффициенты инерции

Обучение рекуррентной нейросети Обучающая после- довательность Функция ошибки Дельта- правило для прямых связей для обратных связей

Схема коррекции веса прямых (W ) и обратных (W ) связей W W W W W W W Вход (m) Вход(m-1) Вход (m-2) Выходы Состояние скрытых нейронов (m) Состояние скрытых нейронов (m-1) Состояние скрытых нейронов (m-2) Состояние скрытых нейронов (m-3) -

Принцип обратного распространения во времени

Слой эффекторов Слой рецепторов Скрытый слой Echo State Network H.Jaeger The echo state approach to analysing and training recurrent neural networks (2001)

Виртуальная нейросеть t X t Z t-1 Z t-2 …………………….. Z t-K W -1 W -2 W -K W0 W0

Уравнение состояния сети Нейронная сеть как динамическая система (X,Y,U) Траектория состояния Условие аттрактора Аттракторы динамической нейросети ____________________________________________________________

Открытая динамическая нейронная сеть Условие аттрактора: Набор динамических атракторов:

Псевдоинверсный алгоритм Свойства матрицы

Динамические аттракторы

Фрагмент нервной ткани коры мозга

Структура синаптической матрицы слоя нейронов входы ансамбля выходы ансамбля Хопфилдовский нейронный ансамбль