10.3.3 Сеть поиска максимума (MAXNET) Сеть поиска максимума с прямыми связями – слогослойная нейронная сеть определяющая, какой из входных сигналов имеет. - презентация

1 Сеть поиска максимума (MAXNET) Сеть поиска максимума с прямыми связями – слогослойная нейронная сеть определяющая, какой из входных сигналов имеет максимальное значение Передаточная функция – линейная с насыщением

2 Число синапсов в сети m*(m-1). Формирование синаптического веса сети: где w ij – i-й синаптический вес j-го нейрона; x i – i-й элемент входного сигнала сети ; y j – выход j-го нейрона; m – количество элементов (розмерность) входного сигнала, количество нейронов в сети. Функционирование сети:

3 Адаптивная резонансная теория. Сеть АРТ-1.

4 Алгоритм функционирования сети АРТ-1. Шаг 1. Инициализация сети: где b ij (t) синаптический вес связи от i-го нейрона первого слоя к j-му нейрону второго слоя в момент времени t; t ij (t) синаптический вес связи от i-го нейрона второго слоя к j-му нейрону первого слоя в момент времени t; r значение порога. Вес t ij (t) і b ij (t) определяют пример, который соответствует нейрону j. Шаг 2. Предъявление сети нового бинарного входного сигнала первому слою нейронов. Шаг 3. Вычисление значений соответствия Шаг 4. Выбор примера с наибольшим соответствием:

5 Шаг 5. Вычисление отношения скалярного произведения входного сигнала и примера с наибольшим значением соответствия к числу единичных бит входного сигнала. Значение отношения сравнивается с порогом, введенным на первом шаге: Если переход к шагу 7, иначе – к шагу 6. Шаг 6. Удаление нейрона с наибольшим значением соответствия. Выход нейрона с наибольшим значением соответствия временно устанавливается равным нулю и больше не принимает участие в шаге 4. Шаг 7. Адаптация нейрона с наибольшим значением соответствия :

6 Шаг 8. Включение всех удаленных на шаге 6 примеров. Возврат на шаг 2. Пример. Х1 х2 у1 Х1 х2 у2 у1У2 m х1 Х2 n n=2, m=2 t 11 =1 b 11 =1/(1+2)=1/3 t 12 =1 b 12 =1/3 yj=yj= y 1 = (b 11 (t)x 1 +b 21 (t)x 2 )=1/ /3 0 = 1/3 y 2 = (b 12 (t)x 1 +b 22 (t)x 2 )=0+1/3 1 = 1/3

7 2 алгоритм работы АРТ-1

8 Упрощенный слой сравнения

9 Упрощенный слой распознавания

10 Приемник 2. G2, выход Приемника 2, равен единице, если входной вектор X имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим ИЛИ от компонента вектора X. Приемник 1. Выходной сигнал G1 Приемника 1 равен 1, если хотя бы одна компонента двоичного входного вектора X равна единице; однако если хотя бы одна компонента вектора R равна единице, G1 устанавливается в нуль. Сброс. Модуль сброса измеряет сходство между векторами X и C. Если они отличаются сильнее, чем требует параметр сходства, вырабатывается сигнал сброса возбужденного нейрона в слое распознавания. В процессе функционирования модуль сброса вычисляет сходство как отношение количества единиц в векторе C к их количеству в векторе C. Если это отношение ниже значения параметра сходства, вырабатывается сигнал сброса.

11 Принцип латерального торможения

12 Функционирование сети APT в процессе классификации Процесс классификации в APT состоит из трех основных фаз: распознавание, сравнение и поиск. Фаза распознавания. В начальный момент времени входной вектор отсутствует на входе сети. Тем самым сигнал G2 устанавливается в 0 и, в нуль устанавливаются выходы всех нейронов слоя распознавания. Поскольку все нейроны слоя распознавания начинают работу в одинаковом состоянии, они имеют равные шансы выиграть в последующей конкуренции. Фаза сравнения. Единственный возбужденный в слое распознавания нейрон возвращает единицу обратно в слой сравнения в виде своего выходного сигнала r j. Эта единственная единица может быть визуально представлена в виде веерного выхода, подающегося через отдельную связь с весом t ij на каждый нейрон в слое сравнения, обеспечивая каждый нейрон сигналом р j, равным величине t ij (нулю или единице)

13 Путь сигнала отдельного возбужденного нейрона в слое распознавания

14 Фаза поиска. Если не выработан сигнал сброса, сходство является адекватным, и процесс классификации завершается. В противном случае другие запомненные образы должны быть исследованы с целью поиска лучшего соответствия. При этом торможение возбужденного нейрона в распознающем слое приводит к установке всех компонент вектора R в 0, G1 устанавливается в 1 и входной вектор X опять прикладывается в качестве C. В результате другой нейрон выигрывает соревнование в слое распознавания и другой запомненный образ P возвращается в слой сравнения. Если P не соответствует X, возбужденный нейрон в слое распознавания снова тормозится. Этот процесс повторяется до тех пор, пока не встретится одно из двух событий: Найден запомненный образ, сходство которого с вектором X выше уровня параметра сходства, т. е. S >r. Если это происходит, проводится обучающий цикл, в процессе которого модифицируются веса векторов T j и B j, связанных с возбужденным нейроном в слое распознавания. Все запомненные образы проверены, определено, что они не соответствуют входному вектору, и все нейроны слоя распознавания заторможены. В этом случае предварительно не распределенный нейрон в распознающем слое выделяется этому образу и его весовые векторы B j и T j устанавливаются соответствующими новому входному образу.

15 Функционирование сетей APT Инициализация. Перед началом процесса обучения сети все весовые векторы B j и T j, а также параметр сходства, должны быть установлены в начальные значения. Веса векторов B j все инициализируются в одинаковые малые значения, и значения должны удовлетворять условию где т – количество компонент входного вектора, L – константа, большая 1 (обычно L = 2). Веса векторов T j все инициализируются так t ij = 1 для всех j,i. Распознавание. Сигнал G1 устанавливается в 1 функцией ИЛИ вектора X, обеспечивая все нейроны слоя сравнения одним из двух входов, необходимых для их возбуждения. В результате любая компонента вектора X, равная единице, обеспечивает второй единичный вход, тем самым заставляя соответствующий нейрон слоя сравнения возбуждаться и устанавливая его выход в единицу. Таким образом, в этот момент времени вектор С идентичен вектору X.

16 NET j = (B j C) где Вj – весовой вектор, соответствующий нейрону j в слое распознавания; С – выходной вектор нейронов слоя сравнения; в этот момент С равно X; NET j – возбуждение нейрона j в слое распознавания. F является пороговой функцией, определяемой следующим образом: OUT j = 1, если NET j >T OUT j = 0 в противном случае, Сравнение. На этой фазе сигнал обратной связи от слоя распознавания устанавливает G1 в нуль; т.е. возбуждаются только те нейроны, которые имеют равные единице соответствующие компоненты векторов Р и X. Блок сброса сравнивает вектор С и входной вектор X, вырабатывая сигнал сброса, когда их сходство S ниже порога сходства. Следующая процедура проводит требуемое вычисление сходства: Вычислить D – количество единиц в векторе X. Вычислить N – количество единиц в векторе С. Затем вычислить сходство S следующим образом: S=N/D.

17 Обучение. Пусть вектор весов В j (связанный с возбужденным нейроном j распознающего слоя) равен нормализованной величине вектора С: где с i – i-я компонента выходного вектора слоя сравнения; j – номер выигравшего нейрона в слое распознавания; b ij – вес связи, соединяющей нейрон i в слое сравнения с нейроном j в слое распознавания; L – константа > 1 (обычно 2). Компоненты вектора весов Т j, связанного с новым запомненным вектором, изменяются таким образом, что они становятся равны соответствующим двоичным величинам вектора С: t ij = с i для всех i где t ij является весом связи между выигравшим нейроном j в слое распознавания и нейроном i в слое сравнения.