10.2 Основные парадигмы нейронных сетей обучения без учителя Самоорганизующиеся карты признаков Кохонена (Self-organized map) Кохонена... Выходные нейроны карты признаков Входной шар X n X 2 X 1 Функция активации – гиперболический тангенс

Зоны топологического соседства нейронов j NE j (0) NE j (t 1 ) NE j (t 2 ) NE j (t) множество нейронов, которые являются соседями нейрона j в момент времени t. Окрестность - это несколько нейронов, окружающих выигравший нейрон.

Алгоритм Кохонена формирования карт признаков:, Шаг 1. Инициализация сети: Весовым коэффициентам сети присваиваются малые случайные значения. Общее число синаптических весов - M*N Начальная зона соседства показана на рис. Шаг 2. Предъявление сети нового входного сигнала. Шаг 3. Вычисление расстояния до всех нейронов сети: Расстояния d j от входного сигнала до каждого нейрона j определяется по формуле: Где x i - i-ый элемент входного сигнала в момент времени t, w ij (t) - вес связи от i-го элемента входного сигнала к нейрону j в момент времени t. Либо расчет для всех нейронов с=x T w j и выбор нейрона с max C Шаг 4. Выбор нейрона с наименьшим расстоянием: Выбирается нейрон j*, для которого расстояние d j наименьшее. Шаг 5. Настройка весов нейрона j* и его соседей:

Производится подстройка весов для нейрона j* и всех нейронов из его зоны соседства NE. Новые значения весов: w ij (t+1) = w ij (t) + r (t) f ij (t)(x i (t) - w ij (t)), (*) где r(t) - шаг обучения, уменьшающийся с течением времени (положительное число, меньше единицы). r(t)=r 0 [r min /r(0)] t / tmax r(0)=0.8, r min

Инициализация НС - метод выпуклой комбинации ( convex combination method ) Веса сети принимают равными где п – число входов, число компонент каждого весового вектора. Каждая компонента входа Х принимает значение где x i – i-я компонента входного образа, n – общее число его компонент, a (t) – коэффициент, изменяющийся в процессе обучения от нуля до единицы,

Пример использования карт Кохонена Пусть сеть состоящая из трех нейронов, должна классифицировать нормализированные векторы: Х(1)= (0,8 0,6) Т х(2) = (0,707 0,707) Т х(3) = (0,6 -0,8) Т х(4) = (0,196 -0,98) Т х(5) = (-0,98 -0,19) Т х(6) = (-0,98 0,19) Т Случайным образом выбранные нормализованные начальные значения весов равны W 1 (0)= ( ) Т W 2 (0) = (0 -1) Т W 3 (0) = ( ) Т Х(1 ) Х(2 ) Х(3 ) Х(4 ) Х(6 ) Х(5) W 1 (0) W 3 (0) W 2 (0) Положение векторов х и w(0)

w 1 T (0)x(1) = Первый вектор Так как max[w i T x(1)]=0.8 Победитель 1 нейрон Скорректируем его вес в соответствии с (*). Примем r(t)=0.5 W 1 (1) = w 1 (0)+0.5 (x(1)-w 1 (0))= Предъявляем вектор х(4) w 1 T (1)x(4)= w 2 T (1)x(4)= -0.7 w 3 T (1)x(4)= Так как победил второй нейрон, корректируем его вес W 2 (1)=w 2 (0)+0.5(x(4)-w 2 (0))=

Сеть встречного распостранения (Counterpropogation ) Входной слой Слой Кохонена Слой Гроссберга

При обучении слоя Кохонена изменяем вес W только у нейрона с максимальным значением сигнала внутреннего возбуждения. Преобразование веса для канала с переданным сигналом X : W(n+1) = W (n) + [ X – W (n) ]. Обучение слоя Кохонена на основе – метода выпуклой комбинации При обучении слоя Гроссберга веса корректируются таким образом: V ij (n+1)=V ij (n ) + [ H j –V ij ( n ) ] Y i.

СЖАТИЕ ДАННЫХ S m1 S mn S 1n S 11 пиксель Метод – векторное квантование Множество векторов подизображений используется в качестве входа для обучения слоя Кохонена по методу аккредитации, когда лишь выход одного нейрона равен 1. Веса слоя Гроссберга обучаются выдавать бинарный код номера того нейрона Кохонена, выход которого равен 1. Например, если выходной сигнал нейрона 7 равен 1 (а все остальные равны 0), то слой Гроссберга будет обучаться выдавать

Входная звезда ( Instar ) Входная звезда фрагмент нейронной сети, которая состоит из одного нейрона, который имееет группу взвешеных входов.

Процесс обучения выражается: w t (t+1) = w t (t) + a [x t – w t (t) ], где w i вес входа x i ; x i i-й вход; a нормировочный коэффициент обучения. Алгоритм работы НС Выходная звезда Процесс обучения выражается : w t (t+1) = w t (t) + b [y t – w t (t) ], где b нормировочный коэффициент обучения