Ассоциативная память. Ассоциативная сеть прямого распространения. 1 X 1 Y 1 X 2 Y 2 X i Y i X n Y n 2 i n... Y j = i=1 N w ij x i, j=1,M (*) - презентация

1 Ассоциативная память. Ассоциативная сеть прямого распространения. 1 X 1 Y 1 X 2 Y 2 X i Y i X n Y n 2 i n... Y j = i=1 N w ij x i, j=1,M (*)

2 Сети предъявляются ассоциативные пары (x p, y p ), каждая из которых имеет свою весовую матрицу W p (N M) Задача сети: выдача на выходе сигнала (образа) y p ассоциированного с х р, если на ее вход поступает вектор х* подобный х р Расстояние Хэмминга ( расстояние между двумя векторами, представленными в двоичной форме) - число позиций в которых они отличаются. Автоассоциативная Гетероассоциативная Выдача сигнала у, соответствующего Хранит ассоциативные пары Х (хранит р образов, а не пар) Алгоритмы обучения ассоциативной памяти Правило Хэбба, дельта-правило, метод псевдоинверсий

3 Правило обучения Хэбба W ij = x i y j, i=1,N, j=1,M (1) W = y x Т, (2) матричный вид где - коэффициент пропорциональности обучения Соотношением (1) (2) описывается любая из р обучающих пар, значит W р = y р x Т р, (3) Матрица весов W имеет вид W = (4) Корректировка весов W(k+1) = W(k) + y(k) x T (k) (5) где k – k-й входные и выходные вектора Неконтролируемое правило обучения Хэбба (6)

4 Пример 1. Пусть сети предъявляются обучающие входные образы х 1 Т =(1 1) х 2 Т = (1 1)., а выходной сигнал формируется пороговой функцией Рассмотрим настройку весов по (5) с =1. Пусть W T (0)=(1 1 ) Имеем K=1 W(0) T x(1)= 1·1+ 1 ·1 = 2, y(1) = 1 K=2 W(1) T x(2)= (2 2) =4, y(2)=1, W(1)= + 1· = W(2) = W(1) + y(2) x(2) =

5 Применение механизма забывания В (5) используется W (k) = (1- ) W(k-1) + y(k) x T (k) (7) W ij max = / (8) Пример 2. Пусть сети предъявляются те же входы (пример 1) с =1, =0,1 k=1 y(1) =1 W(1) = (1-0.1) +1 = k=2 y(2) =1 W(2) = (1-0.1) + 1 = W max = 1/0.1=10 Далее правило (5) подверглось дальнейшему усовершенствованию, с целью минимизации повторения образов w ij (k) = w ij (k-1) + y i (k) x j (k) - y i (k) w ij (k-1) (9)

6 Если в (9) выбрать = получим w ij (k) = w ij (k-1) + y i (k) (x j (k) – w ij (k-1)) (10) Правило входной связки Если y i (k) = 1, то w ij (k) = (1- ) w ij (k) + x i (k) (11) Контролируемое правило обучения Хэбба W p = y * p x T p (12) где y* p – требуемый выход Матрица сети W определяется согласно (4) Фактический выходной сигнал при предъявлении некоторого образа x k вычисляется y k = W x k =(13) (14)

7 Пример 3. Пусть на вход линейной сети поступает обучающая последовательность (N=M=3) x 1 T = ( ) (y 1 * ) T = (1 1 0) x 2 T = ( 0 1 0) (y 2 *) T = (0 1 1) x 3 T = ( ) ( y 3 *) T = (1 0 1) Вычислим матрицы весов W p по (12)

8 При подаче на вход запомненных образов сеть их правильно воспроизводит

9 Дельта-правило обучения Если для р-ой обучающей пары (x p, y p * ) выходной сигнал представлен соотношением (*) то корректировка веса имеет вид Гетероассоциативная память (ГАП) Хранит ассоциированные пары {x p, y p } X1X1 Y1Y1... X2X2 XNXN YMYM YMYM X1X1 Y1Y1 X2X2 XNXN А Б

10 Пример 4. Рассмотрим сеть рис.А., с N=5, M=3 и пороговой релейной функцией активации. x 1 T = ( ) (y 1 *) T = (1 1 -1) x 2 T = ( ) (y 2 *) T = (1 -1 1) x 3 T = ( ) ( y 3 *) T = (-1 1 1) Функция активации Вычислим по (3) частные весовые матрицы, =1

11 Находим общую матрицу весов

12 Найдем ассоциированный образ с учетом функции активации Подадим на сеть искаженный образ х 2 Э =( ). Получим

13 Автоассоциативная память Частный случай ГАП при N=M. Сеть хранит предъявляемые обучающие пары (x,y * ). Задача сети – воссоздание некоторого зашумленного образа. Емкость сети (макс. число хранимых образов ) N. Двунаправленная ассоциативная память (ДАП) X1X1 Y1Y1... X2X2 XNXN YMYM w NM

14 Пороговая функция активации Пример 5. Применим правило Хэбба для обучения ДАМ. Пусть имеем обучающие пары x 1 T = ( ) y 1 T = ( ) x 2 T = ( ) y 2 T = ( ) Матрицы весов

15 При подаче х 1 с учетом пороговой функции активации W=W 1 +W 2 = Wx 1 = Воссоздание образа у 1 Подаем в обратном направлении на ДАМ вектор у 1 W Т у 1 = Воссоздание образа х 1

16 Аналогично можно вычислить для х 2 и у 2. Подадим на вход сети искаженный образ х 1 Э =( ) Получим Образ у 1 - Образ х 1 То есть сеть правильно восстановила искаженный образ

17 10. 3 Повносвязные нейронные сети со смешанным обучением Нейронная сеть Хопфилда ( Hopfield Net)

18 1.Сеть является однослойной и содержит N нейронов, число которых является одновременно числом входов и выходов сети 2.Каждый нейрон сети связан со всеми остальными нейронами 3.Ни один нейрон не имеет собственной обратной связи 4.Веса сети являются симметричными, т.е w ij =w ji 5.Каждый нейрон имеет пороговую функцию активации 6.Входными являются двоичные сигналы Цель работы Сети предъявляются р образов, описываемых N-мерными векторами x=(x 1, …x N ). Сеть на выходе формирует вектор компоненты которого совпадут с предъявленным образом, y=x p Каждый элемент x i равен +1, или -1.

19 Три стадии функционирования сети: 1.Инициализация 2.Предъявление входного образа 3.Вычисление состояния нейронов Инициализация сети ВЕСА СЕТИ где i и j – индексы соответственно предсинаптического и постсинаптического нейронов; x i р, x j р – i-ий та j-ый элементы вектора р-го примера. (1)

20 Алгоритм функционирования сети (k – номер итерации). Шаг 1. На входы сети подается неизвестный сигнал. Фактически его введение осуществляется непосредственно установкой значений аксонов: y i (0) = x i, i =1,...,n, Шаг 2. Расчитывается новое состояние нейронов: и новые значения аксонов где f – активационная функция единичного прыжка Шаг 3. Проверка изменились ли выходные значения аксонов за последнюю итерацию. Если да – переход нашаг 2, в противоположном случае – конец. (2) (3)

21 Для активных нейронов вычисляется энергия каждого образа Пример 1. Рассмотрим сеть Хопфилда, состоящей из 7 нейронов и биполярной пороговой функции активации с порогом Т =0, для обучения которой используются образы х 1 =( ) Т и х 2 =( ) Т Сеть должна распознать искаженный образ х 3 = х 2 - =( ) W=W 1 +W 2 = W 1 – матрица весов для i-го обучающего образа выч-я по (1)

22 w 12 =1·(-1)+(-1) ·(-1)=0, w 13 =1·(-1)+(-1) ·1= -2 w 14 =1·1+(-1) ·(-1)=2, w 15 =1·(-1)+(-1) ·1= -2, w 16 =1·1+(-1) ·(-1)=2, w 17 =1·1+(-1) ·1=0, После определения всех весов W имеет вид, а также вычислим энергию каждого образа, принимая во внимание только активные нейроны W= Е1=Е1= Е 1 1 = - ½ [x 1 (w 13 x 3 +w 14 x 4 +w 15 x 5 +w 16 x 6 )]= = -1/2 [(-2·(-1)+2·1+-2·(-1)+2·1)]= -4 Е 4 1 = - ½ [x 4 (w 41 x 1 +w 43 x 3 +w 45 x 5 +w 46 x 6 )]= -4 Е 6 1 = -4, Е 7 1 = -1 Е 1 = -13 Аналогично получаем для второго образа Е 2 = Е 3 2 +Е 5 2 +Е 7 2 = -9

23 Распознавание искаженного вектора начинаем с определения его энергии Е 3 = Е 5 3 +Е 7 3 = -5. Далее по (2) и (3) определяем новые состояния нейронов и соответствующие выходные сигналы, которые с учетом биполярной функции равны s 1 3 =w 31 x 3 3 +w 41 x 4 3 +w 51 x 5 3 +w 61 x 6 3 = (-2)(-1)+2(-1)+(-2)1+2(-1)= -4

24 Нейронная сеть Хемминга ( Hamming Network ) m ВХОД 1 слой 2 слой ВЫХОД mm Обратная связь

25 Сеть должна выбрать пример с min расстоянием Хэмминга к неизвестному входному сигналу. 1. Инициализация сети Весовые коэффициенты 1 слоя и порог активационной функции равны W 1 T = |x 1 * x 2 * x M * | Выходной сигнал этого слоя реализуется как Y = 0.5 (W 1 x+(M M…M )T ), где М – количество хранимых в памяти образов, т.е каждый компонент выходного сигнала Y i = 0.5 [(x i *) T x + M] Пусть Н – число несовпадающих битов двух векторов, тогда преобразуем Y i = 0.5 [(М-2Н+М]= М-Н Весовая матрица второго слоя равна W 2 = где

26 Выходной сигнал всей сети равен y(k)=W 2 y(k-1). 2. Алгоритм функционирования сети Хэмминга 1. На входы сети подается неизвестный вектор X = {x i : i=0...n-1}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя): j=0... m-1 После этого полученными значениями инициализируются значения аксонов второго слоя: y j (2) = y j (1), j = 0...m-1 2. Вычислить новые состояния нейронов второго слоя:

27 и значения их аксонов: Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению. 3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейди к шагу 2. Иначе – конец. Пример. Даны два вектора х 1 * = (1, -1, -1 ) Т, х 2 * = (1, 1, -1) Т. Пусть = 0.3. х1х1 х2х2 х3х3 у1у1 у1у1 W1TW1T W2TW2T 1Тогда матрица будет W 1 = ( )

28 Рассчитаем компоненты выходного сигнала первого слоя при подаче на вход х 1 * с учетом того, что М=2 Y(0) = 0.5 После первой итерации на выходе получаем После второй и т.д. Первый компонент будет увеличиваться. Пусть на вход подан образ х 3 = ( ) Т – искажение х 1.

29 Тогда на выходе первого слоя будет сигнал Y И (0) = 0.5 После первой итерации на выходе сети получаем Расстояние Хэмминга между образом х 3 и образами х 1 * и х 2 * будут равны Н 1 =1 и Н 2 =2