Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии Искусственного Интеллекта Тема 1.4 Основы теории ИНС. Часть 2. Реализация модели ассоциативной памяти На основе НС «Звезда Гроссберга» Санкт-Петербург, 2007

Авто – ассоциативная память Восстановление целого образа по его искаженной версии или фрагменту. Увидев фрагмент, Вспоминаем целый образ, которому фрагмент принадлежит

4. Звезда Гроссберга. Реализация авто-ассоциативной памяти Обучим, в соответствии с правилом Хэбба, две нейронные сети типа «Звезда Гроссберга», идентичными векторами: I – {1;0.5;0;0.5;0.8;0.3} и II – {1;0.5;0;0.5;0.8;0.3}

4. Звезда Гроссберга. Реализация авто-ассоциативной памяти Теперь, соединим обученные сети следующим образом: соединим выходы первой и второй сети, так, чтобы они стали зеркальными отображениями друг друга, как показано на рисунке.

4. Звезда Гроссберга. Реализация авто-ассоциативной памяти Если на вход такой НС из двух «Звезд Гроссберга» поступает вектор - искаженный вариант эталона, например, {0.9;0.5;0;0.7;0.8;0.3}, и порог выходного нейрона позволяет распознать этот вектор, то возбуждение выходного нейрона первой НС передается на выходной нейрон второй НС, которая, работая в «обратном направлении», восстановит эталонный вектор, на выходе всей структуры НС.

4. Звезда Гроссберга. Реализация авто-ассоциативной памяти Если на вход поступает вектор, совершенно не похожий на эталонный, например {0;0.3;1;0;0.5;1}, и первый выходной нейрон не возбуждается (сеть не узнала вектор). То, дальнейшего распространения сигнала нет. На выходе «пусто».

Гетеро – ассоциативная память Восстановление по искаженному образу или его фрагменту ассоциированного с ним образа. Увидев фрагмент, Вспоминаем целый образ, которому фрагмент принадлежит А затем вспоминаем образ, ассоциированный с ним! Цепочка ассоциаций может быть продолжена – зачетка, пятерки, повышенная стипендия, … Другой вариант цепочки ассоциаций – зачетка, двойки, отчисление из института … Выбирайте сами.

5. Звезда Гроссберга. Реализация гетеро-ассоциативной памяти Обучим, в соответствии с правилом Хэбба, две нейронных сети, эталонным вектором и ассоциированным с ним вектором : I – {1;0.5;0;0.5;0.8;0.3} и II – {0;1;0.5;0.3;1;0.8} Вектора разные!

5. Звезда Гроссберга. Реализация гетеро-ассоциативной памяти Теперь, соединим обученные сети аналогично тому, как делали это при конструировании авто-ассоциативной памяти, а именно: соединим выходы первой и второй сети, как показано на рисунке.

5. Звезда Гроссберга. Реализация гетеро-ассоциативной памяти Если на вход такой НС поступает искаженная версия вектора-эталона, которому обучена первая звезда, {0.9;0.5;0;0.7;0.8;0.3}, и порог выходного нейрона позволяет распознать этот вектор, то Возбуждение выходного нейрона первой НС передается на входной нейрон второй НС, которая, работая в «обратном направлении», восстановит на выходе вектор,ассоциированный (связанный) с эталоном.

5. Звезда Гроссберга. Реализация гетеро-ассоциативной памяти Решение задачи памяти Если на вход поступает вектор, совершенно не похожий на эталонный, например {0;0.3;1;0;0.5;1}, то выходной нейрон первой звезды не возбуждается (сеть не узнала вектор), то Вторая звезда остается не активированной – на ее вход ничего не поступает