А.В.Павлов ОТИИ Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии Искусственного Интеллекта Тема Самоорганизация и самообучение в ИНС. Сеть Кохонена. Санкт-Петербург, 2007

А.В.Павлов ОТИИ Слой Кохонена Слой рецепторов (входной вектор) Слой Кохонена (классификатор) …… - классифицирует входные векторы в группы подобных В простейшей форме реализуется модель «WTA» («Победитель забирает всё»): вводится латеральное торможение выявляется нейрон-победитель

А.В.Павлов ОТИИ Нормализация - преобразование входного вектора в единичный вектор с тем же самым направлением, т. е. в вектор единичной длины в n- мерном пространстве. 4 3 X Y 3/5 4/5

А.В.Павлов ОТИИ Это представимо в двумерном пространстве векторами, оканчивающимися на окружности единичного радиуса, когда у сети лишь два входа: В случае трех входов векторы представлялись бы стрелками, оканчивающимися на поверхности единичной сферы. Сети, имеющие произвольное число входов, где каждый входной вектор является стрелкой, будут оканчиваться на поверхности единичной гиперсферы

А.В.Павлов ОТИИ Инициализация - придание векторам весов W ij случайных малых значений W1W1 W2W2 W4W4 W3W3 1 1

А.В.Павлов ОТИИ Работа сети: Предъявляется входной вектор W1W1 W4W4 W3W3 1 1 Вводится метрика ( например, скалярное произведение) и вычисляются расстояния до векторов весов, связанными со всеми нейронами Кохонена Х1Х1 САМООБУЧЕНИЕ: Нейрон с максимальным значением скалярного произведения объявляется победителем и его веса подстраиваются по формуле: Переменная h является коэффициентом скорости обучения, который вначале обычно равен ~ 0,7 и может постепенно уменьшаться в процессе обучения. Это позволяет делать большие начальные шаги для быстрого грубого обучения и меньшие шаги при подходе к окончательной величине.

А.В.Павлов ОТИИ Проблема: Как распределить начальные значения весовых векторов в соответствии с плотностью входных векторов, которые должны быть разделены? Помещение большего количества весовых векторов в окрестности большого числа входных векторов. Решение: На практике это невыполнимо, однако, существует несколько методов приближенного достижения тех же целей:

А.В.Павлов ОТИИ Метод выпуклой комбинации () Метод выпуклой комбинации ( convex combination method ) Все веса приравниваются: где n – число входов (число компонент каждого весового вектора) Каждой компоненте входа Х придается значение: где n – число входов

А.В.Павлов ОТИИ Другие методы: Добавление шума к входным векторам; Наделение каждого нейрона Кохонена «Чувством справедливости»; Метод аккредитации; Метод интерполяции. На начальной стадии подстраиваются все веса, а затем коррекция весов производится только для нейронов, ближайших к победителю. Если какой-либо нейрон становится победителем слишком часто (чаще, чем 1/k, где k – число нейронов Кохонена), то он временно увеличивает свой порог, давая тем самым возможность обучаться и другим нейронам. Для каждого входного вектора активируется лишь один нейрон- победитель. Возбуждение не одного, а группы нейронов с максимальным уровнем активации (Модификация идеи WTA).

А.В.Павлов ОТИИ Выводы: Во многих приложениях точность результата существенно зависит от распределения весов. К сожалению, эффективность различных решений исчерпывающим образом не оценена и остается проблемной.