А.В.Павлов ОТИИ Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов. - презентация

1 А.В.Павлов ОТИИ Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии Искусственного Интеллекта Тема Самоорганизация и самообучение в ИНС. Сеть Кохонена. Санкт-Петербург, 2007

2 А.В.Павлов ОТИИ Слой Кохонена Слой рецепторов (входной вектор) Слой Кохонена (классификатор) …… - классифицирует входные векторы в группы подобных В простейшей форме реализуется модель «WTA» («Победитель забирает всё»): вводится латеральное торможение выявляется нейрон-победитель

3 А.В.Павлов ОТИИ Нормализация - преобразование входного вектора в единичный вектор с тем же самым направлением, т. е. в вектор единичной длины в n- мерном пространстве. 4 3 X Y 3/5 4/5

4 А.В.Павлов ОТИИ Это представимо в двумерном пространстве векторами, оканчивающимися на окружности единичного радиуса, когда у сети лишь два входа: В случае трех входов векторы представлялись бы стрелками, оканчивающимися на поверхности единичной сферы. Сети, имеющие произвольное число входов, где каждый входной вектор является стрелкой, будут оканчиваться на поверхности единичной гиперсферы

5 А.В.Павлов ОТИИ Инициализация - придание векторам весов W ij случайных малых значений W1W1 W2W2 W4W4 W3W3 1 1

6 А.В.Павлов ОТИИ Работа сети: Предъявляется входной вектор W1W1 W4W4 W3W3 1 1 Вводится метрика ( например, скалярное произведение) и вычисляются расстояния до векторов весов, связанными со всеми нейронами Кохонена Х1Х1 САМООБУЧЕНИЕ: Нейрон с максимальным значением скалярного произведения объявляется победителем и его веса подстраиваются по формуле: Переменная h является коэффициентом скорости обучения, который вначале обычно равен ~ 0,7 и может постепенно уменьшаться в процессе обучения. Это позволяет делать большие начальные шаги для быстрого грубого обучения и меньшие шаги при подходе к окончательной величине.

7 А.В.Павлов ОТИИ Проблема: Как распределить начальные значения весовых векторов в соответствии с плотностью входных векторов, которые должны быть разделены? Помещение большего количества весовых векторов в окрестности большого числа входных векторов. Решение: На практике это невыполнимо, однако, существует несколько методов приближенного достижения тех же целей:

8 А.В.Павлов ОТИИ Метод выпуклой комбинации () Метод выпуклой комбинации ( convex combination method ) Все веса приравниваются: где n – число входов (число компонент каждого весового вектора) Каждой компоненте входа Х придается значение: где n – число входов

9 А.В.Павлов ОТИИ Другие методы: Добавление шума к входным векторам; Наделение каждого нейрона Кохонена «Чувством справедливости»; Метод аккредитации; Метод интерполяции. На начальной стадии подстраиваются все веса, а затем коррекция весов производится только для нейронов, ближайших к победителю. Если какой-либо нейрон становится победителем слишком часто (чаще, чем 1/k, где k – число нейронов Кохонена), то он временно увеличивает свой порог, давая тем самым возможность обучаться и другим нейронам. Для каждого входного вектора активируется лишь один нейрон- победитель. Возбуждение не одного, а группы нейронов с максимальным уровнем активации (Модификация идеи WTA).

10 А.В.Павлов ОТИИ Выводы: Во многих приложениях точность результата существенно зависит от распределения весов. К сожалению, эффективность различных решений исчерпывающим образом не оценена и остается проблемной.