10. 3 Повносвязные нейронные сети со смешанным обучением 10.3.1 Нейронная сеть Хопфилда ( Hopfield Net) - презентация

1 10. 3 Повносвязные нейронные сети со смешанным обучением Нейронная сеть Хопфилда ( Hopfield Net)

2 Входной сигнал - вектор X={x i : i=1,...,n}, n – число нейронов в сети и розмерность входных и выходных векторов. Каждый элемент x i равен +1, или -1. Вектор k-го примера - X k, а его компоненты - x i k, k=1,...,m, m – число примеров. Если образ распознан выход сети равен Y=Xk, где Y – вектор выходных значений сети: Y={y i, i=1,...,n}. Инициализация сети ВЕСА СЕТИ где i и j – индексы соответственно предсинаптического и постсинаптического нейронов; x i k, x j k – i-ий та j-ый элементы вектора k-го примера.

3 Алгоритм функционирования сети (p – номер итерации). Шаг 1. На входы сети подается неизвестный сигнал. Фактически его введение осуществляется непосредственно установкой значений аксонов: y i (0) = x i, i =1,...,n, Шаг 2. Расчитывается новое состояние нейронов: и новые значения аксонов где f – активационная функция единичного прыжка Шаг 3. Проверка изменились ли выходные значения аксонов за последнюю итерацию. Если да – переход нашаг 2, в противоположном случае – конец.

4 Нейронная сеть Хемминга ( Hamming Network ) m ВХОД 1 слой 2 слой ВЫХОД mm Обратная связь

5 Расстоянием Хэмминга называется число отличных битов в двух бинарных векторах. Сеть должна выбрать пример с min расстоянием Хэмминга к неизвестному входному сигналу. Инициализация сети Весовые коэффициенты 1 слоя и порог активационной функции равны i=1,...,n-1, k=1,...,m-1 T k = n / 2, k=1,...,m-1, где x i k – i-ый элемент k-го примера. Весовые коэффициенты тормозящих синапсов во 2 слое - 0 < < 1/m. Синапс нейрона, связанный с его ж аксоном, имеет вес +1.

6 Алгоритм функционирования сети Хэмминга 1. На входы сети подается неизвестный вектор X = {x i : i=0...n-1}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя): j=0... m-1 После этого полученными значениями инициализируются значения аксонов второго слоя: y j (2) = y j (1), j = 0...m-1 2. Вычислить новые состояния нейронов второго слоя:

7 и значения их аксонов: Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению. 3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейди к шагу 2. Иначе – конец.