10.1.3 Вероятностная НС (Probability neural network) X 1 X n... Y 1 Y m Входной слой Скрытый слой (Радиальный) Выходной слой... - презентация

1 Вероятностная НС (Probability neural network) X 1 X n... Y 1 Y m Входной слой Скрытый слой (Радиальный) Выходной слой...

2 Для входного слоя используется акредитация для нормализации значений по формуле где x – входное значение из выборки; x – значение,которое приходит к входу НС; x min, x max – минимальное и максимальное значения данного параметра в обучающей виборке. Функция активации радиального слоя Функция активации выходного слоя Алгоритм работы

3 Каждый обучаемый пример ассоциируется з выходным нейроном того класса, к которому принадлежит этот пример S= i=1 Nk exp [( x T w ki -1) / 2 ] > i=1 Nj exp [( x T w kj -1) / 2 ]. Номер нейрона с максимальным значением S – номер класса

4 Сеть радиальных базисных функций (РБФ) ( Radial Basis Function Network ) X 1 X n... Y 1 Y m Входной слой Нейроны примеры слой радиальный Выходной слой...

5 наличие центра, представленного в виде вектора в входном пространстве; наличие способа измерения расстояния от центра до входного вектора. (расстояние Евклида) наличие специальной функции прохождения от одного аргумента, которая определяет выходной сигнал нейрона путем отображения функции расстояния (обычно функция Гаусса). Условия для радиально-симметричности шаблонного слоя Нейрони выходного слоя сети РБФ имеют линейные активационные функции Y=KX, где K=const

6 Алгоритм работы РБФ Нейроны-примеры функционируют так где y k (x) – k-й выход; Х – входной вектор; w ki – вес от i-го радиального нейрона к k-му выходному нейрону; c i – центроид i-го радиального нейрона; i – параметр сглаживания i-го радиального нейрона; M – количество радиальных нейронов; – функция Гаусса с i.

7 Обобщенно-регрессионная нейронная сеть (General Regression Neural Network - GRNN) x слой

8 Выход сети формируется как взвешенное среднее выходов по всем обучающим наблюдениям: где x i – обучающий входной вектор для класса i (дискретные или непрерывные значения); y i – выход, связанный с x i (дискретные или неперерывные значения); – параметр сглаживания, который выбирается в течении обучения сети; n – количество обучающих пар.

9 Преобразование сети GRNN к виду с многомерным выходным вектором Учитывая набор тестовых типовых векторов общая оценка ошибки наименьших квадратов (MSE) равна

10 Различные методы обучения НС Детерминистский метод обучения шаг за шагом осуществляет процедуру коррекции весов сети, основанную на использовании их текущих значений, а также величин входов, фактических выходов и желаемых выходов. Обучение персептрона является примером подобного детерминистского подхода Стохастические методы обучения выполняют псевдослучайные изменения величин весов, сохраняя те изменения, которые ведут к улучшениям.

11 Выбрать вес случайным образом и подкорректировать его на небольшое случайное число. Предъявить множество входов и вычислить получающиеся выходы. Сравнить эти выходы с желаемыми выходами и вычислить величину разности между ними для каждого элемента обучаемой пары, возведение разностей в квадрат и нахождение суммы этих квадратов. Целью обучения является минимизация этой разности, часто называемой целевой функцией. Выбрать вес случайным образом и подкорректировать его на небольшое случайное значение. Если коррекция помогает (уменьшает целевую функцию), то сохранить ее, в противном случае вернуться к первоначальному значению веса. Повторять шаги с 1 до 3 до тех пор, пока сеть не будет обучена в достаточной степени. Стохастический алгоритм обучения НС

12 Больцмановское обучение 1.Определить переменную Т, представляющую искусственную температуру. Придать Т большое начальное значение. 2.Предъявить сети множество входов и вычислить выходы и целевую функцию. 3.Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса. 4.Если целевая функция уменьшилась (улучшилась), то сохранить изменение веса. Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана: P(c) = exp(–c/kT) где Р(с) – вероятность изменения с в целевой функции; k – константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи; Т – искусственная температура.

13 - Далее выбираем случайное число r из равномерного распределения от нуля до единицы. Если Р(с) больше, чем r, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению. - Шаги 3 и 4 повторяются для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимо низкое значение целевой функции. Величина случайного изменения веса на шаге 3 P(w) = exp(–w2/T2) где P(w) – вероятность изменения веса на величину w, Т – искусственная температура. -Найти кумулятивную вероятность, соответствующую P(w). Это есть интеграл от P(w) в пределах от 0 до w. - Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения P(w}, найти в таблице соответствующее значение для величины изменения веса.

14 Обучение Коши Распределение Коши имеет вид где Р(х) есть вероятность шага величины х. В уравнении Р(х) может быть проинтегрирована стандартными методами. Решая относительно х, получаем x c = r T(t) tg(P(x)), где r – коэффициент скорости обучения; х c – изменение веса. Для нахождения х выбирается случайное число из равномерного распределения на открытом интервале (– /2, /2).

15 Комбинирование метода обратного распространения ошибки с обучением Коши Коррекция весов, состоит из двух компонент: (1)направленной компоненты, вычисляемой с использованием алгоритма обратного распространения, (2)случайной компоненты, определяемой распределением Коши. w mn,k (n+1) = w mn,k (n) + С [a С w mn,k (n) + (1 – a ) С n,k Y m,j ] + (1 – С) x с, Коррекция весов задается