Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 5. Алгоритмы обучения искусственных нейронных сетей 1

Нейронные искусственные сети, успешно применяемые для решения задач классификации, прогнозирования и управления, обеспечивают предельное распараллеливание алгоритмов, соответствующих нейросетевой технологии обработки данных. 2

Нейрокомпьютеры как новый класс устройств вычислительной техники являются модельным отображением особенностей, присущих процессам переработки информации в живых организмах, таким как самоорганизация, обучение, адаптация. Возможности нейронных сетей, недоступные для традиционной математики, позволяют создавать системы для решения задач управления, распознавания образов, диагностики заболеваний, автоматического анализа документов и многих других приложений. 3

ОДНОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ Нейронная сеть представляет собой совокупность формальных нейронов, связанных определенным образом друг с другом и с внешней средой. Вектор входного сигнала, кодирующий входное воздействие или образ внешней среды, подается на сеть при активации входных нейронных элементов. Веса связей нейронных элементов представляют в виде матрицы W, для которой w ij – вес связи j-го нейрона с i-ым. В процессе функционирования сети входной вектор преобразуется в выходной. 4

ОДНОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ Обучающие правила определяют изменения связей и весов в ответ на входное воздействие. Слоем нейронной сети называется множество нейронных элементов, на которые в каждый такт времени параллельно поступает информация от других нейронных элементов сети. Однослойные сети включают один слой элементов, осуществляющий обработку входной информации 5

Топология однослойной сети 6

Каждый нейрон распределительного слоя имеет синаптические связи со всеми нейронами обрабатывающего слоя. Выходное значение j-го нейрона обрабатывающего слоя сети можно представить как: где – смещение j-го нейронного элемента выходного слоя, w ij – сила связи между j-ым нейроном распределительного слоя и i-ым нейроном обрабатывающего слоя. 7

Нейросетевые модели логических операций Логические операции определяются сетью с двумя нейронами на входе и одним нейроном выходного слоя Взвешенная сумма в этом случае равна:, а выходное значение нейронной сети. 8

Сеть с одним выходным нейроном 9 Такая сеть линейно разделяет входное пространство сигналов на два класса и может быть использована для решения задач классификации образов

Уравнение разделяющей линии имеет вид: или 10

Графическая интерпретация множества решений логических операций ИЛИ, И, «исключающее ИЛИ» 11

Множество решений сети нельзя разделить на два класса для операции «исключающее ИЛИ». Если размерность входного сигнала n=3, то разделяющей поверхностью является плоскость, при n>3 разделяющей поверхностью является гиперплоскость. Обучение сети можно производить путем настройки весовых коэффициентов и смещений, если порог или смещение нейрона изобразить как синаптическую связь с весовым коэффициентом, равным значению 12

Представление смещения в виде синаптической связи 13

Так как входное значение, подаваемое на дополнительный нейрон, равно – 1, то взвешенная сумма определяется как: После такого преобразования и биполярной кодировки двоичных сигналов разделяющими прямыми будут линии: x 1 + x 2 = + 1 для «логического И», x 1 + x 2 = – 1 для «логического ИЛИ» 14

Правила обучения Хебба относятся к ассоциативным обучающим правилам. Согласно правилу Хебба обучение сети происходит в результате усиления силы связи между одновременно активными элементами, его можно определить так: где t – время, x i, y j – соответственно выходные значения i-го и j-го нейронов. В начальный момент предполагается, что w ij (0)=0 для всех i и j. ПРАВИЛА ОБУЧЕНИЯ ХЕББА 15

Пример Требуется реализовать обучение нейронной сети по правилу Хебба с учителем для операции «логическое И», используя биполярную кодировку двоичных сигналов. Общее количество входных образов, подаваемых на нейронную сеть, L=4. Правило Хебба в случае сети с тремя нейронами на входе и одним на выходе реализуется по формулам: Обучение с учителем для «логического И» соответствует данным, приведенным в таблице. 16

Результаты обучения сети по правилу Хебба 17

Правило Хебба Эта таблица формируется по строкам. Считая S 0 (0)=0, начальные,, для четырех входных образов получаем последовательно следующие значения, для первого: 18

для второго для третьего и для четвертого образа

Таким образом, в результате обучения получается уравнение разделяющей линии для операции «логическое И», представленной ранее : или x 2 =1-x 1. 20

Разделяющие линии 21

Исключающее ИЛИ Для решения задачи «исключающего ИЛИ» можно использовать сеть второго порядка, включающую произведение переменных, тогда взвешенная сумма : 22

Правила обучения по Хеббу Правило обучения по Хеббу в общем случае задается формулой: i=1,2,…,L, j=1,2,…,p, где – коэффициент обучения или темп обучения, в нейроимитаторе NNT это правило реализует процедура настройки learnh. Правило Хебба с модификацией весов определяется по формуле: где – коэффициент убывания или возрастания веса. 23

ПРАВИЛА ОБУЧЕНИЯ ПЕРСЕПТРОНА Персептрон – нейронная сеть прямой передачи сигнала с бинарными входами и бинарной пороговой функцией активации. Правило обучения Розенблатта в общем случае является вариантом правил обучения Хебба, формирующих симметричную матрицу связей, и в тех же обозначениях имеет вид: где – коэффициент обучения, 0<