Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 5. Алгоритмы обучения искусственных. - презентация

1 Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 5. Алгоритмы обучения искусственных нейронных сетей 1

2 Нейронные искусственные сети, успешно применяемые для решения задач классификации, прогнозирования и управления, обеспечивают предельное распараллеливание алгоритмов, соответствующих нейросетевой технологии обработки данных. 2

3 Нейрокомпьютеры как новый класс устройств вычислительной техники являются модельным отображением особенностей, присущих процессам переработки информации в живых организмах, таким как самоорганизация, обучение, адаптация. Возможности нейронных сетей, недоступные для традиционной математики, позволяют создавать системы для решения задач управления, распознавания образов, диагностики заболеваний, автоматического анализа документов и многих других приложений. 3

4 ОДНОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ Нейронная сеть представляет собой совокупность формальных нейронов, связанных определенным образом друг с другом и с внешней средой. Вектор входного сигнала, кодирующий входное воздействие или образ внешней среды, подается на сеть при активации входных нейронных элементов. Веса связей нейронных элементов представляют в виде матрицы W, для которой w ij – вес связи j-го нейрона с i-ым. В процессе функционирования сети входной вектор преобразуется в выходной. 4

5 ОДНОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ Обучающие правила определяют изменения связей и весов в ответ на входное воздействие. Слоем нейронной сети называется множество нейронных элементов, на которые в каждый такт времени параллельно поступает информация от других нейронных элементов сети. Однослойные сети включают один слой элементов, осуществляющий обработку входной информации 5

6 Топология однослойной сети 6

7 Каждый нейрон распределительного слоя имеет синаптические связи со всеми нейронами обрабатывающего слоя. Выходное значение j-го нейрона обрабатывающего слоя сети можно представить как: где – смещение j-го нейронного элемента выходного слоя, w ij – сила связи между j-ым нейроном распределительного слоя и i-ым нейроном обрабатывающего слоя. 7

8 Нейросетевые модели логических операций Логические операции определяются сетью с двумя нейронами на входе и одним нейроном выходного слоя Взвешенная сумма в этом случае равна:, а выходное значение нейронной сети. 8

9 Сеть с одним выходным нейроном 9 Такая сеть линейно разделяет входное пространство сигналов на два класса и может быть использована для решения задач классификации образов

10 Уравнение разделяющей линии имеет вид: или 10

11 Графическая интерпретация множества решений логических операций ИЛИ, И, «исключающее ИЛИ» 11

12 Множество решений сети нельзя разделить на два класса для операции «исключающее ИЛИ». Если размерность входного сигнала n=3, то разделяющей поверхностью является плоскость, при n>3 разделяющей поверхностью является гиперплоскость. Обучение сети можно производить путем настройки весовых коэффициентов и смещений, если порог или смещение нейрона изобразить как синаптическую связь с весовым коэффициентом, равным значению 12

13 Представление смещения в виде синаптической связи 13

14 Так как входное значение, подаваемое на дополнительный нейрон, равно – 1, то взвешенная сумма определяется как: После такого преобразования и биполярной кодировки двоичных сигналов разделяющими прямыми будут линии: x 1 + x 2 = + 1 для «логического И», x 1 + x 2 = – 1 для «логического ИЛИ» 14

15 Правила обучения Хебба относятся к ассоциативным обучающим правилам. Согласно правилу Хебба обучение сети происходит в результате усиления силы связи между одновременно активными элементами, его можно определить так: где t – время, x i, y j – соответственно выходные значения i-го и j-го нейронов. В начальный момент предполагается, что w ij (0)=0 для всех i и j. ПРАВИЛА ОБУЧЕНИЯ ХЕББА 15

16 Пример Требуется реализовать обучение нейронной сети по правилу Хебба с учителем для операции «логическое И», используя биполярную кодировку двоичных сигналов. Общее количество входных образов, подаваемых на нейронную сеть, L=4. Правило Хебба в случае сети с тремя нейронами на входе и одним на выходе реализуется по формулам: Обучение с учителем для «логического И» соответствует данным, приведенным в таблице. 16

17 Результаты обучения сети по правилу Хебба 17

18 Правило Хебба Эта таблица формируется по строкам. Считая S 0 (0)=0, начальные,, для четырех входных образов получаем последовательно следующие значения, для первого: 18

19 для второго для третьего и для четвертого образа

20 Таким образом, в результате обучения получается уравнение разделяющей линии для операции «логическое И», представленной ранее : или x 2 =1-x 1. 20

21 Разделяющие линии 21

22 Исключающее ИЛИ Для решения задачи «исключающего ИЛИ» можно использовать сеть второго порядка, включающую произведение переменных, тогда взвешенная сумма : 22

23 Правила обучения по Хеббу Правило обучения по Хеббу в общем случае задается формулой: i=1,2,…,L, j=1,2,…,p, где – коэффициент обучения или темп обучения, в нейроимитаторе NNT это правило реализует процедура настройки learnh. Правило Хебба с модификацией весов определяется по формуле: где – коэффициент убывания или возрастания веса. 23

24 ПРАВИЛА ОБУЧЕНИЯ ПЕРСЕПТРОНА Персептрон – нейронная сеть прямой передачи сигнала с бинарными входами и бинарной пороговой функцией активации. Правило обучения Розенблатта в общем случае является вариантом правил обучения Хебба, формирующих симметричную матрицу связей, и в тех же обозначениях имеет вид: где – коэффициент обучения, 0<