Нейронные сети (НС). Введение в НС. S Y Синапсы Аксон ВЫХОД ВХОДЫ Х1Х1 Х2Х2 ХnХn W1W1 W2W2 WnWn S= Y=F(S) - презентация

1 Нейронные сети (НС). Введение в НС. S Y Синапсы Аксон ВЫХОД ВХОДЫ Х1Х1 Х2Х2 ХnХn W1W1 W2W2 WnWn S= Y=F(S)

2 Виды активационных функций F Названиефункция Область значений линейнаяf(s)= ks (- ) полулинейная f(s)= ks, s > 0 f(s)= 0, s

3 Названиефункция Область значений Модульнаяf(s) = |s| (0, Знаковая (сигнатурная) f(s) = sgn(s), s!=0 f(s) = -1, s = 0 (-1,1) Квадратичнаяf(s) = s 2 (-1,1) Радиально-базисная(-,) Виды активационных функций

4 Классификация нейронных сетей 1 Классификация по топологии 1.1 Полносвязные сети: Каждый нейрон передает свой выходной сигнал всем остальным нейронам в сети, включая самого себя. 1.2 Многослойные или слоистые: Сеть разбивается на слои, где каждый слой содержит совокупность нейронов с едиными входными сигналами. Слои нумеруются слева на право, начиная с

5 Многослойные сети делятся на: Монотонные Сети без обратных связей: Обычная многослойная сеть, с 1-им ограничением, что нейроны q-ого слоя могут передавать сигнал нейронам (q+1)-ого слоя и никакому другому слою Сети с обратными связями:

6 Слоисто циклические: Многослойная сеть у которой выход передает свои сигналы 1-му слою Слоисто-полносвязные: Состоит из слоев, каждый из которых представляет собой полносвязную сеть Полносвязные-слоистые: По своей структуре такие же как и , а функционально, в них не разделяют фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев применяют сигналы от нейронов как своего слоя, так и последующих.

7 1.3 Слабосвязанные сети: 1.3 Слабосвязанные сети: В слабосвязанных сетях нейроны располагаются в узлах прямоугольной форму или гексагональной решетки. Каждый нейрон связан с 4-мя (окрестность фон Неймана), 6-ью (окрестность Голея) или 8-мью (окрестность Мура) своими ближайшими соседями.

8 2 Классификация по типам структур: 2.1 Гомогенные: 2.2 Гетерогенные Нейроны одного типа с единой функцией активации. Нейроны с различными функциями активации. 3 Классификация по типу сигнала: Бинарные - двоичный сигнал Аналоговые. 4 Классификация по типу работы 4.1 Синхронные 4.2 Асинхронные В момент времени t, лишь один Группа нейронов меняет свое состояние. нейрон меняет свое состояние. как правило группа, значит весь слой.

9 Типы задач, решаемые нейронными сетями. -Распознавание зрительных, слуховых образов - Ассоциативный поиск информации и создание ассоциативных моделей: синтез речи и формирование естественного языка; -Формирование моделей и различных нелинейных и трудно описываемых математических систем; - Системы управления и регулирования с предсказанием: управление роботами; -Разнообразные конечные автоматы: системы массового обслуживания, телекоммуникационные системы; - Принятие решений и диагностика, исключающие логический вывод, особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике.

10 Алгоритмы обучения НС делятся на обучение с учителем" "без учителя" Схема обучения НС с учителем Входная обучающая выборка Нейронная сеть Изменение веса Ошибка сети Известные значения Выходной вектор нейронной сети

11 Схема обучения НС без учителя Входная обучающая выборка Нейронная сеть Изменение веса Выходной вектор нейронной сети

12 Парадиг ма Правило обучения АрхитектураАлгоритм обученияРешаемая задача С учителем Коррекция ошибки Однослойный и многослойный перцептрон Алгоритмы обучения перцептрона Обратное распространение Adaline и Madaline Классификация Распознавание образов Аппроксимация функций Прогнозирование Управление БольцманаРекуррентнаяАлгоритм обучения Больцмана Классификация Распознавание образов ХеббаМногослойная прямого распространения Линейный дискриминантный анализ Анализ данных Классификация Распознавание образов Соревновани е Векторное квантование Категоризация в середине класса Сжатие данных Сеть ARTARTMap Классификация Распознавание образов АЛГОРИТМЫ ОБУЧЕНИЯ НС

13 Без учителя Коррекци я ошибки Многослойная прямого распространения Проекция Саммона Категоризация в середине класса Анализ данных Хеббапрямого распространения или соревнование Анализ главных компонентов Анализ данных Сжатие данных Сеть ХопфилдаОбучение ассоциативной памяти Ассоциативная память Соревнов ание Векторное квантование Категоризация Сжатие данных SOM Кохонена Категоризация Анализ данных Сеть ARTART1, ART2Категоризация Смешан ная Коррекци я ошибки и соревнова ние Сеть RBFАлгоритм обучения RBF Классификация Распознавание образов Аппроксимация функций Прогнозирование Управление Парадиг ма Правило обучения Архитектура Алгоритм обучения Решаемая задача

14 Задача классификации. С 1 -класс С М -класс С 2 -класс ……. р1р2р1р2 рNрN р1р2р1р2 рNрN 0

15 Распознавание образов. Пусть темному полю соответствует I ij =1, светлому – I ij =0. Найти – по изображению распознать букву Решение – строится НС N i * N j входами, где каждому входу соответствует x k =I ij, k=1,…,N i *N j. 1 вариант Выходы сети – вероятность принятия данной буквы

16 2 вариант Решение – строится НС N i * N j входами, где каждому входу соответствует x k =I ij, k=1,…,N i *N j. Выход сети – номер m предъявленной буквы I ij m Прогнозирование одномерной функции. Функция задана на [0; t 0 ], где t 0 – текущее значение времени. Необходимо прогнозировать значение функции при t>t0.

17 Считаем известными Будем прогнозировать значение функции в момент времени (t ) для 0 >0. Как спрогнозировать несколько значений функции в разных точках? Возьмем i = = const, i=0,…,n+1. Нейронная сеть f(t )=y Х

18 . Произведем сдвиг входных и выходного векторов Нейронная сеть f(t )=y Х Аппроксимация многомерной функции Y = f(x) Рассматривается функция Нейронная сеть y Х

19 Литература 1. Навчальний посібник Інтелектуальний аналіз даних/ Лєсна Н.С., Рєпка В.Б., Шатовська Т.Б. Харків: ХНУРЕ, с. 2. А. Горбань, Д. Россиев Нейронные сети на персональном компьютере. – Новосибирск: Наука, 1996 – 276 c. 3. А.Н.Горбань Обучение нейронных сетей, М.: СП ПараГраф, А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кардин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования – Новосибирск: Наука, Keun-Rong Hsieh, Wen-Tsuen Chen A Neural Network Model which Combines Unsupervised and Supervised Learning// IEEE Trans. on Neural Networks. – – Vol.4, Горбань А.Н. Обучение нейронной сети. – М.: Изд-во СССР – США СП "Paragraph", – 160 с. 7. Ф. Уоссерман Нейрокомпьютерная техника. – М. Мир, Нейронные сети. STATISTICA Neural Networks: Пер. с англ. – М.: Горячая линия – Телеком, – 182 с. 9. М.Б. Беркенблит. Нейронные сети. –М.: Мирос и ВЗМШ РАО, Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. – Харьков: ТЕЛЕТЕХ, – 317 с. 11. Kohonen, Т. Self-Organizing Maps, Second Edition, Berlin: Springer- Verlag, 1997.