1 Технология и применение искусственных нейронных сетей Тема 1 Доц. Т.Б. Шатовская Факультет компьютерных наук, Кафедра ПОЭВМ, ХНУРЭ ХНУРЭ, факультет КН, - презентация

1 1 Технология и применение искусственных нейронных сетей Тема 1 Доц. Т.Б. Шатовская Факультет компьютерных наук, Кафедра ПОЭВМ, ХНУРЭ ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Основные положения теории искусственных нейронных сетей

2 2 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Основные положения теории искусственных нейронных сетей 5,01,04 Лекция 1 Цель лекции – изучение принципа применения нейронных сетей для различного рода практических задач: классификации, моделирования, распознавания образов и т.д. Содержание: Классификация искусственных нейронных сетей и их свойства. Формализация задач, решаемых с помощью ИНС. Состояние и перспективы развития программных средств нейросетевого моделирования Классификация искусственных нейронных сетей и их свойства

3 3 Предлагают стандартные способы решения многих нестандартных задач. Явное описание модели заменяется созданием «образовательной среды». Приводят к успеху там, где отказывают традиционные методы и трудно создать явный алгоритм: анализ данных со сложной нелинейной структурой зависимостей; задачи распознавания и классификации; нелинейное понижение размерности. Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Преимущества нейронных сетей

4 4 Области применения Распознавание образов Оценка кредитного риска Прогнозирование финансовых потоков и объемов продаж Маркетинговые исследования Медицинская диагностика Автоматизированные системы управления Добыча данных Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04

5 5 Основная русскоязычная литература

6 6 Пример применения: прогнозирование цен на нефть Временной ряд имеет значительную хаотическую составляющую, что не позволяет выделить характерные частоты Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04

7 7 Пример применения: результаты прогнозирования Построен прогноз на 30 дней вперед по 90 предыдущим наблюдениям Максимальная ошибка прогноза - менее 5 %. Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04

8 8 Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Классификация искусственных нейронных сетей

9 9 S Y Синапсы Аксон Выход Входы Х1Х1 Х2Х2 ХnХn W1W1 W2W2 WnWn S= Y=F(S) Структура и параметры нейрона

10 10 Виды активационных функций F Названиефункция Область значений линейнаяf(s)= ks (- ) полулинейная f(s)= ks, s > 0 f(s)= 0, s

11 11 Названиефункция Область значений Модульнаяf(s) = |s| (0, Знаковая (сигнатурная) f(s) = sgn(s), s!=0 f(s) = -1, s = 0 (-1,1) Квадратичнаяf(s) = s 2 (-1,1) Радиально-базисная(-,) Виды активационных функций

12 12 Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 1. Классификация по топологии 1.1 Полносвязные сети. Каждый нейрон передает свой выходной сигнал всем остальным нейронам в сети, включая самого себя 1.2 Многослойные или слоистые. Сеть разбивается на слои, где каждый слой содержит совокупность нейронов с едиными входными сигналами. Слои нумеруются слева направо. Различают: Монотонные сети; Сети без обратных связей; Сети с обратными связями; Слоисто-циклические; Слоисто- полносвязные; Полносвязные-слоистые сети

13 Слабосвязанные сети В слабосвязанных сетях нейроны располагаются в узлах прямоугольной форму или гексагональной решетки. Каждый нейрон связан с 4-мя (окрестность фон Неймана), 6-ью (окрестность Голея) или 8-мью (окрестность Мура) своими ближайшими соседям Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04

14 14 2. Классификация по типам структур Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01, Гомогенные: Нейроны одного типа с единой функцией активации 2.2. Гетерогенные: Нейроны с различными функциями активации 3. Классификация по типу сигнала 3.1. Бинарные : двоичный сигнал 3.2. Аналоговые 4. Классификация по типу работы 4.1. Синхронные: В момент времени t, лишь один нейрон меняет свое состояние 4.2. Асинхронные: Группа нейронов меняет свое состояние.

15 15 Пример работы слоистой сети

16 16 делятся на обучение с учителем" обучение "без учителя" Входная обучающая выборка Нейронная сеть Изменение веса Ошибка сети Известные значения Выходной вектор нейронной сети Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Входная обучающая выборка Нейронная сеть Изменение веса Выходной вектор нейронной сети Алгоритмы обучения НС

17 17 Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01, Типы и формализация задач, решаемых НС Распознавание зрительных, слуховых образов; Ассоциативный поиск информации и создание ассоциативных моделей: синтез речи и формирование естественного языка; Формирование моделей и различных нелинейных и трудно описываемых математических систем; Системы управления и регулирования с предсказанием: управление роботами; Разнообразные конечные автоматы: системы массового обслуживания, телекоммуникационные системы; Принятие решений и диагностика, исключающие логический вывод, особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике.

18 18 С 1 -класс С М -класс С 2 -класс ……. р1р2р1р2 рNрN р1р2р1р2 рNрN 0

19 19 Пусть темному полю соответствует I ij =1, светлому – I ij =0. Найти – по изображению распознать букву Решение – строится НС с N i * N j входами, где каждому входу соответствует x k =I ij, k=1,…,N i *N j 1 вариант Выходы сети – вероятность принятия данной буквы Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Постановка задачи распознавания образов

20 20 2 вариант Решение – строится НС с N i * N j входами, где каждому входу соответствует x k =I ij, k=1,…,N i *N j. Выход сети – номер m предъявленной буквы I ij m Функция задана на [0; t 0 ], где t 0 – текущее значение времени. Необходимо прогнозировать значение функции при t>t0 Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Прогнозирование одномерной функции

21 21 Считаем известными Будем прогнозировать значение функции в момент времени (t ) для 0 >0. Как спрогнозировать несколько значений функции в разных точках? Возьмем i = = const, i=0,…,n+1. Нейронная сеть f(t )=y Х Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04

22 22. Произведем сдвиг входных и выходного векторов Нейронная сеть f(t )=y Х Y = f(x) Рассматривается функция Нейронная сеть y Х Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Аппроксимация многомерной функции

23 23 Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 1.Различают нейронные сети по топологии, по алгоритмам обучения, по виду входной и выходной информации. 2.Применение конкретной топологии НС полностью определяется типом решаемой задачи. 3.Типы связей, допустимых между элементами сети, зависят от конкретной модели сети. 4.НС может обучаться выполнению определенной задачи и обычно в привычном смысле не программируется. Обучение заключается в изменении значений весовых коэффициентов. В ходе обучения величина, на которую должен измениться весовой коэффициент, вычисляется с помощью соответствующего правила. Выводы

24 24 1. Навчальний посібник Інтелектуальний аналіз даних/ Лєсна Н.С., Рєпка В.Б., Шатовська Т.Б. Харків: ХНУРЕ, с. 2. А. Горбань, Д. Россиев Нейронные сети на персональном компьютере. – Новосибирск: Наука, 1996 – 276 c. 3. А.Н.Горбань Обучение нейронных сетей, М.: СП ПараГраф, А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кардин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования – Новосибирск: Наука, Keun-Rong Hsieh, Wen-Tsuen Chen A Neural Network Model which Combines Unsupervised and Supervised Learning// IEEE Trans. on Neural Networks. – – Vol.4, Горбань А.Н. Обучение нейронной сети. – М.: Изд-во СССР – США СП "Paragraph", – 160 с. 7. Ф. Уоссерман Нейрокомпьютерная техника. – М. Мир, Нейронные сети. STATISTICA Neural Networks: Пер. с англ. – М.: Горячая линия – Телеком, – 182 с. 9. М.Б. Беркенблит. Нейронные сети. –М.: Мирос и ВЗМШ РАО, Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. – Харьков: ТЕЛЕТЕХ, – 317 с. Нейросетевое представление неизвестных знаний и закономерностей ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 5,01,04 Литература