Нейронные сети. Лекция 2 базовая искусственная модель; применение нейронных сетей; сбор данных для нейронной сети; пре/пост процессирование; многослойный. - презентация

1 Нейронные сети. Лекция 2 базовая искусственная модель; применение нейронных сетей; сбор данных для нейронной сети; пре/пост процессирование; многослойный персептрон; радиальная базисная функция; линейная сеть; сеть Кохонена; *примеры.

2 Базовая искусственная модель Нейронную сеть можно представить себе в виде черного ящика, у которого имеется n входов и m выходов. Кроме этого, имеется набор (матрица) весовых коэффициентов, общее количество которых равно произведению n на m. Элементы, обозначенные цифрами от 1 до m представляют собой слой нейронов. Первый слой сети, на который подаются входные сигналы X1…Xn, играет роль распределительного слоя нейронной сети имеет связи со всем нейронами следующего слоя, называемого обрабатывающим слоем. Ключевой вопрос – наличие обратной связи. Простейшая сеть имеет структуру прямой передачи сигнала: сигналы проходят от входов через скрытые элементы и в конце концов приходят на выходные элементы. Такая структура имеет устойчивое поведение. Если же сеть рекуррентная (т.е. содержит связи, ведущие назад от более дальних к более ближним нейронам), то она может быть неустойчива и иметь очень сложную динамику поведения.

3 Базовая искусственная модель Активационная функция ФормулаВид Единичного скачка Линейного порога Линейная Гиперболическ ий тангенс Логистическая Гаусса Алгоритм 1.получить входные значения; 2.вычислить значение активации (взвешенная сумма входа – пороговое значение); 3.преобразовать значение активации с помощью функции активации;

4 Применение нейронных сетей Примеры задач, решаемых с помощью нейронных сетей Прогнозирование на фондовом рынке. Прогнозирование на фондовом рынке. Зная цены акций за последнюю неделю и сегодняшнее значение индекса FTSE, спрогнозировать завтрашнюю цену акций. Предоставление кредита. Предоставление кредита. Требуется определить, высок ли риск предоставления кредита частному лицу, обратившемуся с такой просьбой. В результате разговора с ним известен его доход, предыдущая кредитная история и т.д. Управление. Управление. Нужно определить что должен делать робот (повернуться направо или налево, двигаться вперед и т.д.), чтобы достичь цели; известно изображение, которое передает установленная на роботе видеокамера. Особенности применения нейронных сетей для решения задач сеть можно применять в ситуации, когда у Вас имеется определенная известная информация, и Вы хотите из нее получить некоторую пока неизвестную информацию; Вы должны знать (или хотя бы иметь серьезные подозрения), что между известными входными значениями и неизвестными выходами имеется связь.

5 Процесс обучения нейронной сети

6 Алгоритмы обучения нейронной сети Обучение с учителем 1.Подготавливается набор обучающих данных. Эти данные представляют собой примеры входных данных и соответствующих им выходов. Сеть учится устанавливать связь между первыми и вторыми; 2.Нейронная сеть обучается с помощью того или иного алгоритма управляемого обучения, при котором имеющиеся данные используются для корректировки весов и пороговых значений сети таким образом, чтобы минимизировать ошибку прогноза на обучающем множестве. Обучение без учителя 1.Обучающие данные содержат только значения входных переменных. 2.Сеть учится распознавать внутреннюю структуру данных.

7 Сбор данных для нейронной сети Требования к обучающему множеству: Множество не должно содержать всплесков – элементы, свойства которых отличаются от ожидаемых значений; Элементы множества должны быть репрезентативны; Обучающая выборка должна быть в несколько раз больше общего количества весовых связей в сети; Частные требования*.

8 Сбор данных для нейронной сети Основные вопросы: Какие свойства и признаки объекта исследования брать в качестве входных значений? Проводить ли перевод из одной шкалы в другую? Проводить ли нормировку (масштабирование) значений? Сколько наблюдений необходимо иметь для обучения сети? Что делать с недостоверными данными (шумы, аномалии, пропуски)?

9 Сбор данных для нейронной сети Выводы: Выбирайте такие переменные, которые, как Вы предполагаете, влияют на результат. С числовыми и номинальными переменными можно работать непосредственно*. Переменные других типов следует преобразовать в указанные типы или объявить незначащими. Чем больше в задаче переменных, тем больше нужно иметь наблюдений. В случае необходимости можно работать с наблюдениями, содержащими пропущенные значения. Если возможно, удалите выбросы. Если данных достаточное количество, уберите из рассмотрения наблюдения с пропущенными значениями.

10 Пре/пост процессирование Функция активации для каждого элемента сети обычно выбирается таким образом, чтобы ее входной аргумент мог принимать произвольные значения, а выходные лежали бы в строго ограниченном диапазоне значений ("сплющивание"). При этом, возникает эффект насыщения, когда элемент оказывается чувствительным лишь к входным значениям, лежащим в некоторой ограниченной области. На рисунке выходное значение всегда будет лежать в интервале (0,1), а область чувствительности для входов чуть шире интервала (-1,+1). Данная функция является гладкой, а ее производная легко вычисляется - это обстоятельство весьма существенно для работы алгоритма обучения сети.

11 Пре/пост процессирование Масштабирование Числовые значения должны быть приведены в масштаб, подходящий для сети. Обычно исходные данные масштабируются по линейной шкале*. Номинальные переменные Номинальная переменная числовая переменная (Пол = {Муж, Жен} Муж = 0, Жен = 1) Кодирование 1-из-N: (Животное = {Собака, Овца, Кошка} Собака = {1,0,0}, Овца = {0,1,0}, Кошка = {0,0,1})

12 Линейная сеть Линейная модель сети – это сеть без промежуточных слоев, которая в выходном слое содержит только линейные элементы. Во время работы сеть фактически умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения (вектор пороговых значений). Линейная сеть является хорошей точкой отсчета для оценки качества построенных Вами нейронных сетей. Может оказаться так, что задачу, считавшуюся очень сложной, можно успешно не только нейронной сетью, но и простым линейным методом. Если же в задаче не так много обучающих данных, то, вероятно, просто нет оснований использовать более сложные модели.

13 Многослойных персептрон Обучение многослойного персептрона Целью обучения является поиск таких значений весов и порогов сети, которые бы минимизировали ошибку прогноза, выдаваемого сетью. Функции ошибок: сумма квадратов ошибок; среднеквадратическая ошибка. Поверхности ошибок: параболоид; сложная форма (с множеством глобальных минимумов).

14 Многослойный персептрон Алгоритм обратного распространения вектор градиента указывает направление кратчайшего спуска; величина шага берется пропорциональна «крутизне склона»; в алгоритм вводится слагаемое импульса (или инерции). Проблемы, возникающие при обучении: переобучение; обобщение; нерепрезентативный набор данных.

15 Радиальная базисная функция Используется для разбиения пространства входных данных окружностями или (в общем случае) гиперсферами. Отличия сетей RBF от сетей MLP: моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя; сети с RBF обучается на порядок быстрее MLP; «групповое» представление пространства модели (в отличие от «плоскостного»); при удалении от обучающего множества значение функции отклика быстро спадает до нуля; сети с RBF испытывают трудности, когда число входов велико.

16 Радиальная базисная функция Обучение RBF-сети проходит в несколько этапов: 1.Определяются центры и отклонения для радиальных элементов. 2.Оптимизируются параметры линейного выходного слоя. Расположение центров должно соответствовать кластерам, реально присутствующим в исходных данных. Рассмотрим два наиболее часто используемых метода: выборка из выборки; выборка из выборки; алгоритм К-средних. алгоритм К-средних. После того, как определено расположение центров, нужно найти отклонения. Величина отклонения определяет «остроту» гауссовой функции. Используют несколько методов: явный; явный; изотропный; изотропный; К ближайших соседей. К ближайших соседей.

17 Сеть Кохонена Сеть рассчитана на неуправляемое обучение. Возможности применения: Распознавать кластеры в данных; Устанавливать близость классов; Выявлять новизну данных. В процессе обучения и функционирования сеть выполняет 3 процесса: конкуренция; объединение; подстройка весов.

18 Сеть Кохонена Обучение сети Кохонена: - коэффициент скорости обучения. Процесс обучения сети можно разделить на две фазы: фаза грубой подстройки; фаза точной подстройки. После того, как сеть обучена распознаванию структуры данных, ее можно использовать как средство визуализации при анализе данных, при котором можно определить разбивается ли карта на отдельные кластеры. Далее, как только кластеры выявлены, нейроны топологической карты помечаются содержательными по смыслу метками (в некоторых случаях помечены могут быть и отдельные наблюдения).

19 Пример работы сети Кохонена Задача: Имеется множество данных, в которых содержатся атрибуты «Возраст» и «Доход», которые были предварительно нормализованы

20 Пример работы персептрона Розенблата Применяется для распознавания образов и состоит из трех слоев Слой S1…Sn - входной сенсорный слой. Служит для принятия сигналов. Слой A1…Am - ассоциативный слой. Служит для обработки информации. Слой R1…Rm – эффекторный слой. Служит для передачи выходных воздействий. Особенностью этого слоя является использование в нейронах пороговой функции активации.

21 Пример реализации нейронных сетей в Matlab

22 Пример системы распознавания образов NeuralBase (шум) NeuralBase (ответ) Matlab (шум,ответ) 0% шума Печатный символ «А» 30% шума Печатный символ «А» 60% шума Печатный символ «А»