Христова Татьяна Михайловна 2014

Христова Татьяна Михайловна 2014

Исторические очерк 1943 У. Маккалок и У. Питтс 1943У. МаккалокУ. Питтс формализуют понятие нейронной сети 1949 Д. Хебб предлагает первый алгоритм обучения. 1949Д. Хебб Широко используем с 80-х, 90-х гг. 3

4 Типичная структура нейрона

5 x1x1 x2x2 x3x3 h θ (x) Входные параметры Выход x0x1x2x3x0x1x2x3 x = θ0θ1θ2θ3θ0θ1θ2θ3 θ = x0x0 bias нейрон X 0 =1 Веса или параметры θ0θ0 θ1θ1 θ2θ2 θ3θ3 Сигмоид или логистическая активационная функция g(z) Модель нейрона

6 Модель нейрона. Bias нейрон «Bias» нейрон позволяет классификатору сдвинуть кривую или вправо. т.е. «Bias» нейрон позволяет классификатору провести параллельный перенос кривой.

7 x1x1 x2x2 x3x3 h θ (x) Слой 1 или входной слой Слой 2 или скрытый слой а 1 (2) а 2 (2) а 3 (2) Слой 1 или выходной слой a i (j) – активация нейрона i в слое j; Θ (j) – матрица весов a 1 (2) = g(z 1 (2) ) = g(Θ 10 (1) x 0 + Θ 11 (1) x 1 + Θ 12 (1) x 2 + Θ 13 (1) x 3 ) a 2 (2) = g(z 2 (2) ) = g(Θ 20 (1) x 0 + Θ 21 (1) x 1 + Θ 22 (1) x 2 + Θ 23 (1) x 3 ) a 3 (2) = g(z 3 (2) ) = g(Θ 30 (1) x 0 + Θ 31 (1) x 1 + Θ 32 (1) x 2 + Θ 33 (1) x 3 ) h θ (x) = a 1 (3) = g(Θ 10 (2) a 0 (2) + Θ 11 (2) a 1 (2) + Θ 12 (2) a 2 (2) + Θ 13 (2) a 3 (2) ) Метод прямого распространения ошибки

8 Обучающая выборка Логистическая функция Задача: выбрать оптимальные значения θ Подбор параметров. Логистическая функция

9

10 Подбор параметров ИНС x1x1 x2x2 x3x3 h θ (x) а 1 (2) а 2 (2) а 3 (2) а 1 (3) а 2 (3) а 3 (3) Бинарная классификация {(x (1), y (1) ), (x (2), y (2) ),…, (x (m), y (m) )} L = количество слоев в сети; S l = количество нейронов в слое l; k – количество нейронов в выходном слое (при мульти классификации) y = 0 или 1 Цель: Требуется выбрать значения θ (веса) min Регуляционный элемент

11 Регуляризация Регуляризация один из способов избежать переобучения Цель: путем пенализирования значений θ ji => упростить функцию получить более плавную функцию

12 1. Метод градиентного спуска Предположим у нас есть функция Задача: минимизировать данную функцию Алгоритм: 1. Инициализировать значения θ 0, θ 1 случайным образом 2. Изменять значения θ 0, θ 1 для минимизации функции до тех пор пока не будет достигнут локальный минимум

13 2. Метод градиентного спуска Повторяем до достижения сходимости - длина шага

14 1. Метод обратного распространения ошибки (Backpropagation) (Backpropagation) Задача: min J(θ) Для решения задачи будем использовать модификацию метода градиентного спуска Потребуется:

15 2. Метод обратного распространения ошибки (Backpropagation) (Backpropagation) Предположим, обучающая выборка состоит из (х, у) Forward propagation: h θ (x) x Θ (1) a (2) Θ (2) a (3) Θ (3) a (4)

16

17 3. Метод обратного распространения ошибки (Backpropagation) (Backpropagation) 1. Для каждого нейрона j в слое l нужно посчитать «ошибку» δ; 2. Для каждого нейрона j : h θ (x) x Θ (1) a (2) Θ (2) a (3) Θ (3) a (4)

18 Алгоритм Алгоритм 1. Случайная инициализация весов 2. Проведение процедуры прямого распространения ошибки для получения h θ (x (i) ) 3. Расчет функции оптимизации J(θ) 4. Проведение процедуры обратного распространения ошибки для расчета {(x (1), y (1) ), (x (2), y (2) ),…, (x (m), y (m) )} 5. Использование метода градиентного спуска для минимизации J(θ)

19 1) Если в конкретной задаче гипотеза о линейной разделимости классов выглядит правдоподобно, то можно ограничиться одним слоем. 2) Двухслойные сети позволяют представлять извилистые нелинейные границы, и в большинстве случаев этого хватает. 3) Трёхслойными сетями имеет смысл пользоваться для представления сложных многосвязных областей. 4) Чем больше слоёв, тем более богатый класс функций реализует сеть, но тем хуже сходятся градиентные методы, и тем труднее её обучить. Выбор числа слоёв

20 Выбор числа нейронов в скрытом слое 1. Визуальный способ. Если граница классов (или кривая регрессии) слишком сглажена, значит, сеть переупрощена, и необходимо увеличивать число нейронов в скрытом слое. Если граница классов (или кривая регрессии) испытывает слишком резкие колебания, на тестовых данных наблюдаются большие выбросы, веса сети принимают большие по модулю значения, то сеть переусложнена, и скрытый слой следует сократить. Недостаток этого способа в том, что он подходит только для задач с низкой размерностью пространства (небольшим числом признаков).

21 Выбор числа нейронов в скрытом слое 2. Оптимизация числа нейронов по внешнему критерию, например, по критерию скользящего контроля или средней ошибки на независимой контрольной выборке Q(Xk). Недостаток этого способа в том, что приходится много раз заново строить сеть при различном количестве нейронов, а в случае скользящего контроля ещё и при различных разбиениях выборки на обучающую и тестовую.

22 Карты Кохонена (Kohonen's Self Organizing Maps)

23 X l = {x (1), x (2),…, x (i) } i – количество дескрипторов; l – количество объектов; M – количество кластеров Предположим, обучающая выборка состоит из Y = {1,...,M} ρ – попарное расстояние между объектами Задача: Требуется выработать правило отнесения объектов к кластерам a: X Y. Предлагается: ввести центры кластеров w m, m = 1,...,M; относить объект x X к ближайшему кластеру (правило жёсткой конкуренции WTA - Winner Takes All): a(x) = arg min ρ(x,w m ). m Y Постановка задачи кластеризации ρ (X l, X l+1 ) wmwm определить

24 Стохастический метод градиента (SG)

25 Сеть Кохонена (сеть с конкурентным обучением) Структура алгоритма - двухслойная нейронная сеть: a(x) = arg min ρ(x,w m ): m Y Эвклидово расстояние

26 Алгоритм

27 1. Жёсткая и мягкая конкуренция K(ρ) = exp(βρ 2 )

28 2. Жёсткая и мягкая конкуренция где C m количество побед m-го нейрона в ходе обучения. Таким образом, кластеры штрафуются за слишком частое присоединение объектов.

29 Карта Кохонена (Self Organizing Map, SOM)

30 Обучение карты Кохонена Метрика на сетке

31 Карта Кохонена для распределения соединений в пространстве дескрипторов 338 соединений SiRMS дескрипторы

32 Карта Кохонена для распределения соединений в пространстве дескрипторов 338 соединений SMF дескрипторы

33 Интерпретация карт Кохонена

34 Интерпретация карт Кохонена (пример)

35 Достоинства и недостатки карт Кохонена

36