Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии. - презентация

1 Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии Искусственного Интеллекта Тема 1.4 Основы теории ИНС. Часть 1. Нейронная сеть «Звезда Гроссберга» Решение задачи распознавания Решение задачи классификации Санкт-Петербург, 2007

2 Нейрон имеет много входов (до нескольких сотен) и одну отходящую связь – аксон, который чаще всего разветвляется, эти разветвления (коллатерали) заканчиваются на разных нейронах. Это эквивалентно тому, что от нейрона отходит много связей, передающих информацию о возбуждении нейрона одновременно по многим адресам. Все передающиеся по связям импульсы имеют одинаковую полярность. Импульс становится возбуждающим или тормозящим, т.е приобретает полярность, проходя через синапс - соединение между входной связью и телом нейрона. Части нейрона, на которых расположены синапсы, называются дендритами. Обычно считается, что синапс может изменять свою проводимость, благодаря чему он определяет как знак, так и величину передаваемого потенциала. Нейросетевая парадигма базируется на той идее, что если создать техническими средствами структуру, подобную по своей конструкции и свойствам биологической структуре мозга, то и работать она будет подобным образом. Поэтому нейросетевая парадигма опирается на результаты нейрофизиологических исследований.

3 Нейрон Мак-Каллока и Питтса 1943г. Возбуждение нейрона соответствует принципу «все или ничего». Время делится на дискретные моменты такты. Возбуждение нейрона в какой-то момент времени происходит, если в предшествующий момент времени произошли возбуждения определенного фиксированного числа синапсов. Это число не зависит ни от предыдущей активности, ни от расположения синапсов на нейроне. Возбуждение по связи от одного нейрона к любому другому проходит без задержки (за один такт). Синапсы могут быть возбуждающими или тормозящими. Входной сигнал, прошедший через тормозящий синапс, абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени. С течением времени структура сети не изменяется. В 1943г. появилась статья МакКалока и Питтса «Логическое исчисление идей, относящихся к нервной деятельности», в которой была предложена модель формального нейрона и, основанные на этой модели формальные логические сети.

4 Правило обучения Хэбба Если два нейрона одновременно возбуждены, то сила связи между ними возрастает

5 Input Output Простейшая модель нейронной сети – звезда Гроссберга Входной слой. Сенсоры. Сумматор. Пороговая функция. Выход нейрона.

6 Решение задачи распознавания НС «Звезда Гроссберга» 1. Обучение в соответствии с правилом Хэбба Пара ассоциируемых векторов 1,0.5, В соответствии с правилом Хэбба сила связей определяется следующим образом

7 Решение задачи распознавания 2. Звезда Гроссберга обучена На вход подается эталонный вектор 1,0.5, На вход вычислительного нейрона поступает возбуждение 1х1+0.5х0.5=1.25 Если порог нейрона, например, 0.9, то нейрон возбуждается – это сигнал распознавания = 1.25

8 Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход обученной сети подается вектор, похожий на эталонный вектор, например, 0.8,0.4, На вход вычислительного нейрона поступает возбуждение 0.8х1+0.4х0.5=1.0 Если порог по прежнему 0.9, то нейрон все равно возбуждается – сеть узнала этот измененный вектор Меняя порог, можно менять толерантность сети, например, если порог 1.1, то этот вектор сеть уже не узнает, но узнает вектор 1,0.4,0 = 1.0

9 Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается вектор, не похожий на эталонный, например, 0.4,0.9, На вход вычислительного нейрона поступает возбуждение 0.4х1+0.9х х0=0.85 Если порог по прежнему 0.9, то нейрон уже не возбуждается – сеть не узнает этот вектор = 0.85

10 Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается другой вектор, не похожий на эталонный 0.5,1, На вход вычислительного нейрона поступает возбуждение 0.5х1+1х х0=1.0 Если порог по прежнему 0.9, то нейрон возбуждается – сеть узнает этот вектор, хоть он и не похож на эталонный ! = 1.0 Низкая критичность распознавания обусловлена малой размерностью распознаваемых векторов. Посмотрим, что будет, если увеличить размерность.

11 Решение задачи распознавания 3. Звезда Гроссберга. Увеличение информационной емкости Пара ассоциируемых векторов {1;0.5;0;0.5;0.8;0.3} {1} В соответствии с правилом Хэбба сила связей устанавливается

12 Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход вычислительного нейрона поступает возбуждение 1х1+0.5х х х х0.3=2.23 Если порог нейрона 2,1, то нейрон возбуждается – это сигнал распознавания На вход подается эталонный вектор {1;0.5;0;0.5;0.8;0.3} 1

13 Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход вычислительного нейрона поступает возбуждение 0.8х1+0.5х х х х0.3=2.08 Если порог нейрона, 2,1, то нейрон не возбуждается – этот вектор сеть не узнала. На вход подается искаженный вектор {0,8;0.5;0;0.6;0.8;0.3} 0 Таким образом, нейронная сеть с большим числом сенсорных нейронов более критична к изменению входного сигнала.

14 Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд Обучим, в соответствии с правилом Хэбба, две нейронных сети, совершенно различными векторами: I – {1;0.5;0;0.5;0.8;0.3} и II – {0;1;0.5;0.3;1;0.8}

15 Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд Объединим обученные сети в одну, так, чтобы на входе число сенсорных нейронов осталось прежним, а в выходном слое - два нейрона, каждый из которых будет ответственным за распознавание одного из образов, которыми они обучены.

16 Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд В итоге мы получаем нейронную сеть, которая способна узнавать два вектора. Пусть на вход поступает искаженный вариант эталонного вектора первой НС {0,9;0.5;0;0.7;0.8;0.3} На вход вычислительных нейронов поступает возбуждение: I ) 0.9х1+0.5х х х х0.3 = 2.23 II ) 0.5х1+0х х х х0.8 = 1.75 Если порог нейронов, например 2,1, то первый нейрон выходного слоя возбуждается, а второй – нет. 1 0 Сеть правильно классифицировала входной вектор!

17 Решение задачи классификации Комбинация нескольких звезд – решение задачи классификации Пусть на вход поступает искаженный вектор эталона второй НС {0,1;1;0,6;0.4;0.9;0.8} 1 0 На вход вычислительных нейронов поступает возбуждение: I ) 1х1+0.6х х х х0.3=1.76 II ) 0.1х1+1х х х х0.8=2.96 Если порог нейронов, например 2,1, то первый нейрон выходного слоя не возбуждается, а второй – возбуждается. Отметим, что мы можем и дальше усложнять структуру нейронной сети таким способом.