Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Оптические Технологии Искусственного Интеллекта Тема 1.4 Основы теории ИНС. Часть 1. Нейронная сеть «Звезда Гроссберга» Решение задачи распознавания Решение задачи классификации Санкт-Петербург, 2007

Нейрон имеет много входов (до нескольких сотен) и одну отходящую связь – аксон, который чаще всего разветвляется, эти разветвления (коллатерали) заканчиваются на разных нейронах. Это эквивалентно тому, что от нейрона отходит много связей, передающих информацию о возбуждении нейрона одновременно по многим адресам. Все передающиеся по связям импульсы имеют одинаковую полярность. Импульс становится возбуждающим или тормозящим, т.е приобретает полярность, проходя через синапс - соединение между входной связью и телом нейрона. Части нейрона, на которых расположены синапсы, называются дендритами. Обычно считается, что синапс может изменять свою проводимость, благодаря чему он определяет как знак, так и величину передаваемого потенциала. Нейросетевая парадигма базируется на той идее, что если создать техническими средствами структуру, подобную по своей конструкции и свойствам биологической структуре мозга, то и работать она будет подобным образом. Поэтому нейросетевая парадигма опирается на результаты нейрофизиологических исследований.

Нейрон Мак-Каллока и Питтса 1943г. Возбуждение нейрона соответствует принципу «все или ничего». Время делится на дискретные моменты такты. Возбуждение нейрона в какой-то момент времени происходит, если в предшествующий момент времени произошли возбуждения определенного фиксированного числа синапсов. Это число не зависит ни от предыдущей активности, ни от расположения синапсов на нейроне. Возбуждение по связи от одного нейрона к любому другому проходит без задержки (за один такт). Синапсы могут быть возбуждающими или тормозящими. Входной сигнал, прошедший через тормозящий синапс, абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени. С течением времени структура сети не изменяется. В 1943г. появилась статья МакКалока и Питтса «Логическое исчисление идей, относящихся к нервной деятельности», в которой была предложена модель формального нейрона и, основанные на этой модели формальные логические сети.

Правило обучения Хэбба Если два нейрона одновременно возбуждены, то сила связи между ними возрастает

Input Output Простейшая модель нейронной сети – звезда Гроссберга Входной слой. Сенсоры. Сумматор. Пороговая функция. Выход нейрона.

Решение задачи распознавания НС «Звезда Гроссберга» 1. Обучение в соответствии с правилом Хэбба Пара ассоциируемых векторов 1,0.5, В соответствии с правилом Хэбба сила связей определяется следующим образом

Решение задачи распознавания 2. Звезда Гроссберга обучена На вход подается эталонный вектор 1,0.5, На вход вычислительного нейрона поступает возбуждение 1х1+0.5х0.5=1.25 Если порог нейрона, например, 0.9, то нейрон возбуждается – это сигнал распознавания = 1.25

Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход обученной сети подается вектор, похожий на эталонный вектор, например, 0.8,0.4, На вход вычислительного нейрона поступает возбуждение 0.8х1+0.4х0.5=1.0 Если порог по прежнему 0.9, то нейрон все равно возбуждается – сеть узнала этот измененный вектор Меняя порог, можно менять толерантность сети, например, если порог 1.1, то этот вектор сеть уже не узнает, но узнает вектор 1,0.4,0 = 1.0

Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается вектор, не похожий на эталонный, например, 0.4,0.9, На вход вычислительного нейрона поступает возбуждение 0.4х1+0.9х х0=0.85 Если порог по прежнему 0.9, то нейрон уже не возбуждается – сеть не узнает этот вектор = 0.85

Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается другой вектор, не похожий на эталонный 0.5,1, На вход вычислительного нейрона поступает возбуждение 0.5х1+1х х0=1.0 Если порог по прежнему 0.9, то нейрон возбуждается – сеть узнает этот вектор, хоть он и не похож на эталонный ! = 1.0 Низкая критичность распознавания обусловлена малой размерностью распознаваемых векторов. Посмотрим, что будет, если увеличить размерность.

Решение задачи распознавания 3. Звезда Гроссберга. Увеличение информационной емкости Пара ассоциируемых векторов {1;0.5;0;0.5;0.8;0.3} {1} В соответствии с правилом Хэбба сила связей устанавливается

Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход вычислительного нейрона поступает возбуждение 1х1+0.5х х х х0.3=2.23 Если порог нейрона 2,1, то нейрон возбуждается – это сигнал распознавания На вход подается эталонный вектор {1;0.5;0;0.5;0.8;0.3} 1

Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход вычислительного нейрона поступает возбуждение 0.8х1+0.5х х х х0.3=2.08 Если порог нейрона, 2,1, то нейрон не возбуждается – этот вектор сеть не узнала. На вход подается искаженный вектор {0,8;0.5;0;0.6;0.8;0.3} 0 Таким образом, нейронная сеть с большим числом сенсорных нейронов более критична к изменению входного сигнала.

Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд Обучим, в соответствии с правилом Хэбба, две нейронных сети, совершенно различными векторами: I – {1;0.5;0;0.5;0.8;0.3} и II – {0;1;0.5;0.3;1;0.8}

Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд Объединим обученные сети в одну, так, чтобы на входе число сенсорных нейронов осталось прежним, а в выходном слое - два нейрона, каждый из которых будет ответственным за распознавание одного из образов, которыми они обучены.

Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд В итоге мы получаем нейронную сеть, которая способна узнавать два вектора. Пусть на вход поступает искаженный вариант эталонного вектора первой НС {0,9;0.5;0;0.7;0.8;0.3} На вход вычислительных нейронов поступает возбуждение: I ) 0.9х1+0.5х х х х0.3 = 2.23 II ) 0.5х1+0х х х х0.8 = 1.75 Если порог нейронов, например 2,1, то первый нейрон выходного слоя возбуждается, а второй – нет. 1 0 Сеть правильно классифицировала входной вектор!

Решение задачи классификации Комбинация нескольких звезд – решение задачи классификации Пусть на вход поступает искаженный вектор эталона второй НС {0,1;1;0,6;0.4;0.9;0.8} 1 0 На вход вычислительных нейронов поступает возбуждение: I ) 1х1+0.6х х х х0.3=1.76 II ) 0.1х1+1х х х х0.8=2.96 Если порог нейронов, например 2,1, то первый нейрон выходного слоя не возбуждается, а второй – возбуждается. Отметим, что мы можем и дальше усложнять структуру нейронной сети таким способом.