ВВЕДЕНИЕ В КОГНИТИВНУЮ НАУКУ 2007/2008. Представление и приобретение знаний: есть ли альтернатива компьютерной метафоре? - презентация

1 ВВЕДЕНИЕ В КОГНИТИВНУЮ НАУКУ 2007/2008

2 Представление и приобретение знаний: есть ли альтернатива компьютерной метафоре?

3 Нейронные сети: основные положения

4 Нейронные сети: основные положения

5 Мозг человека в сравнении с компьютером: отличительные черты нейронов, связей между нейронами. Частота импульсации Гц (современные персональные компьютеры -- до 10 9 Гц). NB! Медлительность и ненадежность отдельных нейронов компенсируется их количеством. Параллельная переработка информации (в компьютерах -- преимущественно последовательная). «Переход количества в качество»: богатство поведения. Нельзя сказать, что мозг исходно «готов к использованию»: велика роль обучения.

6 Нейросетевой подход: основные положения Процессы познания -- результат взаимодействия большого числа простых перерабатывающих элементов, связанных друг с другом и организованных в слои. «Переработка информации» -- определенный ответ элемента на воздействия извне. Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное -- не элементы, а связи между ними ( «субсимвольный подход» ). Обучение -- процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).

7 Классы задач, решаемых современными нейросетями: Классификация : распознавание образов, распознавание голосов, верификация подписей, постановка диагноза, анализ экспериментальных данных и т.д. Моделирование : поведение системы, поставленной в определенные условия. Прогноз : погода, ситуация на рынке ценных бумаг, бега, выборы и т.д. Комплексные задачи: управление принятие решений «Центральные системы» модульного подхода

8 Нейронные сети: рождение идеи (1943) Уоррен Маккаллох ( ) Уолтер Питтс ( ) «Логическое исчисление присуще нейронной активности» (1943)

9 Нейронные сети ФОРМАЛЬНЫЙ НЕЙРОН Элемент с пороговой логикой (TLU): преодоление порога -- 1, иначе -- 0.

10 Нейронные сети РЕАЛЬНЫЙ НЕЙРОН

11 Три типа нейронов: входные (рецепторы) -- активируются извне; внутренние (центральные) -- активируются входными и прочими нейронами и активируют входные и прочие нейроны; выходные (эффекторы) -- получают импульсы от центральных и входных нейронов и отвечают за выполнение действия. Теоретическая концепция искусственной сети Маккаллоха и Питтса

12 Теоретическая концепция искусственной сети Маккаллоха и Питтса Правила функционирования сети: задержки в распространении активации одинаковы для всех нейронов сети; нейроны импульсируют не постоянно, а только в определенные моменты; каждый выходной синапс одного нейрона соответствует только одному входному синапсу следующего нейрона; на любом нейроне может сходиться несколько синапсов; входные синапсы вносят вклад в преодоление порога активации, при переходе через который (и только в этом случае) нейрон начинает передавать импульс.

13 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ Дональд Олдинг Хебб ( ) Итог -- образование «нейронного ансамбля», который все быстрее активируется при каждом очередном повторении входа. Правило Хебба (1949): между одновременно активированными нейронами сети пороги синаптической связи снижаются.

14 КОННЕКЦИОНИЗМ КАК ВОЗРОЖДЕНИЕ… Эдвард Ли Торндайк ( ) «КОННЕКЦИОНИЗМА»! Законы научения: закон готовности закон эффекта закон повторения закон ассоц. сдвига

15 Развитие нейронных сетей Фрэнк Розенблатт ( ), Корнельский университет, США -- перцептрон (1958)

16 Развитие нейронных сетей Фрэнк Розенблатт ( ), Корнельский университет, США «Принципы нейродинамики: перцептроны и теория мозговых механизмов»: интеграция данных компьютерного моделирования (включая перцептрон), нейрохирургии, регистрации активности отдельных нейронов и т.д.

17 УПАДОК КОННЕКЦИОНИЗМА Критика перцептронов: математическое обоснование их неэффективности в решении задач распознавания образов (в ходе поэлементного анализа связанных и несвязанных изображений теряется информация о связанности, которую невозможно задать линейно) Марвин Минский, Сеймур Пейперт «Перцептроны»: приговор нейронным сетям?

18 УПАДОК КОННЕКЦИОНИЗМА «… В один прекрасный день у новой науки кибернетики родились две дочери. Одна дочь была настоящая, она унаследовала черты науки о мозге, черты истинно природные. Другая дочь поддельная, она была плодом начавшегося использования компьютеров. Обе сестры старались построить модели разума, но из разного материала. Настоящая сестра строила модели (названные нейронными сетями) из математически идеализированных нейронов. Другая создавала свои модели из компьютерных программ. В цветущей юности обе имели успех, за обеими одинаково ухаживали представители других отраслей знания, и они прекрасно уживались вместе. Отношения изменились в начале шестидесятых годов, когда появился новый король с такой казной, какую никогда раньше не видели в королевстве наук. То был король ОАПНП... В поддельной сестре проснулась ревность, и она присвоила себе одной право доступа к деньгам ОАПНП. А настоящей сестре предстояло умереть. ВСЕ ИНТРИГИ, ВЕРОЯТНО?...

19 УПАДОК КОННЕКЦИОНИЗМА Палачами вызвались быть два верных друга поддельной сестры: Марвин Минский и Сеймур Пейперт, которым досталась роль охотников, отправленных, чтобы убить Белоснежку и в качестве подтверждения принести ее сердце. Их орудием был не кинжал, а искусное перо, с которого сошла книга под названием "Перцептроны"; цель ее состояла в том, чтобы доказать, что создатели нейронных сетей никогда не смогут выполнить свое обещание построить модель разума: это смогут сделать только компьютерные программы. Казалось, победа обеспечена…» Papert S. One A.I. or many. // The Artificial Intelligence Debate. Graubard S.R. (Ed.). MIT Press, 1988, pp ВСЕ ИНТРИГИ, ВЕРОЯТНО?...

20 УПАДОК КОННЕКЦИОНИЗМА ВСЕ ИНТРИГИ, ВЕРОЯТНО?... Закон Кларка: если крупный уважаемый ученый говорит, что нечто может быть выполнено, то он (она) почти всегда прав. Если же ученый говорит, что это не может быть выполнено, то он (она) почти всегда не прав. ЧЕГО НЕ УМЕЛ ПЕРЦЕПТРОН?

21 УПАДОК КОННЕКЦИОНИЗМА Проблема «исключающего ИЛИ» ( XOR ): (0;0) (1;1) -> 0 (0;1) (1;0) -> 1

22 РЕНЕССАНС КОННЕКЦИОНИЗМА Дэвид Румельхарт (Стэнфорд), Джеймс Макклелланд (Карнеги-Меллон) «Параллельно-распределенная переработка» ( PDP )

23 АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ

24

25 Основные понятия: «Нейрон» ( unit, node ) -- элемент сети, который суммирует входные сигналы и, в случае превышения порога его активации, выдает выходной сигнал (1 или 0), выполняющий функцию активации или торможения в соответствии с весовым коэффициентом связи между ним и последующими нейронами. Функция связи между элементами сети («синапса») -- умножение сигнала на весовой коэффициент. Порог -- весовой коэффициент, связанный с постоянным входным сигналом, равным 1.

26 ВИДЫ АРХИТЕКТУР: Сеть прямого распространения Сеть обратного распространения (рекуррентная)

27 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). Алгоритм: обратное распространение ошибки ( backpropagation ) «Психологический механизм»: «Предвосхищение» (результат работы сети) «Действительны е последствия» (эталон) «Текущая ситуация» (вход)

28 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). «Обучение без наставника»: задачи классификации (правильный ответ неизвестен, но набор параметров относительно устойчив -> раскрытие внутренней структуры данных или связей между образцами). Смешанные формы обучения.

29 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: Соревновательное обучение (задачи типа «Победитель получает все» / Winner takes all ). Элементы выходного слоя соревнуются за право ответить на входной сигнал. В ходе обучения модифицируются только весовые коэффициенты нейрона-«победителя».

30 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: Соревновательное обучение (задачи типа «Победитель получает все» / Winner takes all ). ПРИМЕР: перенаправление зрительного внимания в процессе поиска целевого объекта Koch C., Ullman S. (1985) Shifts in selective visual attention: Towards the underlying neural circuitry // Human Neurobiology, 4(4), 219–227.

31 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: Проблема устойчивости обучения : система обучения устойчива, если ни один из примеров обучающей выборки не изменит своей принадлежности к установленной категории после определенного числа итераций (повторных предъявлений). Феномен «переобученности» сети: хорошее функционирование на примерах обучающей выборки и плохое -- на сходных, но не идентичных тестовых примерах. СРАВНИМ : стадия дифференциации при выработке условного рефлекса (по данным лаборатории И.П. Павлова).

32 «БИБЛИЯ КОННЕКЦИОНИЗМА» Эффекты контекста в распознавании образов (слов, букв и т.д.) Классический «эффект превосходства слова» (Rumelhart, McClelland, 1986)

33 «БИБЛИЯ КОННЕКЦИОНИЗМА» Организация памяти (Макклелланд, 1981): адресация по содержанию возможность «восстановления» информации: правило «щадящего разрушения» ( graceful degradation )

34 Правило «щадящего разрушения» ( graceful degradation ): гештальтфеномены

35 «БИБЛИЯ КОННЕКЦИОНИЗМА» Последующие разработки: формирование у нейронной сети «социальных стереотипов»

36 «БИБЛИЯ КОННЕКЦИОНИЗМА» Дэвид Румельхарт, Джеймс Макклелланд to play -- played to help -- helped to kiss -- kissed to go -- went to jump -- jumped to shout -- shouted to go … wented! goed! Освоение языка -- ряд стадий, характерных для развития ребенка, в том числе стадия сверхобобщения (4-5 лет):

37 НЕЙРОСЕТИ И ПОЗНАВАТЕЛЬНОЕ РАЗВИТИЕ: НОВЫЕ РАЗРАБОТКИ Вирджиния Мархман и др. Незначительные повреждения (от 2% сети) на ранних стадиях -- широкие возможности компенсации Значительные повреждения (до 44% сети) на более поздних стадиях -- устойчивые проблемы с грамматикой «Повреждение» нейронной сети в процессе освоения языка (образование времен глаголов): Большая трудность образования форм правильных глаголов по сравнению с неправильными (архаичными): специфический результат на неспециализированном субстрате!!!

38 «Норма»: феномены Пиаже -- например, задача с весами и задача оценки количества (Джеймс Макклелланд и соавт.) «Патология»: ранний детский аутизм, синдром Уильямса, избирательное языковое расстройство (Майкл Томас, Аннет Кармилофф-Смит) … НЕЙРОСЕТИ И ПОЗНАВАТЕЛЬНОЕ РАЗВИТИЕ: НОВЫЕ РАЗРАБОТКИ Работы по неоконструкционизму и причинному моделированию см. на личной страничке Майкла Томаса:

39 СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: ОСНОВНЫЕ РАЗЛИЧИЯ Jain A.K., Mao J., Mohiuddin K.M. Artificial Neural Networks. A Tutorial // Computer V.29. No3.

40 ПРЕИМУЩЕСТВА СЕТЕВОЙ АРХИТЕКТУРЫ Возможность обучения Распределенное хранение информации ПРОБЛЕМЫ НЕЙРОСЕТЕВОГО ПОДХОДА Механизм или практический результат? Границы пластичности субстрата и «содержательная» специализация? Ограничения по типам решаемых задач

41 Нейронные сети Символьные модели неявные правила, «интуитивные» задачи (индивидуальные знания): умозаключение по аналогии, выделение фигуры на фоне и т.п. явные правила, формализуемые задачи (культурно-обусловленные общедоступные знания): например, логические и математические задачи. СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» Задачи, требующие обучения. Задачи, требующие конечного набора знаний.

42 Нейронные сети Символьные модели СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» «Холистическая» стратегия правого полушария «Аналитическая» стратегия левого полушария

43 Нейронная сеть распознавание образов, быстрые ответы на запросы сложной окружающей среды ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И СИМВОЛЬНОГО ПОДХОДОВ: ЭКСПЕРТНЫЕ СИСТЕМЫ Экспертная система принятие решений, логическая проверка выводов с учетом дополнительной информации

44 ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И МОДУЛЬНОГО ПОДХОДОВ: ПРОБЛЕМА ВРОЖДЕННОГО И ПРИОБРЕТЕННОГО В ПОЗНАНИИ «Наследственность» нейронной сети: количество элементов количество слоев правила и параметры распространения активации и изменения весов в разных слоях Достаточно ли этого для развития форм познания, характерных для человека?

45 ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И МОДУЛЬНОГО ПОДХОДОВ: ПРОБЛЕМА ВРОЖДЕННОГО И ПРИОБРЕТЕННОГО В ПОЗНАНИИ Входной слой Медленные нейроны Быстрые нейроны Выходной слой Сеть Рэндалла ОРейли (1992) Восприятие для опознания Восприятие для действия

46 ПОДХОДЫ В КОГНИТИВНОЙ НАУКЕ: ВЫВОДЫ Строение (когнитивная архитектура) Функционирование (механизмы) Развитие Символьный Модульный Сетевой ?

47 НЕЙРОННЫЕ СЕТИ: ЛИТЕРАТУРА И ССЫЛКИ В ИНТЕРНЕТЕ Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика (2 изд). Уоссерман Ф. "Нейрокомпьютерная техника" (перевод на русский язык): Джейн А., Мао Ж., Моиуддин К.М. Введение в искусственные нейронные сети (перевод на русский язык) Статьи на портале по искусственному интеллекту Омского университета: Gurney K. Neural Nets (на английском языке)