Подход к моделированию когнитивной эволюции НИИ системных исследований РАН Редько Владимир Георгиевич

О моделировании когнитивной эволюции Когнитивная эволюция – эволюция познавательных способностей биологических организмов Зачем и как моделировать когнитивную эволюцию? Каков задел этого моделирования? Каковы перспективы исследований когнитивной эволюции?

План доклада 1. Ключевая проблема – почему формальный логический вывод, сделанный человеком, можно использовать в познании природы? 2. Модели адаптивного поведения – задел исследований когнитивной эволюции 3. Пример нейробиологической модели адаптивного поведения (Институт нейронаук, Дж. Эдельман с сотр.) 4. Начальные шаги моделирования когнитивной эволюции 5.Перспективы

Гносеологическая проблема Почему логический вывод, сделанный человеком, применим к реальному объекту в природе? Математики доказывают теоремы. Почему результаты, полученные формальным логическим путем, применимы к физическим объектам в природе?

Кто думал над такими вопросами Иммануил Кант – провел исследование познавательных процессов в приближении фиксированного мышления взрослого человека («Критика чистого разума», 1781 г.) Конрад Лоренц – от кантовской доктрины априорного к эволюционной теории познания (1941 г.)

Может ли человек познавать законы природы? « … хотя вначале это звучит странно, но тем не менее верно, если я скажу: рассудок не черпает свои законы (a priori) из природы, а предписывает их ей» И. Кант. Пролегомены ко всякой будущей метафизике, могущей появиться как наука, 1783 г. «Не были бы законы разума, необходимые для априорного мышления, иными, если бы они сформировались иным историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы? И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешнего мира?» К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Иммануил Кант Конрад Лоренц

Конрад Лоренц и его гусята

Подход к исследованию гносеологической проблемы Исследовать происхождение логического мышления путем построения математических и компьютерных моделей когнитивной эволюции. Проследить весь путь биологической эволюции от простейших до человека, анализируя c помощью моделей, как на этом пути возникали свойства познания закономерностей природы в результате развития систем управления адаптивным поведением организмов. Разумно использовать задел направлений исследований «Адаптивное поведение»

Проблема происхождения мышления

Аналогия Математик (при доказательстве теорем): правило modus ponens: «если имеет место А, и из А следует В, то имеет место В», или {А, A --> B} => B Собака (после выработки условного рефлекса): {УС, УС --> БС} => БС УС – условный стимул, БС – безусловный стимул

Правила логического вывода достаточно хорошо формализованы Математическая теория логического вывода (под ред. А.В. Идельсона и Г.Е. Минца). М.: Наука, В основе этих правил – элементарные правила, такие как modus ponens Пример исследования: Генцен Г. Исследования логических выводов. Непротиворечивость чистой теории чисел // Математическая теория логического вывода. М.: Наука, С. 9-76,

Попытка пересмотра оснований математики Анализ возможности построения предиктивных логических процессов в контексте теории множеств и кибернетического подхода к обоснованию математики: Turchin V.F. A constructive interpretation of the full set theory // Journal of Symbolic Logic, V. 52. No. 1. PP В.Ф. Турчин. Феномен науки: Кибернетический подход к эволюции – М.: Наука, 1993 (1-е изд.). М.: ЭТС, 2000 (2-е изд.).

Модели адаптивного поведения – задел исследований когнитивной эволюции

Адаптивное поведение From Animal to Animat – модели адаптивного поведения животного и робота Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон) Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) «организмов» (аниматор, агентов), способных приспосабливаться к внешней среде ANIMAL + ROBOT = ANIMAT Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде Программа-максимум – попытаться проанализировать эволюцию когнитивных (познавательных) способностей животных и эволюционное происхождение человеческого интеллекта Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, М.: УРСС, 2004.

Адаптивное поведение Методы: Нейронные сети Эволюционное моделирование Обучение с подкреплением (Reinforcement Learning) Достоинство направления «Адаптивное поведение»: исследование конкретных животных и конкретных роботов Моделирование адаптивного поведения – бионический подход к искусственному интеллекту

Обучение с подкреплением (Reinforcement Learning, Richard Sutton, Andrew Barto, Массачусетский университет) t = 1,2,… – время, S(t) – ситуация, a(t) – действие, r(t) – подкрепление (поощрение, r(t) > 0 или наказание, r(t) < 0 ) Цель анимато – максимизировать суммарное подкрепление, которое можно получить в будущем. Схема обучения с подкреплением

Адаптивное поведение International Society for Adaptive Behavior Журнал Adaptive Behavior Международные конференции (раз в 2 года) SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy

Пример нейробиологической модели адаптивного поведения (Институт нейронаук, Дж. Эдельман)

Направление исследований – поколения моделей мозга: Darwin-1, Darwin-2, …, Darwin-XII Darwin-X. NOMAD: Neurally Organized Mobile Adaptive Device (Brain Based Device) 1) Устройство помещается в реальную физическую среду 2) Устройство должно решать поведенческую задачу 3) Устройство управляется модельной нервной системой, которая отражает архитектуру мозга и процессы в мозге 4) Поведение устройства и процессы в модельной нервной системе должны допускать сравнение с экспериментальными биологическими данными Институт нейронаук (Neuroscience Institute) (Калифорния, )

Darwin-X, моделирование поведения мыши в лабиринте Морриса 50 нейронных областей нейронов 1.4·10 6 синапсов Сенсорика: зрение, свои следы, ИК- детекторы J.L. Krichmar, A.K. Seth, D.A. Nitz, J.G. Fleischer, G.M. Edelman. Neuroinformatics, Vol. 3. No 3. PP

Darwin-X Есть комната размером 16 × 14 с цветными полосами на стенах. Есть скрытая платформа диаметром 24, которую Darwin-X может обнаружить, только находясь непосредственно над ней (инфракрасным детектором). В начале каждого эксперимента Darwin-X помещается в одну из 4-х стартовых точек (1–4).

Нейронная сеть Darwin-X V1,V2/4 are analogous to visual cortex IT – inferotemporal cortex PR – parietal cortex HD – the head direction system ATN – anterior thalamic nuclei M HDG – motor areas for egocentric heading BF – basal forebrain S – a value system R+, R– – positive and negative reward areas

Darwin-X. Результаты В результате серии (16 опытов) запусков Darwin-X приобретал способность находить скрытую платформу вне зависимости от места, на которое он помещался в начальный момент времени. До обучения нахождение платформы требовало около 530 с., после – около 220 с.

Выводы по модели Darwin-X Модель Darwin-X – эмпирическое компьютерное исследование, хорошо продуманное с биологической точки зрения Поведение Darwin-X нетривиально: обучение происходит быстро, формируются «нейроны места» в модельном гиппокампе, исследовано формирование «причинных связей» между областями модельного гиппокампа Работа слишком эмпирическая. Было бы полезно более формализованное исследование, дополнительное к этим эмпирическим работам

Контуры программы будущих исследований когнитивной эволюции Исследование моделей адаптивного поведения аниматор с несколькими естественными потребностями: питания, размножения, безопасности Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов) Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении Исследование процессов формирования логических выводов в «сознании» животных {УС, УС --> БС} => БС – аналог modus ponens

Начальные шаги моделирования когнитивной эволюции

Модель автономных агентов с естественными потребностями: питание, размножение, безопасность Редько В.Г., Бесхлебнова Г.А. Моделирование адаптивного поведения автономных агентов. Нейрокомпьютеры: разработка, применение С

Модель формирования обобщающих эвристик автономными агентами Редько В.Г., Бесхлебнова Г.А. Модель адаптивного поведения автономных агентов в двумерной клеточной среде // Научная сессия МИФИ XI Всероссийская научно-техническая конференция "Нейроинформатика-2009": Сборник научных трудов. В 2-х частях. Ч.1. М.: МИФИ,

Автономный агент в двумерной клеточной среде Агент Среда: 10x10 клеток. Порции пищи хаотически распределены в 50 клетках Система управления агента – набор правил: S k A k, S k и A k – ситуация и действие Ситуация S k характеризует наличие или отсутствие пищи в поле зрения агента Действия агента A k : движение вперед, поворот направо/налево, питание, отдых Веса правил W k модифицируются методом обучения с подкреплением Сначала выбор действий случайный, затем – в соответствии с весами Стрелка показывает направление вперед, кружки – поле зрения агента

Формирование правил и цепочек действий самообучающимся агентом 1) пища «здесь» «питаться» 2) пища «впереди» «двигаться вперед», затем «питаться» 3,4) пища «справа/слева» «поворачиваться направо/ налево», затем «двигаться вперед», затем «питаться» 5) не видно пищи «двигаться вперед», … Зависимость R(t) Имеется 16 ситуаций 5 действий, всего 80 правил При обучении отбирается 16 правил 5 эвристик обобщают отобранные правила:

Кто еще работает в близких направлениях Witkowski M. An action-selection calculus // Adaptive Behavior, V. 15. No. 1. PP Butz M.V., Sigaud O., Pezzulo G., Baldassarre G. (Eds.). Anticipatory Behavior in Adaptive Learning Systems: From Brains to Individual and Social Behavior. LNAI 4520, Berlin, Heidelberg: Springer Verlag, Vernon D., Metta G., Sandini G. A survey of artificial cognitive systems: Implications for the autonomous development of mental capabilities in computational agents // IEEE Transactions on Evolutionary Computation, special issue on Autonomous Mental Development, V. 11. No. 2. PP

Витяев Е.Е. Принципы работы мозга, содержащиеся в теории функциональных систем П.К. Анохина и теории эмоций П.В. Симонова // Нейроинформатика (электронный рецензируемый журнал) Т С Демин А.В., Витяев Е.Е. Логическая модель адаптивной системы управления // Нейроинформатика (электронный рецензируемый журнал) Т С Витяев Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов. Новосибирск: НГУ, Кто еще работает в близких направлениях

Контуры программы будущих исследований когнитивной эволюции Исследование моделей адаптивного поведения аниматор с несколькими естественными потребностями: питания, размножения, безопасности Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов) Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении Исследование процессов формирования логических выводов в «сознании» животных {УС, УС --> БС} => БС – аналог modus ponens

Актуальность моделирования когнитивной эволюции Эти исследования связаны с основаниями науки, с основаниями математики Моделирование когнитивной эволюции интересно с точки зрения развития теории познания Есть задел в направлении исследований «Адаптивное поведение» Эти исследования важны с точки зрения развития когнитивных наук, так как они связаны с важными когнитивными процессами – процессами научного познания Данная презентация: