Как исследовать эволюционное происхождение интеллекта? НИИ системных исследований РАН Редько Владимир Георгиевич

О происхождении интеллекта Как произошел интеллект человека – нетривиальная междисциплинарная проблема. В докладе будут рассмотрены те вопросы, для которых уже сейчас возможно серьезное исследование. Будет рассмотрена возможность моделирования когнитивной эволюции, т.е. эволюции познавательных способностей биологических организмов, в результате которой произошел интеллект.

План доклада 1. Ключевая проблема – почему формальный логический вывод, сделанный человеком, можно использовать в познании природы? 2. Модели адаптивного поведения – задел исследований когнитивной эволюции 3. Пример нейробиологической модели адаптивного поведения (Институт нейронаук, Дж. Эдельман с сотр.) 4. Начальные шаги моделирования когнитивной эволюции 5. Перспективы моделирования происхождения логики, мышления, интеллекта

Гносеологическая проблема Почему логический вывод, сделанный человеком, применим к реальному объекту в природе? Математики доказывают теоремы. Почему результаты, полученные формальным логическим путем, применимы к физическим объектам в природе?

Кто думал над такими вопросами Иммануил Кант – провел исследование познавательных процессов в приближении фиксированного мышления взрослого человека («Критика чистого разума», 1781 г.) Конрад Лоренц – от кантовской доктрины априорного к эволюционной теории познания (1941 г.)

Может ли человек познавать законы природы? «…хотя вначале это звучит странно, но тем не менее верно, если я скажу: рассудок не черпает свои законы (a priori) из природы, а предписывает их ей» И. Кант. Пролегомены ко всякой будущей метафизике, могущей появиться как наука, 1783 г. «Не были бы законы разума, необходимые для априорного мышления, иными, если бы они сформировались иным историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы? И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешнего мира?» К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Иммануил Кант Конрад Лоренц

Конрад Лоренц и его гусята

Подход к исследованию гносеологической проблемы Исследовать происхождение логического мышления, интеллекта человека путем построения математических и компьютерных моделей когнитивной эволюции. Проследить весь путь биологической эволюции от простейших до человека, анализируя c помощью моделей, как на этом пути возникали свойства познания закономерностей природы в результате развития систем управления адаптивным поведением организмов. Разумно использовать задел направлений исследований «Адаптивное поведение»

Проблема происхождения мышления

Аналогия Математик (при доказательстве теорем): правило modus ponens: «если имеет место А, и из А следует В, то имеет место В», или {А, A --> B} => B Собака (после выработки условного рефлекса): {УС, УС --> БС} => БС УС – условный стимул, БС – безусловный стимул

Правила логического вывода достаточно хорошо формализованы Математическая теория логического вывода (под ред. А.В. Идельсона и Г.Е. Минца). М.: Наука, В основе этих правил – элементарные правила, такие как modus ponens Пример исследования: Генцен Г. Исследования логических выводов. Непротиворечивость чистой теории чисел // Математическая теория логического вывода. М.: Наука, С. 9-76,

Попытка пересмотра оснований математики Анализ возможности построения предиктивных логических процессов в контексте теории множеств и кибернетического подхода к обоснованию математики: Turchin V.F. A constructive interpretation of the full set theory // Journal of Symbolic Logic, V. 52. No. 1. PP В.Ф. Турчин. Феномен науки: Кибернетический подход к эволюции – М.: Наука, 1993 (1-е изд.). М.: ЭТС, 2000 (2-е изд.).

Модели адаптивного поведения – задел исследований когнитивной эволюции

Адаптивное поведение From Animal to Animat – модели адаптивного поведения животного и робота Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон) Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) «организмов» (аниматор, агентов), способных приспосабливаться к внешней среде ANIMAL + ROBOT = ANIMAT Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде Программа-максимум – попытаться проанализировать эволюцию когнитивных (познавательных) способностей животных и эволюционное происхождение человеческого интеллекта Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, М.: УРСС, 2004.

Адаптивное поведение Методы: Нейронные сети Эволюционное моделирование Обучение с подкреплением (Reinforcement Learning) Достоинство направления «Адаптивное поведение»: исследование конкретных животных и конкретных роботов Моделирование адаптивного поведения – бионический подход к искусственному интеллекту

Обучение с подкреплением (Reinforcement Learning, Richard Sutton, Andrew Barto, Массачусетский университет) t = 1,2,… – время, S(t) – ситуация, a(t) – действие, r(t) – подкрепление (поощрение, r(t) > 0 или наказание, r(t) < 0 ) Цель анимато – максимизировать суммарное подкрепление, которое можно получить в будущем. Схема обучения с подкреплением

Адаптивное поведение International Society for Adaptive Behavior Журнал Adaptive Behavior Международные конференции (раз в 2 года) SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy

Пример нейробиологической модели адаптивного поведения (Институт нейронаук, Дж. Эдельман)

Направление исследований – поколения моделей мозга: Darwin-1, Darwin-2, …, Darwin-XII Darwin-X. NOMAD: Neurally Organized Mobile Adaptive Device (Brain Based Device) 1) Устройство помещается в реальную физическую среду 2) Устройство должно решать поведенческую задачу 3) Устройство управляется модельной нервной системой, которая отражает архитектуру мозга и процессы в мозге 4) Поведение устройства и процессы в модельной нервной системе должны допускать сравнение с экспериментальными биологическими данными Институт нейронаук (Neuroscience Institute) (Калифорния, )

Darwin-X, моделирование поведения мыши в лабиринте Морриса 50 нейронных областей нейронов 1.4·10 6 синапсов Сенсорика: зрение, свои следы, ИК- детекторы J.L. Krichmar, A.K. Seth, D.A. Nitz, J.G. Fleischer, G.M. Edelman. Neuroinformatics, Vol. 3. No 3. PP

Darwin-X Есть комната размером 16 × 14 с цветными полосами на стенах. Есть скрытая платформа диаметром 24, которую Darwin-X может обнаружить, только находясь непосредственно над ней (инфракрасным детектором). В начале каждого эксперимента Darwin-X помещается в одну из 4-х стартовых точек (1–4).

Нейронная сеть Darwin-X V1,V2/4 are analogous to visual cortex IT – inferotemporal cortex PR – parietal cortex HD – the head direction system ATN – anterior thalamic nuclei M HDG – motor areas for egocentric heading BF – basal forebrain S – a value system R+, R– – positive and negative reward areas

Darwin-X. Результаты В результате серии (16 опытов) запусков Darwin-X приобретал способность находить скрытую платформу вне зависимости от места, на которое он помещался в начальный момент времени. До обучения нахождение платформы требовало около 530 с., после – около 220 с.

Выводы по модели Darwin-X Модель Darwin-X – эмпирическое компьютерное исследование, хорошо продуманное с биологической точки зрения Поведение Darwin-X нетривиально: обучение происходит быстро, формируются «нейроны места» в модельном гиппокампе, исследовано формирование «причинных связей» между областями модельного гиппокампа Работа слишком эмпирическая. Было бы полезно более формализованное исследование, дополнительное к этим эмпирическим работам

Контуры программы будущих исследований когнитивной эволюции Исследование моделей адаптивного поведения аниматор с несколькими естественными потребностями: питания, размножения, безопасности Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов) Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении Исследование процессов формирования логических выводов в «сознании» животных {УС, УС --> БС} => БС – аналог modus ponens

Начальные шаги моделирования когнитивной эволюции

Модель автономных агентов с естественными потребностями: питание, размножение, безопасность Редько В.Г., Бесхлебнова Г.А. Моделирование адаптивного поведения автономных агентов. Нейрокомпьютеры: разработка, применение С

Модель формирования обобщающих эвристик автономными агентами Редько В.Г., Бесхлебнова Г.А. Модель адаптивного поведения автономных агентов в двумерной клеточной среде // Научная сессия МИФИ XI Всероссийская научно-техническая конференция "Нейроинформатика-2009": Сборник научных трудов. В 2-х частях. Ч.1. М.: МИФИ,

Автономный агент в двумерной клеточной среде Агент Среда: 10x10 клеток. Порции пищи хаотически распределены в 50 клетках Система управления агента – набор правил: S k A k, S k и A k – ситуация и действие Ситуация S k характеризует наличие или отсутствие пищи в поле зрения агента Действия агента A k : движение вперед, поворот направо/налево, питание, отдых Веса правил W k модифицируются методом обучения с подкреплением Сначала выбор действий случайный, затем – в соответствии с весами Стрелка показывает направление вперед, кружки – поле зрения агента

Формирование правил и цепочек действий самообучающимся агентом 1) пища «здесь» «питаться» 2) пища «впереди» «двигаться вперед», затем «питаться» 3,4) пища «справа/слева» «поворачиваться направо/ налево», затем «двигаться вперед», затем «питаться» 5) не видно пищи «двигаться вперед», … Зависимость R(t) Имеется 16 ситуаций 5 действий, всего 80 правил При обучении отбирается 16 правил 5 эвристик обобщают отобранные правила:

Попутный результат: идея проекта на Нобелевскую премию

Модель взаимодействующих агентов (М.С. Бурцев, 2002) Агент Действия агента: двигаться вперед, поворачиваться направо или налево, питаться, размножаться, бороться с другими агентами Система управления агента – однослойная нейронная сеть При питании агент увеличивает свой ресурс, при действиях (особенно при борьбе) – расходует. При борьбе агенты отнимают ресурс друг у друга. Популяция агентов эволюционирует, есть отбор и мутации Стрелка показывает направление вперед, кружки – поле зрения анимато

Структура нейронной сети агента При мутациях меняются веса связей (веса синапсов нейронов) и может происходить удаление или добавление сенсоров или эффекторов. При отборе выживают агенты, имеющие наибольший ресурс

Зависимость численности популяции от времени Внизу – полная модель, вверху – эффекторы борьбы удалены

От агрессивной конкуренции к конструктивной Если попытаться развить этот подход для социально- экономических систем, то можно ожидать, что устранение агрессивной конкуренции (между людьми, фирмами, регионами, государствами) может увеличить благосостояние общества в 2 раза. Можно даже предложить идею проекта на Нобелевскую премию мира «Разработка научных основ всемирного разоружения». Но работа в этом направлении только-только начата… Редько В.Г., Бурцев М.С., Сохова З.Б., Бесхлебнова Г.А. Моделирование конкуренции при эволюции многоагентной системы

Кто еще работает в близких направлениях Witkowski M. An action-selection calculus // Adaptive Behavior, V. 15. No. 1. PP Butz M.V., Sigaud O., Pezzulo G., Baldassarre G. (Eds.). Anticipatory Behavior in Adaptive Learning Systems: From Brains to Individual and Social Behavior. LNAI 4520, Berlin, Heidelberg: Springer Verlag, Vernon D., Metta G., Sandini G. A survey of artificial cognitive systems: Implications for the autonomous development of mental capabilities in computational agents // IEEE Transactions on Evolutionary Computation, special issue on Autonomous Mental Development, V. 11. No. 2. PP

Витяев Е.Е. Принципы работы мозга, содержащиеся в теории функциональных систем П.К. Анохина и теории эмоций П.В. Симонова // Нейроинформатика (электронный рецензируемый журнал) Т С Демин А.В., Витяев Е.Е. Логическая модель адаптивной системы управления // Нейроинформатика (электронный рецензируемый журнал) Т С Работы по моделированию целенаправленного поведения (Г.С. Осипов), нестандартным логикам (В.К. Финн, А.П. Еремеев, В.Н. Вагин), многоагентным системам (В.Б. Тарасов), мобильным роботам (В.Э. Карпов, В.Е. Павловский, А.С. Ющенко) Кто еще работает в близких направлениях

Контуры программы будущих исследований когнитивной эволюции Исследование моделей адаптивного поведения аниматор с несколькими естественными потребностями: питания, размножения, безопасности Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов) Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении Исследование процессов формирования логических выводов в «сознании» животных {УС, УС --> БС} => БС – аналог modus ponens

Актуальность моделирования когнитивной эволюции Эти исследования связаны с основаниями науки, с основаниями математики Моделирование когнитивной эволюции интересно с точки зрения развития теории познания Есть задел в направлении исследований «Адаптивное поведение» Эти исследования важны с точки зрения развития когнитивных наук, так как они связаны с важными когнитивными процессами – процессами научного познания Исследования эволюционного происхождения интеллекта – развитие научных основ разработок ИИ

Что делать Аналитические обзоры моделей автономных агентов, обладающих познавательными способностями Сопоставление когнитивных свойств живых организмов с когнитивными способностями модельных «организмов» Развитие моделей когнитивной эволюции Пересмотр оснований математики (в духе работ В.Ф. Турчина) Развитие научных основ разработок ИИ * * * Данная презентация: