Модели автономных когнитивных агентов – бионический задел развития искусственного интеллекта НИИ системных исследований РАН Редько Владимир Георгиевич. - презентация

1 Модели автономных когнитивных агентов – бионический задел развития искусственного интеллекта НИИ системных исследований РАН Редько Владимир Георгиевич

2 План доклада 1.Направления, в которых ведутся исследования автономных когнитивных агентов 2.Примеры моделей автономных агентов 2.1. Модель взаимодействия между обучением и эволюцией 2.2. Схема многоагентной модели честной конкурентной экономики 2.3. Идея проекта на Нобелевскую премию мира 3.Заключение

3 Исследования автономных агентов

4 Адаптивное поведение Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон) Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) «организмов» (аниматов, агентов), способных приспосабливаться к внешней среде ANIMAL + ROBOT = ANIMAT Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде Программа-максимум – попытаться проанализировать эволюцию когнитивных (познавательных) способностей животных и эволюционное происхождение человеческого интеллекта Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, М.: УРСС, 2004, 2011.

5 Искусственная жизнь Направление исследований «Искусственная жизнь» сформировалось в конце 1980-х годов. Основной мотивацией исследований искусственной жизни служит желание понять и промоделировать формальные принципы организации биологической жизни. Сторонники направления «Искусственная жизнь» часто считают, что они исследуют более общие формы жизни, чем те, которые существуют на Земле. Т.е. изучается жизнь, какой она могла бы в принципе быть (life-as-it-could-be), а не обязательно та жизнь, какой мы ее знаем (life-as-we-know-it).

6 Когнитивные архитектуры Под когнитивными архитектурами понимаются структуры и принципы функционирования познающих систем, которые можно использовать в искусственном интеллекте. Langley P., Laird J.E., Rogers S. Cognitive architectures: Research issues and challenges // Cognitive Systems Research V.10. No. 2. PP Laird L.E. The Soar Cognitive Architecture. Cambridge et al.: The MIT Press, Самсонович А.В. Biologically inspired cognitive architectures – проведение международных конференций 2010, 2011 гг. Конференции BICA: Палермо (2012), Киев (2013).

7 Автономные агенты Автономные агенты имеют свою собственную систему управления. Автономные агенты вполне могут рассматриваться как объединяющее понятие для отмеченных направлений. Работы по автономным агентам ведутся как со стороны биологических наук, так со стороны вычислительных наук. Vernon D., Metta G., Sandini G. A survey of artificial cognitive systems: Implications for the autonomous development of mental capabilities in computational agents // IEEE Transactions on Evolutionary Computation, special issue on Autonomous Mental Development, V. 11. No. 2. PP

8 Примеры моделей автономных агентов

9 Модель взаимодействия между обучением и эволюцией в популяции автономных агентов

10 После появления дарвиновской теории эволюции возник вопрос: могут ли за счет случайного мутационного поиска возникать весьма нетривиальные полезные навыки живых организмов? Появились концепции: обучение может существенно способствовать эволюционному процессу (эффект Болдуина). Baldwin J.M. A new factor in evolution. American Naturalist V. 30. P Morgan C.L. On modification and variation. Science V. 4. P Osborn H.F. Ontogenetic and phylogenetic variation. Science V. 4. P Модель анализирует основные механизмы взаимодействия между обучением и эволюцией. Модель эволюции и обучения

11 Эволюционирующая популяция состоит из n особей. Особь имеет генотип и фенотип S Fk, которые закодированы одинаковыми по форме цепочками символов длины N. Символы цепочек S Gk и S Fk равны 0 либо 1. Имеется случайная оптимальная цепочка S M той же формы, которая ищется в процессе обучения и эволюции. Генотип особи S Gk в течение поколения не меняется. Фенотип S Fk модифицируется путем обучения методом проб и ошибок. Каждое поколение длится Т тактов времени. При рождении S Fk (t = 1) = S Gk. Отбор определяется S FTk = S Fk (t = T). Модель эволюции и обучения

12 Приспособленность особи определяется расстоянием по Хеммингу ρ = ρ(S FTk,S M ) между оптимумом S M и фенотипом S Fk в конце поколения: f(S k ) = exp[-ρ(S FTk,S M )] + ε, (1) где S FTk = S Fk (t = T), 0 < ε

13 Параметры расчетов: N = 100, n = 100, p mutation = 0.01, ε = Эволюция с обучением и эволюция без обучения Зависимость среднего по популяции расстояния генома до оптимума = от номера поколения G эволюция без обучения эволюция с обучением G

14 Механизм влияния обучения Распределение особей n(ρ) по величинам ρ в первом поколении эволюции n(ρ) ρ Геномы S Gk 1. В начале поколения 4. После отбора Фенотипы S Fk 3. После отбора 2. Перед отбором Геномы отобранных особей (4) достаточно близки к фенотипам этих особей (3)

15 Роль эффекта нагрузки на обучение Оптимум находится. Поиск происходит примерно в 10 быстрее, чем без учета эффекта нагрузки Зависимость среднего по популяции расстояния генома до оптимума = от номера поколения G. Приспособленность особи равна: f(S k ) = exp{-ρ[S Fk (t = 0), S Fk (t = T)]} {exp[-ρ(S FTk,S M )] + ε} (2) G

16 Механизм эффекта нагрузки на обучение Распределение особей n(ρ) по величинам ρ в первом поколении эволюции n(ρ) ρ Геномы S Gk 1. В начале поколения 4. После отбора Фенотипы S Fk 3. После отбора 2. Перед отбором Распределения (3) и (4) резко сближаются. Это приводит к эффективному ускорению поиска

17 Выводы по модели эволюции и обучения 1.Показано, что обучение может радикально ускорять эволюционный поиск 2.Выяснены механизмы этого ускорения 3.Приобретаемые путем индивидуального обучения навыки в течение ряда поколений могут перекодироваться в геноме, становиться наследуемыми, хотя эволюция носит дарвиновский характер

18 Модель честной конкурентной экономики Имеется сообщество инвесторов и производителей. Инвесторы могут генерировать легких агентов (аналогов муравьев): агентов-разведчиков и агентов намерений. Имеется период T, характеризующий циклы работы сообщества. В начале периода инвесторы вкладывают капитал в производителей, а конце периода – получают свою долю прибыли. Перед окончанием периода T инвесторы рассылают агентов-разведчиков и предварительно оценивают, в каких производителей стоит делать вклад в следующий период. После первой оценки они рассылают агентов намерений и указывают свои вклады производителям. Такая рассылка делается итеративно. В конце итераций делается окончательный выбор вложений капитала инвесторами. Статья:

19 Вымирание генов агрессивности в эволюционирующей популяции конкурирующих агентов или идея проекта на Нобелевскую премию мира

20 Модель взаимодействующих агентов (М.С. Бурцев, 2002) Агент Действия агента: двигаться вперед, поворачиваться направо или налево, питаться, размножаться, бороться с другими агентами Система управления агента – однослойная нейронная сеть При питании агент увеличивает свой ресурс, при действиях (особенно при борьбе) – расходует. При борьбе агенты отнимают ресурс друг у друга Популяция агентов эволюционирует, есть отбор и мутации Стрелка показывает направление вперед, кружки – поле зрения агента

21 Структура нейронной сети агента При мутациях меняются веса связей (веса синапсов нейронов) и может происходить удаление или добавление рецепторов или эффекторов При отборе выживают агенты, имеющие наибольший ресурс

22 Зависимость численности популяции от времени Внизу – полная модель, вверху – эффекторы борьбы удалены

23 От агрессивной конкуренции к конструктивной Если попытаться развить этот подход для социально- экономических систем, то можно ожидать, что устранение агрессивной конкуренции (между людьми, фирмами, регионами, государствами) может увеличить благосостояние общества в 2 раза. Можно даже предложить идею проекта на Нобелевскую премию мира «Разработка научных основ всемирного разоружения». Пока есть только идея и затравочная модель…

24 1.Имеется ряд направлений, в которых ведутся исследования автономных когнитивных агентов 2.Исследуются как компьютерные методы (например, эволюционная оптимизация), так и когнитивные, интеллектуальные свойства агентов 3.Имеется ряд перспективных направлений применения автономных когнитивных агентов 4.Результаты этих исследований целесообразно использовать в искусственном интеллекте Заключение

25 Спасибо за внимание!