ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова О ПРОБЛЕМЕ И НЕКОТОРЫХ ПРИНЦИПАХ ЗАЩИТЫ ОТ РИСКОВ ИЗ-ЗА ЧЕЛОВЕЧЕСКОГО ФАКТОРА ПРИ ИСПОЛЬЗОВАНИИ ФОРМАЛЬНЫХ МОДЕЛЕЙ И МЕТОДОВ ДЛЯ УПРАВЛЕНИЯ СЛОЖНЫМИ ПРОИЗВОДСТВЕННЫМИ ОБЪЕКТАМИ Н.А.Абрамова Лаборатория «Когнитивное моделирование и управление ситуациями» Институт проблем управления, РАН

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова ПЛАН ДОКЛАДА Введение. СПО. Немного истории 1. Проблема рисков из-за человеческого фактора при решении практических задач управления посредством формальных моделей и методов 2.Характерные типы рисков ошибки по Дёрнеру психологическая некорректность по Ларичеву. Сдвиги рациональности «ошибки» интранзитивности 3.Некоторые принципы защиты от рисков 4.Применение принципов защиты от рисков из-за человеческого фактора в технологии когнитивного анализа и моделирования развития ситуаций 5.О новом семействе когнитивных рисков 6.Некоторые выводы

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Проблема рисков из-за человеческого фактора при решении практических задач управления посредством формальных моделей и методов (1) Первая волна интереса к учету человеческого фактора в науке управления - конец 60-х начало 70-х годов ХХ века. Значимые идеи первой волны –недостаточный учет свойств человека (человеческих факторов) при построении тех или иных систем, включающих человека, в основном, в роли оператора может привести к неудовлетворительному решению поставленных задач: снижению надежности, уровня безопасности, достоверности и т.п. – поиск решений проблемы рисков, обусловленных человеческим фактором, должен охватывать не только сами объекты и системы, но и процесс их проектирования. Носители риска – не только люди, участвующие в процессе управления сложным объектом (СПО), будь то операторы, или менеджеры, или ЛПР, аналитики, эксперты –но и разработчики методов и систем управления и информационных технологий, и даже ученые, которые теоретически обосновывают методы управления. Риски первого рода Риски второго рода

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Проблема рисков из-за человеческого фактора при решении практических задач управления посредством формальных методов (2) существенное усложнение объектов на основе формальных моделей и методовСегодня имеет место существенное усложнение объектов, для которых создаются методы и системы управления или поддержки принятия решений на основе формальных моделей и методов. формализация знанийКлючевым признаком, объединяющим самые разные методы и технологии решения задач управления СПО в слабоструктурированных проблемных ситуациях, является формализация знаний экспертов, аналитиков и других специалистов – носителей первичных знаний в проблемной области; носителей знаний о целях, намерениях, мотивациях и.т.п. отсутствием или неполнотой объективной информации о СПО.Необходимость привлечения экспертных знаний нередко обусловлена отсутствием или неполнотой объективной информации о СПО. посредством субъектно-формальных (экспертных) методов концептуализация; структурирование… концептуализация; структурирование… экспертные оценки; экспертные оценки; правила; правила; По выделенному основному признаку такого рода методы можно объединить под названием «субъектно-формальные методы» экспертные методы слабоструктурированных

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова The problem of risks due to the human factor … of complex and ill-structured objects and situations in the control of complex and ill-structured objects and situations risks for the results validity risks for the results validity that arise due to the human factor –Objective aspect cannot provide validity of received decisions at least, for formalization Formal methods basically cannot provide validity of received decisions due to inevitable and substantial humans participation in solving practical problems (at least, for formalization of primary representations). such methods are basically riskySimply speaking, such methods (which we refer to as subjective- formal methods) are basically risky concerning validity of their results –Subjective aspect The importance of the problem is underestimated by scientific community, despite known results on its practical significance The problem is interdisciplinary Diversity of formal models and methods Достоверность результатов применения метода понимается в широком интуитивном смысле как возможность полагаться на эти результаты при решении конкретной практической задачи. Можно говорить и о достоверности метода как о его возможности давать достоверные результаты.

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Субъективный аспект О проблеме рисков… Субъективный аспект James Boyle, Professor of Law, Duke University Декабрь 2007 … Behavioral economics, constitutional law, and decision theory have one thing in common. They all focus on the most likely skews and biases in rationality, politics, and decision- making. We cannot choose to make no mistakes. type of mistakes disproportionately likely minimize them But we can learn what type of mistakes we are disproportionately likely to make and build our organizations to minimize them. organizations

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова 3. Характерные типы рисков

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Дёрнер Д. Логика неудачи. Стратегическое мышление в сложных ситуациях. – М.: Смысл, – 243 с. Ошибки по Дёрнеру относятся к этапам понятийно-структурной формализации первичных знаний о проблемных ситуациях и путях выхода из них неясность целей,использованием сложных, многозначных понятий неясность целей, обусловленная использованием сложных, многозначных понятий, которые могут означать множество самых разных содержаний и процессов; игнорирование взаимосвязанности, противоречивости целей игнорирование взаимосвязанности, противоречивости выбранных целей; выработка "редуцирующих гипотез", выработка "редуцирующих гипотез", приводящих к формированию упрощенного представления о сложной или непривычной ситуации; упорная нечувствительность к неадекватности таких гипотез; ошибки односторонности ошибки односторонности – выбор центра тяжести вместо целостного образа ситуации, причем критериями выбора центра тяжести могут быть выбирается явно проявляющаяся проблема критерий очевидности, когда выбирается явно проявляющаяся проблема, решаютсяпроблемы которые можно решить и критерий наличия методов, когда решаются не те проблемы, которые надо решать, а те, которые можно решить ; баллистическое" поведение "баллистическое" поведение, т.е. неготовность контролировать и оперативно корректировать принятые решения и др. построение сверхобобщений ошибке «обобщения по сходству», построение сверхобобщений и манипулирование ими применительно к новым ситуациям без учета специфических условий последних, приводящее к ошибке «обобщения по сходству», т.е. к реагированию скорее на сходство, чем на различия; неправильный выбор модели принятие линейной модели неправильный выбор модели для экстраполяции при прогнозировании развития ситуации, в частности, принятие линейной модели, не соответствующей реальной динамике. …

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Психологическая некорректность по Ларичеву «Мягкие» качественные измерения такие как сравнение, отнесение к классу, упорядочение гораздо более надежны, чем назначение субъективных вероятностей, количественные оценки – критериев важности, – весов, – полезностей и т.д. транзитивности

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Когнитивные риски Прежде всего, интерес представляют факторы риска, которые –имеют систематический характер –с трудом объяснимы с позиций здравого смысла или даже противоречат ему; не известны математикам, разрабатывающим нормативные модели для представления экспертных знаний или не признаются ими или игнорируются Восприятие, Внимание, Память Мышление, Знания, Объяснение, Понимание, Язык Структуризация – Распознавание – Концептуализация Когнитивные риски – риски, которые объяснимы с учетом факторов (механизмов), относящихся к когнитивной сфере человека.

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Two kinds of risk factors (1) during their application by expertsThe risk factors psychologically influencing validity of expert methods during their application by experts belong to first-kind factors, or factors of direct action. –Such factors can either objectively promote invalidity of results, or raise subjective confidence of experts of objective validity of the method application results (factors of belief). –Agents of influence of these factors are experts just they appear in conditions which may lead, eventually, to insufficiently valid (in the objective relation) results. Ограниченная рациональность; сдвиги рац-ти

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Two kinds of risk factors (2) duringcreation and justification of the methods Second-kind risk factors or factors of an indirect action psychologically influence upon validity of expert methods during creation and justification of the methods. –Agents of influenceare creators of methods –Agents of influence of such factors are creators of methods: scientists experts producing standards, designers of informational technologies –They, in turn, are subject to influence of scientific norms, paradigms, etc., that is the strongest factors of belief. psychologically incorrect models of knowledge of the experts –Typical second-kind risk factors are psychologically incorrect models of knowledge of the experts, creating risk of unreliable (unstable or inconsistent) data from experts, with the models being supported by belief (often unconscious) in their validity. Примеры: Фактор риска – формализованная модель риска!! – линейная свертка показателей!! – допущения, ограничивающие применимость модели …

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова The pragmatical importance of the problem of risks due to the human factor The pragmatical importance of the given problem of risks due to the human factor obviously depends on how much significant are risks obtaining invalid results in solving practical problems. human factors can be the significant source of risk for quality of resultsBy present time theoretical, experimental and even practical knowledge is accumulated, leading to understanding or directly saying that human factors can be the significant source of risk for quality of results obtained with subjective-formal methods In particular, wide spectrum of biases in psychological researches in the field of the limited rationality biases of the person (usually not relating to activities on solving control problems), which evidence to numerous types of risks in intellectual activity of the person.

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова 3. Некоторые принципы защиты от рисков Как защищаться от рисков на практике ?

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Некоторые принципы защиты от рисков в процессе примененияобщий принцип защиты от рисков из-за человеческого фактора в процессе применения данного СУФ-метода и его результатов для решения конкретной практической задачи, начиная с ранних этапов частные принципы –раннее обнаружение и блокирование источников риска и семантических ошибок формализации, не препятствующих дальнейшему применению метода, посредством отладки формализуемых знаний с контролем над рисками; –сквозной контроль применимости общей модели знаний, лежащей в основе формализации, к конкретной практической ситуации, включая априорный и апостериорный контроль –Принцип отладки формализуемых знаний –Принцип верификации модели –… Некоторые принципы защиты от рисков в процессе применения начиная с ранних этапов метода и его результатов –раннее обнаружение и блокирование источников риска и семантических ошибок формализации, не препятствующих дальнейшему применению метода, посредством отладки формализуемых знаний с контролем над рисками ; – Принцип отладки формализуемых знаний проверки соответствия модели определенным критериям качества формализации

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Суть принципа сквозного контроля применимости общей модели М к практической ситуации М – общая модель знаний об управленческой ситуации S – первичные (формализуемые) знания о конкретной ситуации Априорная оценка: применимо (М,S) Изменение априорной неприменимо (М,S) оценки: – на этапе формализации, когда М применяется в качестве схемы для представления первичных знаний S; – в ходе отладки, когда обработка результата формализации М(S) дает неприемлемый результат; – в ходе практического применения результата работы метода R(М(S)) Изменение априорной неприменимо (М,S) оценки:

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Применение принципов защиты от рисков из-за человеческого фактора в технологии когнитивного анализа и моделирования развития ситуаций 4. Применение принципов защиты от рисков из-за человеческого фактора в технологии когнитивного анализа и моделирования развития ситуаций

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Пример: фрагмент когнитивной карты

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова стратегическое управление безопасным развитием СПО включая защиту от когнитивных рисков * ОБЩАЯ СХЕМА МЕТОДА ФОРМИРОВАНИЯ И ДИНАМИЧЕСКОЙ КОРРЕКЦИИ СТРАТЕГИЙ И СЦЕНАРИЕВ РЕШЕНИЯ ПРОБЛЕМ В РАЗВИТИИ СИТУАЦИИ И ДИНАМИЧЕСКОЙ КОРРЕКЦИИ Баллистическое поведение !!!

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова включая защиту от когнитивных рисков * ОБЩАЯ СХЕМА МЕТОДА ФОРМИРОВАНИЯ И ДИНАМИЧЕСКОЙ КОРРЕКЦИИ СТРАТЕГИЙ И СЦЕНАРИЕВ РЕШЕНИЯ ПРОБЛЕМ В РАЗВИТИИ СИТУАЦИИ И ДИНАМИЧЕСКОЙ КОРРЕКЦИИ неправильный выбор модели для экстраполяции при прогнозировании развития ситуации, в частности, принятие линейной модели ???

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Развитие базовой технологии когнитивного анализа … О реализации общей схемы На сегодня эмпирически проверена возможность обнаружения рисков и прямых ошибок формализации на начальных этапах формализации –на реальных когнитивных картах сложных слабо структурированных проблемных ситуаций, составленных экспертами, эмпирически проверена возможность обнаружения рисков и прямых ошибок формализации на начальных этапах формализации –проверена возможность независимой верификации –проверена возможность независимой верификации модели конкретной ситуации –найдены новые типы практически значимых когнитивных рисков

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова О новом семействе когнитивных рисков 5. О новом семействе когнитивных рисков Риски ложной транзитивности каузальных (причинно-следственных) влияний

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Некоторые риски, связанные с транзитивностью каузальных влияний (1) по транзитивности

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Исходный фрагмент когнитивной карты с ложной транзитивностью Описание примера. Факты Некоторые риски, связанные с транзитивностью каузальных влияний и их анализ сверхобобщение сверхобобщение

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Описание примера. Факты (2) Некоторые риски, связанные с транзитивностью каузальных влияний и их анализ 2 2 Исправленный фрагмент когнитивной карты

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Анализ когнитивных рисков Некоторые риски, связанные с транзитивностью каузальных влияний и их анализ Ложная транзитивность Два вида факторов риска Предположение об универсальности принципа транзитивности каузальных влияний Несоразмерность понятий по общности фактор риска первого рода фактор риска второго рода

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Некоторые выводы Проблема рисков из-за человеческого фактора в управлении сложными и слабоструктурированными объектами является практически значимой проблемойПроблема рисков из-за человеческого фактора в области формальных моделей и методов поиска и принятия решений в управлении сложными и слабоструктурированными объектами и ситуациями является практически значимой проблемой, особенно, для критических приложений. Сегодня список значимых рисков и прямых ошибок критериев для раннего обнаружения далек от завершения требуются эмпирические исследования и привлечение знаний когнитивных наукСегодня список значимых рисков и прямых ошибок, типичных для моделей, основанных на когнитивных картах так же как список известных критериев для раннего обнаружения таких ошибок, далек от завершения; то же самое справедливо для других типов моделей для формализации качественных знаний; требуются дальнейшие эмпирические исследования и привлечение знаний когнитивных наук. Представляется продуктивным единообразный подход к проблемеПредставляется продуктивным рассматривать проблему рисков как общую проблему для разнородных моделей специалистов знаний об объектах управления и решаемых задачах и соответствующих формальных методов и применять единообразный подход к проблеме. Идея о продуктивности единообразного подходанашла подкрепление и дальнейшее развитиеИдея о продуктивности единообразного подхода нашла подкрепление и дальнейшее развитие при изучении недавно обнаруженного семейства рисков: рисков нарушения аксиомы транзитивности причинно-следственных транзитивности влияний ( рисков ложной транзитивности).

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН Переславль, 2-4 октября 08 С Н.А. Абрамова Из словаря Лопатникова СЛАБОСТРУКТУРИРОВАННАЯ ПРОБЛЕМА [ill-structured problem] качественная, не полностью поддающаяся детальному количественному анализу. В экономике, как и в других социальных науках, решаемые проблемы практически всегда относятся к слабоструктурированным. Поэтому исследование начинается с их качественного анализа, структуризации, т. е. расчленения на такие части, которые можно преобразовать в эквивалентные хорошо определенные задачи. Они решаются, а затем производится синтез проблемы на новом, более высоком уровне ее понимания (см. также Сложная система).проблемыанализаструктуризациисинтезСложная система СЛОЖНАЯ СИСТЕМА [complex system] термин, который большинство авторов употребляют как синоним термина большая система; другие же проводят между ними различия. Напр., считают, что величина системы отражает лишь количество ее элементов и связей между ними, а сложность характеризует неоднородность этих элементов и связей. Следовательно, С. с. невозможно исследовать иначе, чем по подсистемам не только потому, что ее не охватишь взглядом, но потому, что неоднородность каждой из них требует для своего описания иного языка. Напр., завод можно рассматривать как С. с., состоящую из материально-вещественной, финансовой, кадровой и других подсистем. Первую из них описывают на языке материально-вещественных связей (потоков сырья, продукции и т. д.), вторую на языке финансовых категорий (денежных выплат, цен и т. п.), третью на языке социологии, учета кадров.большая системаэлементовсвязейподсистемамязыка Можно и по-другому расчленить С. с. завод на подсистемы: ими будут, напр., цехи, службы, другие подразделения; или еще по-иному выделив вспомогательное и основное производство, бытовое обслуживание работников. Возможность различного (по разным основаниям) членения системы на подсистемы является, следовательно, признаком ее сложности. С. с. обычно обладает иерархической структурой. Ей присуще также свойство целостности: изменения, возникшие в каком-либо из ее элементов, сказываются и на других элементах, на функционировании всей системы. Отсюда необходимость системного подхода к изучению С. с., что в данном случае означает исследование каждой ее части с учетом целей и функционирования в целом. Изучение таких С. с. особенно затрудняется тем, что в них действует множество разнородных факторов, приводящих к различным по природе, но тесно взаимодействующим процессам.иерархической структуройцелостностисистемного подхода факторовпроцессам Можно встретить также термины диффузная система, плохо организованная система,слабоструктурированная система, и все они означают то же, что рассматриваемый термин. С. с. (большие системы) есть всюду в природе, технике, обществе. Изучением их общих закономерностей, особенностей и структуры занимается теория больших систем с широким использованием математической статистики и экономико-математических моделей..математической статистикиэкономико-математических моделей.