Методы качественного оценивания систем Дисциплина: «Системный анализ в сфере сервиса» Лекция 4 Автор: Чабан М.А. - презентация

1 Методы качественного оценивания систем Дисциплина: «Системный анализ в сфере сервиса» Лекция 4 Автор: Чабан М.А.

2 Классификация методов системного анализа М Е Т О Д Ы С И С Т Е М Н О Г О А Н А Л И З А Методы, направленные на использование интуиции и опыта специалистов Методы формализованного представления систем Методы типа «мозговой атаки» Методы типа «сценариев» Методы экспертных оценок Методы типа Дельфы Методы структуризации (методы типа «дерева целей») Методы организации сложных экспертиз Морфологические методы Метод морфологического ящика Метод отрицания и конструирования Метод систематического покрытия А н а л и т и ч е с к и е м е т о д ы С т а т и с т и ч е с к и е м е т о д ы М е т о д ы дискретной м а т – к и Семиоти- ческие Лингвисти- ческие логические теоретико- множественные

3 Методы типа «мозговая атака» или коллективной генерации идей, конференции идей, методы обмена мнениями Цель методов Поиск новых идей, их мировое обсуждение и конструктивная критика Поиск новых идей, их мировое обсуждение и конструктивная критика Основа методов Гипотеза, что среди большого числа идей имеется, по меньшей мере, несколько хороших, полезных для решения проблемы, которые нужно выявить Гипотеза, что среди большого числа идей имеется, по меньшей мере, несколько хороших, полезных для решения проблемы, которые нужно выявить

4 Особенности методов типа «мозговая атака» При проведении мозговой атаки стараются обеспечить как можно большую свободу мышления участников и высказывания новых ими идей. При проведении мозговой атаки стараются обеспечить как можно большую свободу мышления участников и высказывания новых ими идей. Проблема формулируется в основных терминах, выделяется центральный пункт обсуждения, высказываются и подхватываются любые идеи, даже если они в начале кажутся сомнительными и абсурдными, не допускается критики, оказывается поддержка и поощрение. Проблема формулируется в основных терминах, выделяется центральный пункт обсуждения, высказываются и подхватываются любые идеи, даже если они в начале кажутся сомнительными и абсурдными, не допускается критики, оказывается поддержка и поощрение.

5 Методы типа «мозговая атака» Преимущества методов Получение максимального количества предложений Получение максимального количества предложений Недостатки методов Достаточно трудно в реальных условиях обеспечить жёсткое выполнение требуемых правил, создать атмосферу мозговой атаки Достаточно трудно в реальных условиях обеспечить жёсткое выполнение требуемых правил, создать атмосферу мозговой атаки

6 Область применения методов типа «мозговая атака» Применялись при разработке и реализации программ долгосрочных научных исследований НАТО, Применялись при разработке и реализации программ долгосрочных научных исследований НАТО, в военном прогнозировании, в военном прогнозировании, в настоящее время используются в качестве одного из элементов методик системного анализа в настоящее время используются в качестве одного из элементов методик системного анализа

7 Методы типа сценариев Цель методов Подготовить документ, содержащий анализ рассматриваемой проблемы и предложения по её решению или по развитию системы, независимо от того, в какой форме представлен этот документ Подготовить документ, содержащий анализ рассматриваемой проблемы и предложения по её решению или по развитию системы, независимо от того, в какой форме представлен этот документ Основа методов В письменном виде готовятся и согласуются представления о проблеме или анализируемом объекте В письменном виде готовятся и согласуются представления о проблеме или анализируемом объекте

8 Особенности методов типа сценариев Предусматривает содержательные рассуждения, помогающие не упустить детали, которые невозможно учесть в формальной модели; содержит результаты количественного технико-экономического или статистического анализа с предварительными выводами

9 Методы типа сценариев Преимущества методов Сценарий позволяет создать предварительное представление о проблеме (системе) в ситуациях, которые не удаётся сразу отобразить формальной моделью Сценарий позволяет создать предварительное представление о проблеме (системе) в ситуациях, которые не удаётся сразу отобразить формальной моделью Недостатки методов Из-за того, что сценарий – это текст, существует возможность неоднозначного его толкования Из-за того, что сценарий – это текст, существует возможность неоднозначного его толкования

10 Область применения методов типа сценариев По типу сценариев разрабатывались прогнозы в отраслях промышленности. По типу сценариев разрабатывались прогнозы в отраслях промышленности. Разновидностью сценариев можно считать комплексные программы научно-технического прогресса и его социально-экономических последствий, которые разрабатывались в период реформ 70-х годов. Разновидностью сценариев можно считать комплексные программы научно-технического прогресса и его социально-экономических последствий, которые разрабатывались в период реформ 70-х годов. В последнее время понятие сценария расширяется в направлении, как областного применения, так и форм представления и методов их разработки. В сценарий вводятся: В последнее время понятие сценария расширяется в направлении, как областного применения, так и форм представления и методов их разработки. В сценарий вводятся: – количественные параметры, –устанавливаются их взаимозависимости, –предлагаются методики подготовки сценария с использованием ЭВМ, –методики целевого управления подготовкой сценария.

11 Методы экспертных оценок Цель методов Оценить объект на основе обработки информации, полученной от экспертов и получить более достоверные и надёжные результаты Оценить объект на основе обработки информации, полученной от экспертов и получить более достоверные и надёжные результаты Основа методов Различные формы экспертного опроса с последующим оцениванием и выбором наиболее предпочтительного варианта Различные формы экспертного опроса с последующим оцениванием и выбором наиболее предпочтительного варианта

12 Особенности методов экспертных оценок Неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. Предполагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, получаемых от группы экспертов и что обобщённое коллективное мнение является достоверным. Неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. Предполагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, получаемых от группы экспертов и что обобщённое коллективное мнение является достоверным. Экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса. Экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса. При организации экспертного опроса с устным обсуждением результатов оценки между турами опроса эксперт-лидер может "увести" группу экспертов в желаемом направлении. При организации экспертного опроса с устным обсуждением результатов оценки между турами опроса эксперт-лидер может "увести" группу экспертов в желаемом направлении.

13 Методы экспертных оценок Преимущества методов Всякий выбор основан на оценивании или на сравнении альтернатив. В ряде случаев не удаётся сделать такую оценку "объективно", т.е. произвести нужные измерения с помощью измерительных приборов. Тогда и прибегают к экспертным оценкам. Всякий выбор основан на оценивании или на сравнении альтернатив. В ряде случаев не удаётся сделать такую оценку "объективно", т.е. произвести нужные измерения с помощью измерительных приборов. Тогда и прибегают к экспертным оценкам. Недостатки методов Проблемы связаны с формированием экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности; с методиками организации опроса; подходами к оцениванию; методами обработки экспертных оценок; способами определения согласованности мнений экспертов, достоверности экспертных оценок. Проблемы связаны с формированием экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности; с методиками организации опроса; подходами к оцениванию; методами обработки экспертных оценок; способами определения согласованности мнений экспертов, достоверности экспертных оценок.

14 Область применения методов экспертных оценок Широкое применение в социально- экономических исследованиях

15 Методы типа Дельфи Цель методов По ряду последовательно осуществляемых процедур формируется групповое мнение по проблемам, по которым ощущается недостаток информации По ряду последовательно осуществляемых процедур формируется групповое мнение по проблемам, по которым ощущается недостаток информации Основа методов Использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учёт этих результатов при оценке значимости мнений экспертов Использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учёт этих результатов при оценке значимости мнений экспертов

16 Особенности методов типа Дельфи Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами: анонимностью, анонимностью, регулируемой обратной связью, регулируемой обратной связью, групповым ответом групповым ответом

17 Методы типа Дельфи Преимущества методов Выявление преобладающих суждений с помощью этого метода позволяет сблизить точки зрения экспертов. Групповой ответ в большинстве случаев становится точнее Выявление преобладающих суждений с помощью этого метода позволяет сблизить точки зрения экспертов. Групповой ответ в большинстве случаев становится точнее Недостатки методов Трудоёмкость обработки результатов; Трудоёмкость обработки результатов; значительные временные затраты; значительные временные затраты; сложность при реализации на практике сложность при реализации на практике

18 Область применения методов типа Дельфи Используется при долгосрочном прогнозировании, для изучения ряда экономических и социальных проблем

19 Методы типа дерева целей Цель методов Получение полной относительной устойчивой структуры целей, проблем, направлений, т.е. такой структуры, которая на протяжении какого-то периода времени мало изменялась при неизвестных изменениях, происходящих в любой развивающейся системе Получение полной относительной устойчивой структуры целей, проблем, направлений, т.е. такой структуры, которая на протяжении какого-то периода времени мало изменялась при неизвестных изменениях, происходящих в любой развивающейся системе Основа методов Использование иерархической структуры, получаемой путём расчленения общей цели на подцели, а их, в свою очередь, на более детальные составляющие, которые в конкретных приложениях называют подцелями нижележащий уровней, направлениями, проблемами, а начиная с некоторого уровня – функциями. Использование иерархической структуры, получаемой путём расчленения общей цели на подцели, а их, в свою очередь, на более детальные составляющие, которые в конкретных приложениях называют подцелями нижележащий уровней, направлениями, проблемами, а начиная с некоторого уровня – функциями.

20 Особенности методов типа дерева целей При использовании метода в качестве средства принятия решений часто применяют термин "дерево решений". При использовании метода в качестве средства принятия решений часто применяют термин "дерево решений". При применении метода для выявления и уточнения функций системы управления говорят о "дереве целей и функций". При применении метода для выявления и уточнения функций системы управления говорят о "дереве целей и функций". При структуризации тематики научно-исследовательской организации пользуются термином "дерево проблемы, При структуризации тематики научно-исследовательской организации пользуются термином "дерево проблемы, При разработке прогнозов – "дерево направлений развития (прогнозирования развития)" или "прогнозный граф". При разработке прогнозов – "дерево направлений развития (прогнозирования развития)" или "прогнозный граф".

21 Методы типа дерева целей Преимущества методов 1) Это графическое изображение связи между целями и средствами их достижения; 2) Метод позволяет представить полную картину взаимосвязей будущих событий и получить информацию об их относительной важности; 3) Иерархическое представление целей позволяет исходя из главной цели : согласовывать затраты, согласовывать затраты, сбалансировано распределять ресурсы; сбалансировано распределять ресурсы; если не исключить, то хотя бы сократить пропуски и ошибки в планировании; если не исключить, то хотя бы сократить пропуски и ошибки в планировании; Недостатки методов Далеко не всегда удаётся выделить единственную генеральную цель Далеко не всегда удаётся выделить единственную генеральную цель

22 Область применения методов типа дерева целей Идея метода впервые была предложена У. Черчменом в связи с проблемами принятия решений в промышленности. Идея метода впервые была предложена У. Черчменом в связи с проблемами принятия решений в промышленности. Использование деревьев целей отмечено в методах ПАТТЕРН, Поспелова, прогнозного графа Глушкова. Использование деревьев целей отмечено в методах ПАТТЕРН, Поспелова, прогнозного графа Глушкова. Сегодня программно-целевой подход, в основе которого лежит использование деревьев цели, является одним из основных методов перспективного планирования. Сегодня программно-целевой подход, в основе которого лежит использование деревьев цели, является одним из основных методов перспективного планирования.

23 Морфологические методы Метод систематического покрытия поля Метод систематического покрытия поля Метод отрицания и конструирования Метод отрицания и конструирования Метод морфологического ящика Метод морфологического ящика

24 Морфологические методы Цель методов Поиск возможных вариантов решения поставленной проблемы путём комбинирования выделенных исследователем структурных элементов системы Поиск возможных вариантов решения поставленной проблемы путём комбинирования выделенных исследователем структурных элементов системы Основа методов Систематически находить наибольшее число, а в пределе все возможные варианты поставленной проблемы или реализации системы путём комбинирования основных структурных элементов системы или их признаков. При этом система или проблема может разбиваться на части разными способами и рассматриваться в различных аспектах. Систематически находить наибольшее число, а в пределе все возможные варианты поставленной проблемы или реализации системы путём комбинирования основных структурных элементов системы или их признаков. При этом система или проблема может разбиваться на части разными способами и рассматриваться в различных аспектах.

25 Особенности метода систематического покрытия поля Метод предполагает, что существует некоторое число "опорных пунктов" знания в любой исследуемой области. Например: теоретические положения, теоретические положения, эмпирические факты, эмпирические факты, известные на данный момент компоненты сложной системы, известные на данный момент компоненты сложной системы, открытые законы, в соответствии с которыми протекают различные процессы и т.п. открытые законы, в соответствии с которыми протекают различные процессы и т.п. Исходя из ограниченного числа опорных пунктов знания и достаточного числа принципов мышления с помощью этого метода ищут возможные варианты решения поставленной проблемы.

26 Особенности метода отрицания и конструирования Метод реализуется с помощью трёх этапов: формирование ряда высказываний, соответствующих современному уровню развития исследуемой области знаний; формирование ряда высказываний, соответствующих современному уровню развития исследуемой области знаний; замена одного, нескольких или всех сформулированных высказываний на противоположные; замена одного, нескольких или всех сформулированных высказываний на противоположные; построение всевозможных следствий, вытекающих из такого отрицания и проверка непротиворечивости вновь полученных и оставшихся неизменными высказываний построение всевозможных следствий, вытекающих из такого отрицания и проверка непротиворечивости вновь полученных и оставшихся неизменными высказываний

27 Особенности метода морфологического ящика Метод проводится в пять этапов: 1) формулировка поставленной проблемы; 2) определение параметров P n, от которых зависит решение проблемы; 3) деление параметров P n на их значения и представление их в виде матриц-строк. Набор значений по одному из каждой строки различных параметров - возможные вариант решения моделируемой задачи; 4) оценка всех имеющихся в морфологическом ящике вариантов; 5) выбор наилучшего варианта.

28 Морфологические методы Преимущества методов Отправными точками системного исследования Ф. Цвикки считает: 1) равный интерес ко всем объектам морфологического моделирования; 2) ликвидацию всех оценок и ограничений до тех пор, пока не будет получена полная структура исследуемой области; 3) максимально точную формулировку поставленной проблемы.

29 Морфологические методы Недостатки методов При построении и исследовании морфологического ящика пятый этап – выбор наилучшего варианта решения задачи. (у Цвикки – оптимального). Однако речь об оптимизации идти не может. Идею поиска наилучшего варианта лучше квалифицировать как постепенно ограничиваемый перебор, который с самого начала сокращается благодаря формированию морфологического ящика, затем область выбора решения ограничивается в результате исключения явно неприемлемых вариантов, а дальнейшее ограничение области возможных решений можно организовать путём введения и учёта количественных, а затем и качественных критериев. При формировании и анализе многомерных морфологических ящиков возникают существенные трудности в их представлении лицам, принимающим решения, в интерпретации результатов.

30 Область применения морфологических методов В систематизированном виде методы морфологического анализа сложных проблем были разработаны Ф. Цвикки (швейцарский астроном). Они нашли широкое средство как средство активизации изобретательской деятельности. А при моделировании –задач автоматизации проектирования, задач планирования, например, распределения заказов по плановым периодам, размещения их по производствам, линиям сборки и т.п., удобным средством оказался метод морфологического ящика. Расширению практического применения этого метода существенно способствует автоматизация морфологического моделирования. В систематизированном виде методы морфологического анализа сложных проблем были разработаны Ф. Цвикки (швейцарский астроном). Они нашли широкое средство как средство активизации изобретательской деятельности. А при моделировании –задач автоматизации проектирования, задач планирования, например, распределения заказов по плановым периодам, размещения их по производствам, линиям сборки и т.п., удобным средством оказался метод морфологического ящика. Расширению практического применения этого метода существенно способствует автоматизация морфологического моделирования.

31 Методы получения качественных экспертных оценок 1) Экспертная классификация 2) Метод парных сравнений 3) Ранжирование альтернативных вариантов 4) Метод векторов предпочтений 5) Дискретные экспертные кривые

32 В каких случаях используется экспертная классификация В случаях, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классам, категориям, условиям, сортам и т.д. В случаях, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классам, категориям, условиям, сортам и т.д. В случаях, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Заранее может быть не определено и число классов, на которое производится разбиение оцениваемых объектов. В случаях, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Заранее может быть не определено и число классов, на которое производится разбиение оцениваемых объектов.

33 В каких случаях используется метод парных сравнений Метод парных сравнений является одним из наиболее распространённых методов оценки сравнительной предпочтительности альтернативных вариантов

34 В каких случаях используется ранжирование альтернативных вариантов Достаточно распространённой процедурой является также непосредственное ранжирование экспертом по предпочтительности оцениваемых альтернативных вариантов

35 В каких случаях используется метод векторов предпочтений Этот метод чаще используется при необходимости получения коллективного экспертного ранжирования.

36 В каких случаях используется дискретные экспертные кривые Если целью является разработка прогнозов или анализ динамики изменения показателей, характеризующих объект выработки и принятия управленческого решения, то целесообразно воспользоваться дискретными экспертными кривыми.