Кафедра общественного здоровья и здравоохранения По дисциплине «Доказательная медицина» Тема: Правила представления результатов исследования. Оценка медицинских. - презентация

1 Кафедра общественного здоровья и здравоохранения По дисциплине «Доказательная медицина» Тема: Правила представления результатов исследования. Оценка медицинских публикаций. лекция 7 для студентов 1 курса, обучающихся по специальности – «Лечебное дело» Зав. кафедрой ОЗиЗ К.м.н. доц. Шульмин А. В. Красноярск, 2011

2 Цель лекции: Формирование комплексного представления и навыка относительно чтения и интерпретации медицинских публикаций.

3 План лекции 1. Систематические обзоры и мета-анализ. 2. Краткое введение. 3. Технические особенности и статистическая обработка.

4 КОКРАНОВСКОЕ СОТРУДНИЧЕСТВО Отыскивать и обобщать самую достоверную информацию о результатах лечебных вмешательств КОКРАНОВСКОЕ СОТРУДНИЧЕСТВО Отыскивать и обобщать самую достоверную информацию о результатах лечебных вмешательств

5 В своей программной книге, опубликованной в 1972 году, британский эпидемиолог Арчи Кокран обратил внимание, что общество пребывает в неведении относительно истинной эффективности лечебных вмешательств. Принятие решений на основе достоверной информации невозможно из-за недоступности обобщенных данных об эффективности лечебных вмешательств. В 1979 году А. Кокран писал: Очень стыдно, что медики до сих пор не создали системы аналитического обобщения всех актуальных рандомизированных клинических испытаний (РКИ) по всем дисциплинам и специальностям с периодическим обновлением обзоров.

6 В эмблеме Кокрановского Сотрудничества символически представлен систематический обзор семи рандомизированных клинических испытаний, в которых сравнивали определенное медицинское вмешательство и плацебо. Каждая горизонтальная линия отражает результаты одного испытания (чем короче линия, тем они достовернее), а ромб представляет суммарный результат анализа всех испытаний. Вертикальная линия, делящая круг пополам соответствует одинаковому эффекту исследуемых методов. Если горизонтальная линия пересекается с вертикалью, значит, в данном исследовании не было выявлено превосходства одного метода над другим. Расположение ромба в левой половине круга означает преимущество экспериментального метода. Если бы последний уступал контрольному методу, большинство горизонтальных линий и ромб лежали бы в правой половине круга.

7 Эта диаграмма иллюстрирует результаты систематического обзора нескольких рандомизированных клинических испытаний короткого и недорогого курса кортикостероидов при угрозе прерывания беременности. Отчет о первом из этих испытаний был опубликован в 1972 году. Если бы через десять лет после этого был проведен систематический обзор всех рандомизированных клинических испытаний, стало бы ясно (это видно на диаграмме), что данное вмешательство позволяет значительно снизить риск смерти недоношенных детей. К 1981 году было опубликовано еще семь аналогичных испытаний, только прибавивших уверенность в результате. Вышеназванное лечение снижает шансы смерти новорожденных детей на 3050%.

8 Систематический обзор этих испытаний появился только в 1989 году; а до этого времени большинство акушеров не представляли себе, насколько эффективны кортикостероиды для профилактики осложнений преждевременных родов. В результате этого десятки тысяч недоношенных детей могли умереть, были потрачены колоссальные средства на дорогостоящие и неэффективные методы лечения. И это лишь один из множества примеров той цены, которую мы платим за отсутствие регулярно обновляемых систематических обзоров испытаний медицинских вмешательств.

9 Когда в октябре 1992 года открывали первый Кокрановский центр в Оксфорде, была высказана надежда, что начинание Кокрана найдет широкий отклик у медицинской общественности всего мира. Спустя 6 месяцев эта идея была подробно разработана на собрании, организованном Нью-йоркской Академией Наук. В октябре 1993 года на первом из ставших ежегодными Кокрановском Коллоквиуме 73 представителя из 9 стран стали соучредителями Кокрановского Сотрудничества.

10 Кокрановское Сотрудничество – международная организация исследователей, поставивших своей целью отыскивать и обобщать результаты всех когда-либо проведенных рандомизированных клинических испытаний лечебных вмешательств. Цель систематического обзора – способствовать принятию медицинских решений на основе самых достоверных фактов.

11 Основной продукт деятельности Кокрановского сотрудничества - электронная база данных, называемая Кокрановской библиотекой. Строго доказанные научные факты необходимы для оказания квалифицированной медицинской помощи, однако найти и обобщить такие факты нелегко. БИБЛИОТЕКА КОКРАНОВСКОГО СОТРУДНИЧЕСТВА – лучший источник для получения научного обоснования эффективности лечебных вмешательств.

12 Профессор П. Гоче директор североевропейского Кокрановского центра

13 Не надо попусту тратить драгоценное время, читая бессмысленные статьи, где показаны совершенно незначительные результаты маленьких исследований.Не надо попусту тратить драгоценное время, читая бессмысленные статьи, где показаны совершенно незначительные результаты маленьких исследований. Количество публикаций о новых методах лечения растет экспоненциально в мире издается около 30 тысяч медицинских журналов и даже за частью изданий практически невозможно.Количество публикаций о новых методах лечения растет экспоненциально в мире издается около 30 тысяч медицинских журналов и даже за частью изданий практически невозможно.

14 Доказательная медицина

15 Пирамида выбора медицинских технологий Доказанная эффективность Оптимальное соотношение эффективности и безопасности Экономическая целесообразность Выбор врача пациента Клинические факторы Экономи ческие факторы Маркети нговые факторы Медицинские технологии

16 Систематический обзор Применение научной методики, ограничивающей ошибки (bias) к систематическому объединению, критической оценке и синтезу всех существенных исследований на определенную тему Мета-анализ Систематический обзор, включающий статистические методы объединения и суммирования результатов нескольких отдельных исследований

17 Furberg и Morgan (1987) определяют 6 причин проведения мета-анализа: 1. Получение более стабильной оценки эффекта терапии 2. Оценка различий между исследованиями и возможности обобщения результатов 3. Анализ эффекта терапии в подгруппах 4. Предоставление более надежных данных лицензирующим организациям для получения разрешения на использование препарата 5. Оценка потребности и планирование исследований 6. Сравнение результатов данного исследования с другими, проводившимися по этой теме.

18 Мета-анализ – это вторичный статистический анализ данных нескольких исследований Методы мета-анализа нацелены на противопоставление и сравнение результатов отдельных исследований с целью определения соответствующих моделей и источников разногласий в результатах этих исследования Основные цели Задача синтеза (объединенная оценка) и Задача анализа (оценка различий)

19 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

20 Возможные цели проведения обзора подтверждение результатов на большей популяции руководство для новых исследований Постановка исследовательского вопроса с позиций биологии, медицины и здравоохранения с использованием следующих определений: популяция вмешательство исходы (как благоприятные, так и вредные)

21 Критерии включения Дизайн исследования например, проспективные, рандомизированные маскированные испытания с плацебо-контролем Популяция например, лица обоего пола, европеоиды и монголоиды, старше 50 лет, с исходно высоким риском тромбоэмболии Вмешательства например, применение фракционированных гепаринов (клексан, фраксипарин, варфарин) в течение 10 лет Исходы например, количество тромбоэмболий в течение 10 лет у контрольной и экспериментальной групп, смертность от тромбоэмболий

22 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

23 Факторы успешного поиска литературных данных Четко определенная цель и координация работы Помощь профессионального библиотекаря Определение языковых ограничений Требования к объему поиска зависят от области знаний и интересующего вопроса

24 Возможные источники компьютеризированные библиографические базы данных, в том числе в сети Интернет статьи-обзоры рефераты публикаций материалы конференций диссертации книги эксперты агентства-грантодатели реестры клинических испытаний фармакологические компании ручной поиск в журналах

25 Процедура поиска обычно начинается с поиска библиографических отчетов (индексы цитирования, базы данных рефератов) в полученных публикациях ссылки просматриваются на предмет новых ссылок Опубликованные отчеты (ошибка публикации, т.е. тенденция публиковать статистически значимые результаты) Для исключения ошибки публикации требуется поиск неопубликованных данных Базы данных неопубликованных отчетов Реестры клинических исследований Реестры клинических испытаний Неопубликованные диссертации Материалы конференций

26 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

27 Отбор исследований 2 независимых эксперта отбирают исследования Отбор исследований, соответствующих поставленному вопросы, базируется на заранее определенных параметрах популяции, типу вмешательства, исходам и дизайну исследования Мерой согласия двух экспертов является каппа-статистика Разногласия решаются консенсусом Определяются причины исключения исследований

28 Каппа-статистика Статистика каппа, называемая также мерой меж индивидуального согласия, используется для: -Оценки повторяемости (repeatability) результатов одного и того же теста на одном и том же случае (пациенте) -Оценки согласованности двух диагностических тестов, оценивающих один и тот же параметр -Оценки согласованности в заключениях двух независимых экспертов по одной и той же проблеме

29 Каппа-статистика Доктор 1 Нет ДаВсего Доктор 2 Нет 10 (34.5%) A 7 (24.1%) B 17 (58.6%) A+B Да 0 (0.0%) C 12 (41.4%) D 12 (41.4%) C+D Всего 10 (34.5%) A+C 19 (65.5%) B+D 29 (100%) N

30 Каппа-статистика Каппа = (наблюдаемое согласие-случайное согласие) (1-случайное согласие) Наблюдаемое согласие = (A+D)/N Случайное согласие = ((A+B)*(A+C)+(B+D)*(B+C))/N^2 Расчет доверительных интервалов представляет собой сложную математическую задачу. Программа NCSS 2001 позволяет рассчитывать каппа- статистику и ее стандартную ошибку в разделе Analysis -> Proportions -> Cross Tabs / Chi-Square Tests 95% ДИ: Каппа ± 1.96*(стандартная ошибка Каппа)

31 Каппа-статистика Ориентировочные границы для каппа-статистики (по Landis и Koch, 1977): Каппа Степень согласия 0.00Крайне слабое Незначительное Слабое Умеренное Значительное Практически полное

32 Выкопировка данных Два независимых эксперта выбирают данные согласно заранее разработанной единой форме –Характеристики пациентов –Дизайн и методы исследования –Результаты исследования –Качество методологии Уровень согласия: каппа-статистика Разногласия решаются консенсусом

33 Выкопировка данных… Беспристрастная, четко сформулированная, легко воспроизводимая процедура Должна включать все соответствующие меры положительных и отрицательных исходов вмешательства При необходимости – контакт с авторами для прояснения методов, результатов и т.п. Получение исходных данных по каждому пациенту, если опубликованных данных недостаточно для выяснения вопросов о: проведении «анализа в зависимости от планируемого лечения», анализа времени до наступления исхода, имевшихся подгрупп, дозо-зависимого ответа

34 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

35 Описание каждого исследования Объем выборки Характеристика пациентов Подробности использованных вмешательств Подробности оцениваемых исходов

36 Оценка качества методологии Может использоваться как: Порог включения Возможное объяснение неоднородности Оценка качества основывается на том, какая из ошибок (bias) минимизирована Шкалы оценки качества должны быть сжатыми и «прозрачными» Оценка воспроизводимости оценки качества Отчет об использованной шкале оценки качества

37 Пример оценки качества ++ показывает высокое качество рандомизации (например, использовалась компьютерная программа генерации случайных чисел) Исследование РандомизацияМаскирование Оценка выбывания Adami Black Bone Chestnut Hosking Liberman McClung

38 Оценка качества методологии В настоящее время разработаны единые шкалы оценки качества публикаций. Примером шкалы, которая используется для оценки как рандомизированных, так и нерандомизированных испытаний, является шкала, разработанная Downs и Black (1998 год). Эта шкала позволяет оценить исследование по пяти категориям и ее результатом будет оценка качества от 1 до 32.

39 Шкала Downs и Black: Изложение материала Вопросы 1-10: Изложение Количество очков 1) Цель 1 2) Четко ли основные изучаемые исходы описаны во введении или методах?1 3) Четко ли описаны характеристики пациентов, включенных в исследование?1 4) Четко ли описаны исследуемые вмешательства?1 5) Четко ли описаны распределения основных смещающих в каждой из сравниваемых групп пациентов? 2 6) Четко ли описаны основные результаты исследования?1 7) Даны ли в исследования оценки случайного разброса данных для основных исходов? 1 8) Описаны ли все важные побочные эффекты, которые могут наступить вследствие вмешательства? 1 9) Описаны ли характеристики пациентов, вышедших из исследования?1 10) Даны ли фактические уровни значимости (например, вместо <0.05) для всех основных исходов за исключением тех, в которых уровень значимости меньше 0.001? 1

40 Шкала Downs и Black: Внешняя обоснованность Вопросы 11-13: Внешняя обоснованность (обобщаемость) 11) Были ли пациенты, приглашенные в исследование, репрезентативной выборкой из той популяции, из которой они были набраны? 1 12) Были ли пациенты, подготовленные к участию в исследовании, репрезентативной выборкой из той популяции, из которой они были набраны? 1 13) Был ли персонал, место проведения исследования и доступные средства диагностики репрезентативной выборкой из доступной для большинства пациентов медицинской помощи? 1

41 Шкала Downs и Black: Внутренняя обоснованность Вопросы 14-20: Внутренняя обоснованность – ошибка(bias) 14) Была ли сделана попытка маскирования получаемого вмешательства от пациентов? («ослепление») 1 15) Была ли сделана попытка маскирования вмешательства от лиц, оценивающих основные исходы? 1 16) Есть ли среди результатов те, которые получены путем «разгребания данных», было ли это сделано достаточно ясно? (Те виды анализа, которые не были запланированы до проведения исследования, должны быть четко описаны) 1 17) Была ли при анализе сделана поправка на различную продолжительность наблюдения за разными больными в испытаниях и когортных исследованиях? В случае исследований «случай-контроль» был ли период времени между вмешательством и исходом одинаковым для случаев и контролей? 1 18) Соответствовали ли фактическим данным те статистические методы, которые использовались для оценки основных исходов? 1 19) Была ли достаточно надежной (высокой) степень следования назначенному лечению (комплаэнтность)? 1 20) Были ли основные использованные меры исхода точными (обоснованными и надежными)? 1

42 Шкала Downs и Black: Внутренняя обоснованность Вопросы 21-26: Внутренняя обоснованность – смещающие (confounding) 21) Были ли набраны группы с различными методами вмешательства (для испытаний и когортных исследований) из одной и той же популяции? Были ли случаи и контроли (для исследований «случай-контроль») набраны из одной и той же популяции? 1 22) Были ли набраны группы с различными методами вмешательства (для испытаний и когортных исследований) в один и тот же период времени? Были ли случаи и контроли (для исследований «случай-контроль») набраны в один и тот же период времени? 1 23) Была ли проведена рандомизация пациентов в разные группы?1 24) Было ли скрыто рандомизированное распределение по группам от пациентов и работников здравоохранения до тех пор, пока исследование не будет полностью закончено и проанализировано? 1 25) Была ли сделана адекватная поправка на вмешивающийся фактор в анализе, из которого были получены основные результаты? 1 26) Было ли принято во внимание выбывание пациентов из исследования?1

43 Шкала Downs и Black: Мощность Вопрос 27: Мощность 27) Была ли в исследовании достаточная мощность для выявления клинически значимого эффекта, при уровне значимости (вероятности выявления различий там, где их нет, т.е. случайно) менее 5%? 5

44 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

45 Статистические методы мета-анализа В основе мета-анализа лежит идея стандартизации представления результатов отдельных исследований таким образом, чтобы их можно было сравнивать друг с другом. Пример: Препарат 1: t=4,0; N=256; p<0,001 Препарат 2: t=2,0; N=64; p<0,05 Препарат 3: t=0,5; N=4; p<0,64 Исследования препаратов отличаются по количеству человек и уровню значимости. Какой препарат лучше?

46 Статистические методы мета-анализа Изначально применявшийся в систематических обзорах подход в виде простого подсчета (vote-counting) достоверных и недостоверных результатов в поддержку или в опровержение эффективности препарата оказался ошибочным! В 1970x годах Glass и Cohen начали разработку методов универсальной оценки величины эффекта (effect size). Эта оценка позволяла бы сравнивать разные формы представления результатов исследования, относящихся к одному исходу.

47 Статистические методы мета-анализа Первая из разработанных формул относилась к разнице между контрольной и экспериментальной группой (d Коуэна, Cohens d): d = (Mc - Me) / SD Где Mc – среднее в контрольной группе, Me – среднее в экспериментальной группе, SD – объединенная оценка стандартного отклонения. Позднее Hedges и Olkin выявили, что эта формула дает смещение (bias) при малом объеме групп, и предложили поправку для расчета точного (unbiased) значения величины эффекта: g = d x ( 1 - ( 3 / 4 * N - 9 )) В том или ином виде эта поправка используется во всех мета-аналитических программах

48 Статистические методы мета-анализа Далее, на основе работ Rosental и Fisher были предложены методы перевода результатов в вероятности, стандартизованные значения (шкала Z – нормализующее преобразование Фишера) и саму величину эффекта d Коуэна (или g Хиджеса). Кроме того, для сравнения исследований, в которых результат дан в виде коэффициента корреляции, был предложен третий вариант оценки величины эффекта – корреляционная величина эффекта r.

49 Статистические методы мета-анализа В настоящее время возможен пересчет всех трех мер величины эффекта друг в друга. Кроме того, в различных мета-аналитических пакетах величина эффекта рассчитывается на основе: -Значения t-критерия Стьюдента -Значения U-критерия Манна-Уитни -Значения F-критерия при дисперсионном анализе -Значения критерия хи-квадрат -Значения различных коэффициентов параметрической и ранговой корреляции -Точных значений уровня значимости p -Частот четырехпольной таблицы -Значений приблизительных тестов на основе нормального распределения (величина Z)

50 Статистические методы мета-анализа Примеры преобразований: Основываясь на этих данных, мы, в частности, получим равную эффективность всех указанных выше препаратов!

51 Статистические методы мета-анализа Cohen (1988) предложил следующую классификацию величины эффекта d: Слабый терапевтический эффект d = 0.2 Средний терапевтический эффект d = 0.5 Большой терапевтический эффект d = 0.8 Для эффекта на основе коэффициента корреляции он предложил следующую классификацию: r = ±0,1 – малые значения r = ±0,3 – средние значения r = ±0,5 – большие значения

52 Статистические методы мета-анализа Единая величина эффекта для качественных данных представляет меньшие трудности, ее можно выразить в виде: -Отношения шансов -Относительного риска -Снижения абсолютного риска -Числа больных, которых необходимо лечить (Number Needed to Treat, NNT)

53 Статистические методы мета-анализа Проблема сравнения не исчерпывается, однако, разработкой единой величины эффекта. Еще одну проблему составляет невозможность прямого сравнения исследований с разным количеством человек в выборках, что выражается и в разной статистической значимости, и в разных значениях выборочной ошибки. Решение этой проблемы заключается в методе «взвешивания» (weighting), то есть придания каждому исследованию определенного «веса» по отношению ко всем остальным.

54 Статистические методы мета-анализа Одним из простейших методов «взвешивания» является использование количества человек в каждом исследовании в качестве весового коэффициента. Например, если Ni – это количество человек в отдельном исследовании, ESi – величина эффекта в каждом исследовании, а N – общее количество человек во всех исследованиях, то общий средне-взвешенный эффект будет равен:

55 Статистические методы мета-анализа Более сложным, но более надежным методом «взвешивания» являются величины, обратные дисперсии в каждом исследовании. Считается, что чем выше качество исследования, тем меньше в нем случайный разброс показателей. Более подробно мы рассмотрим этот метод чуть дальше.

56 Проблемы мета-анализа На настоящий момент не до конца решен вопрос о самой возможности применения методов вычислительной статистики к объединенным данным нескольких исследований. Для того, чтобы вычислительная статистика давала корректные результаты, в основе данных должна быть вероятностная выборка (все члены исходной популяции должны иметь равные шансы попасть в исследование) или хотя бы репрезентативная выборка (структура выборки должна соответствовать структуре популяции)

57 Проблемы мета-анализа В мета-анализе такое условие, естественно, не выполняется. Проблема сравнения «яблок и апельсинов» (то есть, разнородных популяций) периодически поднимается различными исследовательскими группами. Основоположники мета-анализа постулировали, что в мета-анализе нет смысла для нулевой гипотезы (есть отличия/нет отличий). Мета-анализ позволяет получить более точную оценку величины эффекта и оценить его однородность в исследованиях.

58 Компьютерные пакеты для мета-анализа В настоящее время разработано уже несколько десятков программ для проведения самых различных методик мета-анализа. На сайте, посвященном мета-анализу ( ) имеются ссылки ряд бесплатных программ (MetaStat, Meta Analysis, Meta Easy to Answer), рассчитанных на работу в системе MS-DOS. Однако наибольшую популярность среди исследователей имеет программа Review Manager, разработанная Кохрановским сотрудничеством для проведения систематических обзоров. Программа бесплатная, доступна для скачивания с сайта:

59 Программы для мета-анализа Программа Review Manager (в настоящее время доступна версия 4.2) является законченным программным продуктом для разработки, составления, проведения и статистического анализа систематических обзоров. «Карманная книга составителя систематических обзоров Кохрановского сотрудничества» (Clarke M, Oxman AD, editors. Cochrane Reviewers Handbook [updated January 2003]. In: The Cochrane Library, Issue 1, Oxford: Update Software) предусматривает использование именно Review Manager в качестве программы для разработки и проведения мета- анализа. Таким образом, эта программа – официальный инструмент для проведения Кохрановских систематических обзоров.

60 Методы анализа в Review Manager Тип данных СтатистикаМодель Метод Дихотомические Отношение шансовпостоянные эффектыPeto Mantel-Haenszel случайные эффектыDerSimonian и Laird Относительый рискпостоянные эффектыMantel-Haenszel случайные эффектыDerSimonian и Laird Разница рисковпостоянные эффектыMantel-Haenszel случайные эффектыDerSimonian и Laird Непрерывные Взвешенная средняя разница постоянные эффекты Обратная дисперсия случайные эффектыDerSimonian и Laird Стандартизованная взвешенная средняя разница постоянные эффекты Обратная дисперсия случайные эффектыDerSimonian и Laird Данные по каждому больному odds ratio (O-E)постоянные эффектыPeto

61 Дискретные – отношение шансов (О) Событие Нет события Экспериментальная группа a b n e Контрольная группа c d n c Формула ОШ: Стандартная ошибка ОШ: 100(1- α )% доверительный интервал:

62 Дискретные – относительный риск (R) Формула расчета: Стандартная ошибка: 100(1- α)% доверительный интервал: Событие Нет события Экспериментальная группа a b n e Контрольная группа c d n c

63 Дискретные – разница рисков (D) Формула расчета: Стандартная ошибка: 100(1- α)% ДИ: Событие Нет события Экспериментальная группа a b n e Контрольная группа c d n c

64 Непрерывные данные – средняя разница (MD) объемсреднееСО Экспериментальная группаn e s e Контрольная группаn c s c

65 Непрерывные данные – стандартизированная средняя разница (SMD) объемсреднееСО Экспериментальная группаn e s e Контрольная группаn c s c

66 Когда использовать MD и SMD Средняя разница Когда исследования имеют сравнимые меры исходов (т.е. одна шкала, возможно – равное время наблюдения) Методика мета-анализа с применением MD называется взвешенной средней разнице (WMD) Стандартизованная средняя разница Когда в исследованиях используются разные измерения одного и того же клинического исхода (напр., разные шкалы) Метод заключается в переводе отдельных шкал в одну общую: количество стандартных отклонений

67 Пример: Объединение результатов разных шкал для оценки отечности суставов Исследование Эксперим. группа Контрольная группа Ср.СОNСр.СОNMDSMD Andersen Furst Pinheiro-- Weinblatt Williams

68 Источники разброса в исследованиях Может существовать разброс результатов между отдельными исследованиями (модели случайных и постоянных эффектов) Может различаться выборочная ошибка (СОС) (зависит от объема выборки) Могут различаться характеристики отдельных исследований (популяция, вмешательства)

69 Моделирование разброса Интересующий нас параметр – величина эффекта Θ (количественная оценка среднего терапевтического эффекта) Число независимых исследований: k Единая оценка величины эффекта в каждом исследовании: Y i (i=1,2,…,k) Достаточно большой объем выборки (практически нормальное распределение)

70 Модель постоянных эффектов Y i считается отдельным наблюдением из распределения со средним Θ (т.е. общим средним всех исследований) Y i считаются независимо распределенными согласно нормальному распределению с параметрами Θ и s 2 i, при этом i варьирует от 1 до k, где s 2 i – это дисперсия для соответствующего Y i, а среднее всех отдельных Y i = Θ

71 Модель случайных эффектов Y i считается отдельным наблюдением из распределения со средним Θ i (т.е. характерное для каждого исследования среднее) Y i считаются независимо распределенными согласно нормальному распределению с параметрами Θ i и s 2 i, при этом i варьирует от 1 до k, где s 2 i – это дисперсия для соответствующего Y i, а среднее всех отдельных Y i = Θ i Θ i считается отдельным наблюдением из распределения «эффектов» со средним Θ Θ i считаются независимо распределенными согласно нормальному распределению с параметрами Θ i и τ 2, при этом i варьирует от 1 до k, где –τ 2 – это дисперсия Θ, то есть разброс между исследованиями –Θ – средний терапевтический эффект

72 Модель случайных эффектов… Оценка среднего терапевтического эффекта Θ После усреднения всех отдельных эффектов Θ i считается, что Y i распределено согласно нормальному распределению с параметрами (Θ и s 2 i + τ 2 ), Хотя нас интересует в первую очередь эффект Θ, нужно обязательно рассчитать и оценить τ 2 Оценка отдельных терапевтических эффектов Θ i Распределение Θ i зависит от конкретных данных исследования, τ 2 и Θ, и считается нормальным со следующими параметрами: F – это фактор сжатия для каждого исследования отдельно:

73 Моделирование разброса Исследования стратифицируются, а затем объединяются с поправкой на различия в объеме выборки и характеристиках исследования Рассчитывается средняя взвешенная величина всех эффектов отдельных исследований Остается открытым вопрос о том, применять ли общую оценку или набор разных, специфичных для каждого исследования… Решение: Провести тест на неоднородность Если достоверных признаков неоднородности нет, использовать модель постоянных эффектов В противном случае определить характеристики исследований, которые позволяют расклассифицировать их в группы с однородными эффектами или же провести анализ случайных эффектов

74 Общая схема модели постоянных эффектов Иссл.Оценка СОСВес 1Y 1 s 1 W 1 2Y 2 s 2 W kY k s k W k (нет зависимости: Y i =0) Объединенная величина эффекта

75 Критерий хи-квадрат: Если большой связь Если большой неоднородность

76 Графическое отображение Для каждого исследования –Оценка эффекта (квадратик) –95% доверительный интервал (ДИ) (линия) –Размер квадратика отражает весовой коэффициент исследования Сплошная вертикальная линия «нет эффекта» –Если с ней пересекается доверительный интервал, эффект статистически незначим (p>0.05) Горизонтальная ось –арифметическая: RD, MD, SMD –логарифмическая: OR, RR Ромб отражает объединенную величину эффекта и его 95% ДИ Вертикальная пунктирная линия проходит через среднюю объединенную величину эффекта

77 Отношение шансов Три метода объединенной оценки (1) Метод Мантель-Гензель (2) Метод Пето (3) Метод максимального правдоподобия Относительный риск Разница рисков

78 Отношение шансов Пето Отношение шансов Мантель-Гензель

79 Относительный риск Разница рисков

80

81 Взвешенная средняя разница Стандартизованная средняя разница

82 Неоднородность Определите значение неоднородности для каждого обзора Заранее определите важную для вас степень неоднородности (при больших объемах данных даже небольшая неоднородность может оказаться статистически значимой) Если обнаружена неоднородность, исследуйте ее возможные источники (различия в качестве исследований, пациентах, особенностях вмешательства, определении или оценке исхода) Если существует неоднородность между исследованиями, попробуйте использовать модель случайных эффектов Если неоднородность можно объяснить существующими гипотезами, проведите анализ в подгруппах с соответствующим представлением результатов Если неоднородность логически не объясняется, анализ подгрупп и статистическое объединение данных нужно делать с величайшей осторожностью

83 Как выявить неоднородность Здравый смысл Имеют ли достаточное сходство пациенты, вмешательства и меры исхода в каждом из исследований Разведочный анализ характеристик отдельных исследований Статистические тесты на гетерогенность: –Тест Q Кохрана на неоднородность –Тест I Хиджеса –Остаточная дисперсия –Величина надежности

84 Статистические методы выявления неоднородности Критерий Q Кохрана Выявляет достоверность отличий индивидуальных эффектов в отдельных исследованиях от объединенного эффекта Критерий I Хиджеса Показывает, сколько процентов разброса объединенного эффекта объясняются выборочной ошибкой в отдельных исследованиях. Чем ближе этот показатель к 100%, тем ниже неоднородность. При значении больше 75% данные считаются однородными. В программе Review Manager используется величина 100-I, то есть однородные данные наблюдаются при I < 25%.

85 Статистические методы выявления неоднородности Остаточная дисперсия Если из общей дисперсии объединенного эффекта вычесть дисперсию, обусловленную выборочной ошибкой отдельных исследований, то остаточная дисперсия должна быть не более 25% от величины объединенного эффекта. Величина надежности (fail-safe N) Это то количество исследований с противоположным результатом, которое потребуется для того, чтобы объединенная величина эффекта стала незначимой.

86 Как проводить анализ неоднородных данных 1. Вообще не объединять неоднородные данные 2. Игнорировать неоднородность и использовать модель постоянных эффектов тяжело интерпретировать величину эффекта 3. Исследовать неоднородность анализ подгрупп мета-регрессионный анализ 4. Модель случайных эффектов

87 Изучение неоднородности

88

89 Модель случайных эффектов Если известна величина τ 2, то наилучшей оценкой Θ будет: Если же τ 2 неизвестно, то можно использовать три метода оценки: Ограниченного максимального правдоподобия (REML) Метод Байеса Метод моментов (MOM)

90 Метод моментов (Модель случайных эффектов) Исследование ОценкаВес (ПЭ)Вес (СЭ) 1Y 1 W 1 w 1 * =(w ) -1 2Y 2 W 2 w 2 * =(w ) kY k W k w k * =(w k -1 + ) -1 Объединенная величина эффекта

91 Постоянные эффекты Случайные эффекты

92 Постоянные эффекты

93 «Лишнего – вон!» - удалено исследование Chestnut

94 Анализ Включите в анализ все подходящие и клинические значимые оценки эффекта лечения В случае, когда данные слишком немногочисленны, неоднородны или имеют низкое качество, проведите обычный описательный систематический обзор качественного характера Определите, какая модель использована – с постоянными эффектами или со случайными Опишите долю пациентов, которая оценивалась в конечном варианте анализа Используйте доверительные интервалы Проведите анализ мощности Обдумайте возможность проведения кумулятивного мета-анализа (по дате публикации, исходному риска, качеству исследований), который позволяет определить вклад каждого последующего исследования в оценку эффекта

95 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

96 Анализ подгрупп Заранее определите небольшое количество подгрупп для анализа Отмечайте все возможные подгруппы для анализа, выявляемые в ходе синтеза Если выявляются различные подгруппы, оцените их: Предполагались ли эти группы a priori Насколько велико их число Правдоподобно и логично ли их выделение Представляют ли они важность (количественные, качественные изменения) Выявляются ли они в большинстве исследований Достоверны ли различия (с поправкой на множественность сравнений)

97 Анализ чувствительности Позволяет оценить устойчивость результатов по отношению к ключевым особенностям исследования, а также допущениям Включает тесты на ошибку (bias), связанную с ретроспективной природой систематических обзоров (например, включение/исключение исследований с низким качеством) Позволяет определить надежность результатов путем оценки эффекта незначительных изменений числа событий в группах Включает технику кумулятивного мета-анализа для оценки связи между размером эффекта и качеством исследования, оценить постоянство частоты событий и прочих параметров Позволяет оценить влияние разных значений пропущенных данных исследований с неясными или необъявленными результатами

98 Вороночный график Диаграмма рассеяния эффектов в зависимости от объема выборки Используется для оценки –Ошибки публикации –Ошибки включения Если ошибки нет (симметричная воронка) Если есть ошибка (несимметричная форма) x x x x x x x x x x x x x x x x

99 Размер эффекта (RR) Вмешательство H2-блокаторы Мизопростол Вороночный график: профилактика НПВП- индуцированных язв желудка Объем выборкии

100 Вороночный график: алендронат в профилактике постменопаузального остеопороза Взвешенная средняя разница Объем выборки WMD процентного изменения МПК ПОП

101 Прочие методики мета-анализа Мета-регрессионный анализ – требует большого числа исследований. Позволяет выполнить процедуру множественной регрессии между величиной эффекта и различными влияющими факторами (продолжительность лечения, возраст начала терапии, среднее АД в каждом исследовании и т.п.) Байесовский мета-анализ – методика постепенного накопления и коррекции данных и пре- и посттестовых вероятностях заболевания.

102 Прочие методики мета-анализа Мета-анализ исследований методов диагностики – объединяются данные о чувствительности, специфичности и других операционных характеристиках диагностических процедур. Мета-анализ нерандомизированных исследований – более подвержен систематическим ошибкам, обычно позволяет оценивать зависимость эффекта и дозы или продолжительности. Мета-анализ индивидуальных данных пациентов – самая надежная методика, но требует всех исходных данных по пациентам, что не всегда возможно и достаточно дорого.

103 Этапы Кохрановских систематических обзоров Ясная формулировка вопроса Всеобъемлющий поиск данных Беспристрастный процесс отбора и выкопировки Критическая оценка данных Синтез данных Выполнение анализа чувствительности и анализа подгрупп там, где это возможно и допустимо Подготовка структурированного отчета

104 Представление результатов Представьте структурированный реферат Представьте таблицу ключевых особенностей каждого исследования Включите данные, по которых рассчитывалась величина эффекта Вставьте также информативные графики, представляющие доверительные интервалы, частоту событий в группах, объемы выборок и т.п.

105 Интерпретация результатов Результаты интерпретируются с позиций современного здравоохранения Опишите методологические ограничения исследования и вашего обзора Оцените величину эффекта в исследованиях и обзоре, их согласованность и наличие дозо-зависимого эффекта Оцените возможность интерпретации результатов временного кумулятивного мета-анализа Интерпретируйте результаты в свете других существующих свидетельств Рекомендации должны быть четкими и практичными Предложите план будущих исследований (клинические и методологические требования)

106

107 Рекомендованная литература по теме занятия: - обязательная; Павлушков И.В. Основы высшей математики и математической статистики: Учебник для мед. вузов - дополнительная; 1. А. Петри, К. Сэбин Наглядная медицинская статистика. – М.: ГЭОТАР- Медиа, – С Зайцев В. М., Лифляндский В. Г., Маринкин В. И. Прикладная медицинская статистика: Учебное пособие. - СПб.: Фолиант, – С