Установление и мониторинг профессиональных стандартов подход QMS Москва, Декабрь 2005 Ник Сэвил ( Nick Saville) Cambridge Assessment University of Cambridge ESOL Examinations

Содержание презентации Часть 1Введение и общая информация –Профессиональный кодекс ALTE (CoP) Часть 2Система управления качеством ALTE (QMS) Часть 3Установление стандартов – проблемы контекстуализации Часть 4Стандарты аудита См. статью в раздаточных материалах – Research Notes 22 (Nov 2005)

Часть 1 – Общая информация Европейская ассоциация специалистов по языковому тестированию (ALTE) Членство в ALTE (2005) 27 языков 31 организация Цели ALTE

Установление общих уровней владения иностранным языком в целях способствования взаимному признанию европейских сертификатов Установление общих стандартов для всех этапов процесса языкового тестирования Сотрудничество в совместных проектах и обмен идеями и know-how Соответствовать стандартам: сохраняя разнообразие

… общие стандарты для всех этапов процесса языкового тестирования ALTE публикует свой первый Профессиональный кодекс предварительно составленный и обсужденный членами ALTE в Он опирался на Кодекс справедливости в проведении тестирования в образовании (The Code of Fair Testing Practices in Education) разработанный Вашингтонской Совместной комиссией по проведению тестирования (1988) Он представлял собой развернутое заявление о том, что пользователи вправе ожидать от экзамена Особое внимание роли и ответственности заинтересованных сторон в стремлении к справедливости Разработка профессионального кодекса ALTE

Стремление к справедливости для заинтересованных лиц Профессиональный кодекс определяет роли трех групп заинтересованных лиц в процессе тестирования: разработчики экзамена - например, члены ALTE экзаменуемые – первичные пользователи – которые сдают экзамен по собственному выбору, рекомендации или необходимости пользователи результатов экзамена – вторичные пользователи – которым требуются результаты экзамена для принятия некоторых решений или в других целях Разработка профессионального кодекса ALTE

Профессиональный кодекс определяет четыре расширенных области ответственности: разработка экзаменов интерпретация результатов экзамена стремление к справедливости информирование экзаменуемых Стремление к справедливости является коллективной ответственностью всех заинтересованных лиц Разработка профессионального кодекса ALTE

Вопросы для членов ALTE При разработке профессионального кодекса члены ALTE задавали себе следующие вопросы: Делаем ли мы правильные вещи?ЧТО Делаем ли мы их правильно?КАК Можем ли мы их делать правильно постоянно? КАК ХОРОШО (Насколько последовательно) Но 18 положений профессионального кодекса дают не много практических указаний относительно применения и установления стандартов ……

Вопросы для членов ALTE Необходимо рассматривать два аспекта качества: Лучшее понимание Принципов хорошей практики - теоретические проблемы и знания Практическое применение принципов внутри каждой организации члене ALTE совершенствование систем управление инновациями и изменениями мониторинг стандартов

Дополнительный документ Стандарты ALTE (Принципы хорошей Практики для экзаменов ALTE) разрабатывался под руководством Милановича и Сэвилла and 1993 Обсужден на заседаниях ALTE между 1992 и 1994 годами и был подвергнут внешней экспертизе (Бахман, Спольский, Дэвидсон) Переработан рабочей группой Профессиональный кодекс ALTE – 2001 Этот документ более подробно представляет принципы которыми следует руководствоваться членам ALTE для достижения высоких профессиональных стандартов (см. APA и т.д.) Стандарты ALTE и Принципы Хорошей Практики

Принципы Хорошей Практики ALTE Основаны на характеристиках ВНВП Валидность Надежность Влияние Практичность Плюс дополнительная характеристика Качество услуг Эти характеристики должны быть сбалансированы для производства полезных тестов, которые соответствуют цели

Часть 2 – Система управления качеством - Рабочая группа «Профессиональный кодекс»: претворяя принципы в практику - Переработанные документы – Профессиональный кодекс как инструмент самооценки - Влияние международных систем управления качеством (QMS) Европейский фонд управления качеством (EFQM) ISO 9001: 2000 Порядок инспектирования EAQUALS Также многочисленные схемы внутри национальных систем образования

Характеристики систем управления качеством Эффективные инициативы для систем управления качеством: Публичная декларация – часто в виде Профессионального кодекса или Хартии Приверженность к процессу изменений обычно включающая следующие шаги: Определите свою Миссию = роль учреждения, задачи и цели на будущее Оцените существующую практику Определите области, нуждающиеся в совершенствовании Определите меры для совершенствования и план действий Выполните необходимые действия Проанализируйте совершенный прогресс и скорректируйте план

Подход к системе управления качеством: Старайтесь понять природу своей организации и привлекайте всех участников Работайте над практическими решениями, постоянно совершенствуясь и предоставляя измеряемые результаты НЕТ ГОТОВЫХ ВОЛШЕБНЫХ РЕШЕНИЙ!! Применение системы управления качеством ALTE

Успешная система управления качеством требует поведенческих и культурных перемен - и три компонента ваших систем должны быть выравнены: Это относится к теориям инноваций и перемен управления

Участники экзаменационного процесса

Установите желаемый конечный продукт и влияния внутри каждой организации Движение в сторону хорошей практики Стремление к непрерывному совершенствованию Обсудите и придите к согласию относительно минимальных стандартов, но установите характеристики моделей лучшей практики как долгосрочные цели Установите мониторинг качества через само-оценку Ищите подтверждение соответствия стандартам например, через профессиональную экспертизу Применение системы управления качеством ALTE

Применяйте контрольные листы Системы управления качеством и Профессионального кодекса Примените контрольные листы к 4 аспектам цикла разработки и применения теста Разработка и конструирование теста Администрирование Обработка результатов – шкалирование, присвоение отметок, предъявление результатов Анализ и переработка (см. Модель разработки теста, распространяемую ALTE) Система управления качеством ALTE

Контрольные листы ALTE по обеспечению качества - Разделы 1- 4

Раздел 1 – Конструирование теста A. Концептуальная фаза A1. Опишите как и почему разрабатывался экзамен. A2. Опишите, что оценивается в экзамене. A3. Опишите, для чего следует использовать экзамен. A4. Опишите, для какой группы населения предназначен экзамен.

Раздел 1 – Конструирование теста A. Концептуальная фаза B. Разработка теста, тестовый конструкт и контекст B1. Объясните как определялось содержания и отбирались подлежащие контролю умения (для каждого компонента экзамена). B2. Опишите процедуры применяемые для обеспечения приемлемости теста для предполагаемой группы испытуемых. B3. Опишите, что делается для того, чтобы в экзаменационных заданиях не было потенциально оскорбительного содержания или отдельных выражений. B4. Опишите процедуры применяемые для обеспечения того, что различие в результатах будет является следствием в различии в уровне измеряемых умений, а не за счет незначимых факторов. B5. Опишите процесс разработки экзамена. B6. Опишите процедуры определения надежности. Например: относительно отдельного умения/раздела, экзамена в целом. B7. Опишите процедуры определения аспектов валидности. Например: Конструктная валидность, Содержательная валидность, Критериальная валидность.

Раздел 1 – Конструирование теста A. Концептуальная база B. Разработка теста, тестовый конструкт и контекст C. Связь со внешними заинтересованными лицами C1. Опишите, как вы обеспечиваете пользователей необходимой информацией для осознанного выбора ими подходящего экзамена. C2. Опишите, как вы делаете эту информацию равно доступной для всех испытуемых. C3. Опишите, как вы предоставляете информацию, необходимую испытуемым для ознакомления с содержанием экзамена, типом заданий, формой инструкций, стратегиями для сдачи экзамена. C4. Опишите, какие примеры или полные версии документов вы предоставляете.

Раздел 2 – Проведение экзамена/логистика Этот вопрос относится к важной области установления условий проведения экзамена – поскольку изменения этих условий могут повлиять на результат их можно рассматривать как проблему валидности/надежности

Раздел 3 - Обработка результатов – шкалирование, присвоение отметок, предъявление результатов Этот вопрос относится к организации процедур обеспечивающих надежность работы экзаменаторов - рейтеров Набор и подготовка экзаменаторов документы/инструкции

Раздел 4 – Анализ результатов и послеэкзаменационная доработка Этот вопрос касается установления того, не дают ли некоторые задания преимущества определенным группам испытуемых – проблема валидности

Часть 3 Система управления качеством и установление минимальных стандартов Установление стандартов – вопросы контекстуализации и вариативности между организациями, проводящими тестирование Стандарты и диверсификация Обеспечение соответствия тестов их целям Некоторые тесты имеют большой влияние и важные последствия

Как установить стандарты качества ALTE?

Профиль качества Основанные на Профессиональном кодексе и контрольных листах системы управления качеством, 17 минимальных стандартов были согласованы для Профиля качества экзамена и набора экзаменов Членов ALTE попросили объяснить соответствуют ли их экзамены этим стандартам и, если да, то каким образом Фактическое свидетельство, подтверждающее заявление, также требуется Валидизация теста на основе свидетельств

Минимальные стандарты - пример

Раздел 4 Процедура аудита Членам АLTE требуется аргументировано подтвердить соответствие Профиля качества определенному экзамену или набору тестов Разные тесты используются в разных контекстах разными группами пользователей. Нет намерения навязывать единый набор профилей качества для ALTE Аудит имеет функции и контроля и консультирования Цель аудита заключается в том, чтобы удостовериться в выполнении минимальных стандартов в соответствии с контекстом теста и предложить рекомендации для совершенствования там, где это приемлемо.

Разработано руководство для аудиторов и его первая версия доступна членам ALTE Недавно процедура аудита была проверена на экзаменах по датскому языку, разработанному Министерством интеграции Дании. Применение процедуры аудита

Контакт: Nick Saville Director, Research and Validation University of Cambridge, ESOL Examinations, (UK) Member, ALTE COP WG Ref: Piet van Avermaet, Henk Kuijper, Nick Saville (2004). A Code of Practice and Quality Management System for International Examinations. Language Assessment Quarterly (LAQ), 1: 2&3. Special Issue: The Ethics of Language Assessment. Guest Editor, Prof Alan Davies.