Установление профилей качества: опыт ALTE Крис Скотт-Баррет

2 Содержание 1.Введение Кратко – цели ALTE 2.Проблема качества: набор инструментов ALTE a) Профессиональный кодекс ALTE (1994) b) Принципы качественной работы c) Система управления качеством– контрольные листы d) Минимальные стандарты Аудит профиля качества

3 1. Введение Цели ALTE – c 1990 Установить общие уровни владения языком для содействия транснациональному признанию сертификатов в Европе Установить общие стандарты для всех этапов процесса языкового тестирования Осуществлять совместные проекты для обмена опытом и know-how Девиз: Достигая стандартов: сохранять разнообразие

4 Вопросы качества: инструменты ALTE Профессиональный кодекс ALTE Принципы качественной работы Система управления качеством– контрольные листы Минимальные стандарты

5 Дать возможность экзаменаторам делать формальное авторизованное заявление о том, что у определенного теста имеется профиль качества соответствующий целям его применения например, подтверждение валидности Профиль качества экзамена устанавливается: В соответствии с Принципами качественной работы С использованием контрольных листов Управления качеством. Процесс аудита

6 a) Профессиональный кодекс ALTE ALTE COP & QMS Общий/ философский Особый/ практический Этический рамки Принципы Система Управления качеством Стандарты Профессиональный кодекс ALTE, 1994 принципы качественной работы ALTE, 1993; 2001 контрольные листы ALTE COP & QM, 2001 Система аудита ALTE, 2003

7 …. Общие стандарты для всех этапов подготовки и проведения тестирования ALTE публикует свой первый профессиональный кодекс Внимание на oроли и обязанностях всех заинтересованных лиц в стремлении к справедливости a) Профессиональный кодекс ALTE

8 Стремление к справедливости для заинтересованных лиц Профессиональных кодекс определяет роли трех ree групп заинтересованных лиц : Разработчиков экзамена- например, членов ALTE экзаменуемых – первичных потребителей, сдающих экзамен по собственному выбору, направлению или по необходимости пользователей – вторичных потребителей (например учителей) которым нужны результаты экзамена для принятия определенных решений a) Профессиональный кодекс ALTE

9 Профессиональных кодекс обозначет четыре широких зоны ответственности: Разработка экзаменов Интепретация результатов экзамена Стремление к справедливости Информирование экзаменуемых Стремление к справедливости общая ответственность всех заинтересованных сторон a) Профессиональный кодекс ALTE

10 В принципах качественной работы детализированы принципы, которые должны приниматься членами ALTE для достижения высоких профессиональных стандартов Важно, чтобы и другие заинтересованные стороны имели представление об этих принципах (значение оценочной грамотности) b) Принципы качественной работы

11 Внедрение принципов на практике ПК как набор контрольных листов для самооценки Основан на подходе, принятом в международных системах качества – таких как ISO 9001:2000 Инкорпорирует принцип УК удовлетворение клиента/заказчика Внимание постоянному совершенствованию c) Система управления качеством

12 Система управления качеством Цель системы УК : Повышать качество для повышения степени удовлетворения клиента В тестировании, отчитываться о валидности экзамена для достижения справедливости в отношении клиентов В языковом тестировании, кто является клиентами?

13 ср. Профессиональный кодекс Первичные пользователи = экзаменуемые Вторичные пользователи = те, кто использует результаты экзамена Достижение справедливости = общая ответственность c) Система управления качеством

14 Контрольные листы УК основаны на 4 аспекта цикла разработки и проведения тестирования: 1. Конструирование теста 2. Проведение тестирования 3. Обработка (оценка, объявление результатов) 4. Анализ Основано на модели разработки тестов, представленной в Принципах качественной работы c) Система управления качеством

15 d) Стандарты и профиль качества Согласованы минимальные стандарты для установления профиля качества экзамена или набора экзаменов Члены ALTE теперь обязаны каким образом их экзамены соответствуют этим стандартам Требуется доказательство представляемых утверждений Утверждения и доказательства проверяются в процессе аудита

16 d) Стандарты и профиль качества 17 минимальных стандартов основаны на контрольных листах УК Они охватывают: Конструирование теста Администрирование и логистику Оценивание Анализ теста Взаимосвязь с заинтересованными сторонами на 26 языках

17 Минимальные стандарты Разработка теста – 5 минимальных параметров 1.Экзамен базируется на теоретическом конструкте, например, модели коммуникативной компетентности. 2.Вы можете описать цель и контекст проведения экзамена, а также группу, на которую он рассчитан. 3.Вы предъявляете критерия для отбора и подготовки разработчиков теста и имеется экспертные свидетельства как по этапу разработки, так и этапам анализа и доработки экзамена. 4.Параллельные экзамены сравнимы в терминах содержания, стабильности, последовательности и границ оценок. 5.Если делается заявление о соотнесении с некой внешней системой (например с общеевропейскими уровнями владения языком), вы можете предъявить свидетельство о том, каким образом оно было произведено.

18 d) Стандарты и профиль качества Но – разные экзамены ALTE требуют разных профилей качествап, для принятия во внимание следующего: Контекст и цель применения Целевая группа – размер, демография, распределение Значимость и признание Распределение центров проведения Тип организационной структуры

19 Профиль качества Профиль качества предоставляет подход к построению доказательства валидности экзамена или набора окзаменов Объяснение Обоснование Доказательство Соответствие цели

20 Профиль качества Члены ALTE формулируют доказательство достаточности и приемлемости профиля качества определенного теста или набора тестов Нет намерения навязать единый набор профилей качества Аудит носит функции контроля качества и консультирования Он должен установить, что минимальные стандарты достигнуты в соответствии с контекстом проведения тестирования и предложить рекомендации по совершенствованию Всегда есть место совершенствованию ВС = возможности совершенствования

21 3. Итоги процесса аудита План действий ВС

22 Первый цикл аудита еще продолжается Этот цикл должен проверить минимум один экзамен каждого из членов Первый цикл предоставляет необходимый опыт для совершенствования системы аудита и подготовки аудиторов Структура системы аудита