ACTFL Proficiency Guidelines, ILR Proficiency Ratings, TORFL: A Comparison Olga Kagan STARTALK University of Iowa, Iowa City August 10, 2012

Abstract The general preface to the ACTFL Proficiency Guidelines states that The ACTFL Proficiency Guidelines are a description of what individuals can do with language in terms of speaking, writing, listening, and reading in real- world situations in a spontaneous and non-rehearsed context. It continues to explain that The levels of the ACTFL Guidelines describe the continuum of proficiency from that of the highly articulate, well-educated language user to a level of little or no functional ability. I will present and critique the Guidelines and will also compare ACTFL levels of proficiency to the Interagency Language Roundtable ratings that are adopted by the US federal agencies as well as the proficiency measures developed in the TORFL (The Russian Federation Tests of Russian as a Foreign Language).

OUTLINE From assessment to curriculum Formative and summative assessment Proficiency levels (ACTFL, ILR, TORFL) Demonstrating oral proficiency interviews Assessment and curricular development

Backward Design Backward design is a method of designing curriculum by setting goals before choosing activities or content to teach. curriculum What outcome do we hope to produce? What do we need to teach to reach the goal?

Backward Design 5

Assessment Questions – How often do you test? – What do you test? – Why do you test?

Assessment (2) Formative assessment Summative assessment High stakes and low stakes testing Why do we assess (to give a grade, to monitor improvement, to assess the program)

Formative Assessment Quizzes (grammar, vocabulary) Tests (skill-using) – Written (essays) – Oral (short interviews, narratives)

Summative Assessment End of the semester (skill using) Standardized tests (e.g. TORFL practice tests) Oral Proficiency Interviews

ACTFL/ILR Proficiency Ratings American Council for the Teaching of Foreign Languages (ACTFL) Interagency Language Round Table (ILR) Novice0 Intermediate1 Advanced2 Superior3-5

Сертификационные уровни владения рус.яз. Элементарный+базовый – ТРКИ часов (при владении базовым уровнем) ТРКИ-2 мин. 720 часов (при владении на уровне 1) ТРКИ-3 еще 280 часов (при владении на уровне 2) Диапозон, беглость, связность, межкультурное взаимодействие Source: Е.Е.Юрков и Т.М.Балыхина

Flagship Programs Domestic program outcome – Adv/2 In Saint Petersburg entrance test – TORFL 2 (general) Midterm – TORFL 3 (Superior) + specialty End-of-year – TORFL 4 (Distinguished) – focus on idiomatic language

TORFL/ACTFL/ILR TORFL 1 = ACTFL I = ILR 1 TORFL 2 = ACTFL A = ILR 2 TORFL 3 = ACTFL S = ILR 3 TORFL professional tests Уровень 4 необходим для получения диплома специалиста и магистра филолога, русиста, кандидата филологических наук и т.д.

ACTFL/TORFL Equivalency UCLA Russian Flagship program results Holistic assessment Comparing L2s and HLLs

TORFL-1 Categories of mistakes made by 75 % of non-HLLs: 1. Case system: Работа водителя автобуса требует.... – большое внимание – с большим вниманием – большого внимания – о большом внимании 2. Verbs of motion (uni/multi directional): Почему Вы решили... завтра во Владимир? – ездить – ехать Verbs of motion with prefixes: На какой вокзал... ваш коллега? – заезжает – доезжает – приезжает Categories of mistakes made by 45 % of HLLs: 1. Case system: Работа водителя автобуса требует – большое внимание – с большим вниманием – большого внимания – о большом внимании 2. Verbs of motion (uni/multi directional): Навстречу нам... девушка с цветами. a.шла b.ходила

TORFL-2 Categories of mistakes made by 80% of non- HLLs: 1. Case system: Вопреки... ударили сильные морозы. a. всех прогнозов b. всем прогнозам c. всеми прогнозами d. все прогнозы 2. Lexical inaccuracy: Как хорошо, что я купил билеты на... поезд! a. быстрый b. срочный c. скоростной d. скорый Categories of mistakes made by 83% of HLLs: 1.Case system: Было интересно прочитать о взглядах учёных... страны. a. на экономическое развитие b. экономического развития c. экономическому развитию d.об экономическом развитии 2.Lexical inaccuracy: За улучшение экологии выступает... города. a.общность b.общительность c.общественность d.общество

ACTFL Proficiency Levels Novice: operates with learned vocabulary and phrases, may be able to recombine Intermediate: can express oneself with limited vocabulary and grammar, frequent mistakes to be expected Advanced: sufficient vocabulary to describe, narrate, explain using concrete vocabulary. Sufficient grammatical accuracy, mistakes occur but are not frequent Superior: can communicate fully using concrete and abstract vocabulary, sporadic mistakes do not impede comprehension

Oral Proficiency Interviews

Novice Level Novice-level speakers can communicate short messages on highly predictable, everyday topics that affect them directly. They do so primarily through the use of isolated words and phrases that have been encountered, memorized, and recalled. Novice-level speakers may be difficult to understand even by the most sympathetic interlocutors accustomed to non-native speech.interlocutors

Intermediate Level of Proficiency Able to handle a variety of uncomplicated communicative tasks in straightforward social situations. Personal information covering self, family, home, daily activities, interests and personal preferences, as well as physical and social needs, such as food, shopping, travel and lodging. Capable of asking a variety of questions when necessary to obtain simple information to satisfy basic needs, such as directions, prices and services. Are able to express personal meaning by creating with the language, in part by combining and recombining known elements and conversational input to make utterances of sentence length and some strings of sentences.

Advanced Proficiency Able to handle with ease and confidence a large number of communicative tasks Participate actively in most informal and some formal exchanges Demonstrate the ability to narrate and describe in past, present, and future Adapt flexibly to the demands of the conversation Narration and description is interwoven to relate relevant and supporting facts in connected, paragraph-length discourse Can handle linguistic challenges presented by a complication or unexpected turn of events Communicative strategies such as circumlocution or rephrasing are employed The speech is marked by substantial flow Vocabulary is fairly extensive although primarily generic

B.L.: Transcript У меня есть маленькая семья. Мама, папа, старший брат, и я. Моего отца зовут Эрик и мою маму зовут Лиса. Моя мама работает учительницeй и мой папа на пенсии. Раньше мой папа работал экономистом. Они женаты уже двадцать лет. Моего брата зовут Ждейк, ему двадцать лет. Он учится в университете в Лос Анджелесе. Его специальность история. Бабушка и дедушка умерли. Моя семья живет в Лос Анджелесе дома около пляжа. Мы живем в красивом районе. В районе есть много магазинов, ресторанов, театров, и тогда. Я очень люблю когда моя семья дома, но обычно я живу в Вашингтоне потому, что я учусь там. Субботу и в воскресенье мы любим отдыхать дома или на пляже. Мы тоже отдыхаем вместе дома и мы смотрем телевизор или говорим. Субботное время мы любим ходит в ресторани или в кино или путешествовать. Мы никогда не приехали из Лос Анджелесе. Это все.

B.L. Analysis Big volume BUT Mostly memorized phrases A string of sentences No paragraphs Few connectors (but, because) No complex connectors No opening, closing

D.G.: Transcript, part 1 Q. Вы говорили о том, что у вас был сосед, который вернулся в штат Юта. Что случилось? A. Его папа... ну, ему стало слишком дорого учиться в этом университете и его папа не хотел ещё платит за учебу потому, что я плачу, я думаю, что можит быть десять тысяч долларов в год, чтобы учиться в этом университете, но мой бывший сосед по комнате, он должен был платить пятьдесять тысяч долларов в год за учебу, очень дорого и это жаль потому, что я очень скучаю по нему потому, что я его считаю моим лучшим другом. Q. И что случилось, вы оказались без соседа или у вас новый сосед? A. У меня … у меня тот же сосед ну потому, что в начале года у меня был два соседа по комнате и я ещё живу с этим соседом по комнате и к счастью у нас нет нового соседа по комнате и только нас двое в квартире. Q. Но вы должны платить больше наверно, да? A. Нет, нет, я не знаю почeму. Q. Но вам очень повезло. A. Да, очень повезло. Q. Ну вот, ваш друг, который уехал, конечно с ним вам не повезло. Вы сказали, что он был очень хорошим другом. Как вы с ним познакомились? A. Мы жили на одном этаже в общежитии на первом курсе и мы были соседями по комнате в прошлом году в общежитии. Q. Я надеюсь, что вы с ним ещё в контакте? A. Да, конечно, я посылаю ему СМС каждый день и мы разговариваем.

D.G.: Transcript, part 2 Q. Скажите пожалуйста, я понимаю, что вы заканчиваете третий курс, да? Какие у вас планы на будущие? A. Но, этим летом, я поеду в Москву, чтобы учиться и в следующим году я надеюсь, что... я... но, я зан... Я хочу... ну хорошо... я…Через два года я хочу поступить в университет в Санкт- Петербурге, чтобы учиться там на год потому, что я учусь на флагманской программе и, чтобы закончить эту программу надо учиться в университете в Санкт- Петербурге. Я надеюсь, что я поступлю в этот университет и после этого я не знаю что... я не уверен кем я стану потому, что я хочу стать переводчиком так как я очень люблю литературу, но все советуют меня не стать переводчиком потому, что в Америке переводчики не очень хорошо зарабатывают. Из-за этого я так (что?) хочу работать в американском государстве или правительстве где можно говорить и писать по-русски потому, что русский язык это моя специальность.

D.G.: Analysis Spontaneous speech Fluency (quick and adequate reaction to Qs) Paragraph-length connected speech Parenthetical words and expressions Connectors: two kinds of because, in order to, because of that Natural starts and stops Minus: pronunciation errors; intonation flaws

D.G.: Testers Comments D.G. communicates consistently in paragraph-length discourse in past, present, and future time with description and narration. He has rather good control of grammar and phonetics, especially evident in his ability to self-correct. When given superior level probes, he showed inability to maintain discourse on an abstract topic. He uses a rather narrow range of cohesive devices. In order for him to move forward to greater proficiency within and beyond the advanced level, he needs to broaden his active repertoire of devices of coherence and cohesion and expand his vocabulary.

Learning from the OPI What do you learn from listening to an OPI?

Learning form OPI (2) How can a teacher fade into the background? How can we encourage students to talk? What improvements do students need? What is more important: vocabulary or grammar? Are cohesive devices of importance? What changes can be made to the program?

ACTFL Guidelines: Discussion Group Work 1) Which features of the OPI are real life? 2) Which features are artificial? 3) How can the Guidelines be used in day-to-day teaching? 4) Can the OPI be used to test HLLs?

OPI Testing: Pros and cons Pros – Provides common test format and ratings – Allows student to demonstrate proficiency without regard to method, textbook, duration Cons – Artificial format – the tester doesnt help communication – Solution: making tasks/situations more life-like

OPI: From Assessment to Materials and Curriculum Development Establishing what needs to be taught at each level Novice: enable students to say a string of simple sentences + simple connectors Intermediate: start using more cohesive devices, e.g. который Advanced: parenthesis and complex cohesion

Thematic Development: Four Skills Novice and Intermediate: self, family, studies, interests Advanced and Superior: Beyond self, abstract themes, politics, economics, news items, ecology, etc.

Blooms Taxonomy

Real Life and Materials Development Real life situations determine how we engage with the text (either written or aural/oral) (H.Byrnes in The Routledge Handbook of SLA, 2012)

Simple Tasks Made Real

Interpretive Modes: Listening and Reading s Blogs Statistics Announcements Short texts on a variety of topics YouTube excerpts from movies, interviews – Incorporating authentic materials – Creating real life tasks using critical thinking approach

Authentic Materials: Scaffolding "Scaffolding refers to providing contextual supports for meaning through the use of simplified language, teacher modeling, visuals and graphics, cooperative learning and hands-on learning" (Ovando, Collier, & Combs, 2003, p. 345). "as students become more proficient, the scaffold is gradually removed" (Diaz-Rico & Weed, 2002, p. 85). Source: Scaffolding Academic Learning for Second Language Learners Karen Sue Bradley & Jack Alden Bradley Internet TESL Journal, Vol. X, No. 5, May

Look at Slides Chose: : 36-37; 38; 39; 40; 41; 42 Decide what kinds of real life assignments you can give students at the 1) Novice level 2) Intermediate level

Рецепт манной каши Нам понадобятся молоко, вода, сливочное масло, соль, сахар и, конечно, манная крупа. 40

Манная каша готова! Перекладываем в миску, добавляем сливочное масло и можно есть! Всем приятного аппетита! 41

Сотрудник «Большого города» ищет квартиру Мой молодой человек, наш попугай, кот и я ищем квартиру в Москве однушку, рядом с метро, предпочтительно на Сокольнической или Калужско-Рижской ветке. Вредных привычек нет ни у кого, включая животных. Животные воспитанные, люди тоже, я вообще работаю в «Большом городе». Очень бы хотелось не ждать до осени и переехать в августе. Юля

Квартира у Парка культуры Пока хозяйка работает в Нью Йорке, сдается 1-комнатная квартира у метро «Парк культуры». Можно арендовать на 3 или 6 месяцев. Можно с последуюшей продажей. Недорого. Владислав,

Обявление Сниму комнату Сниму маленькую изолированную комнату в старом доме поближе к центру, в пределах 15 тыс. рублей. Я очень тихая, аккуратная девушка, которая много пишет. Не курю, люблю дома и книги. Камила, 44

Статистика Территория России составляет кв. км и в основном лежит севернее 50° с.ш. Средние температуры января, по разным регионам, от 0 до -50 °C, июля от 1 до 25 °C; осадков от 150 до 2000 мм в год. Вечная мерзлота (районы Сибири и Дальнего Востока) занимает 65% территории России. Более 70% российской территории - это зона рискованного земледелия. Свыше 50% территории занимают леса.Россиилежит севернее 50° с.ш.65% территории России.

Журнал «Большой город» Лена ищет Аркадия и плащ Девушка Лена просит отозваться хоккеиста Аркадия, который подвозил ее в субботу в клуб и в автомобиле которого она оставила свой плащ. Лена, 46

Парень в рыжем пальто Где-то в начале марта в 10 часов вечера на станции «Новослободская» встретился парень в рыжем пальто. Сообщил, что видел меня в декабре, но не успел заговорить, потому что я быстро бежала. И еще сказал, что любит Чехова. Я тоже люблю Чехова. Молодой человек, как вас зовут? Камила, Журнал «Большой город» 47

Даю уроки Научу желающих писать, читать и говорить на хинди. За плечами МГИМО и победа на конкурсе UK Hindi Samiti Занятия эффективные, интересные и без занудства. В качестве бонуса могу научить писать, читать и говорить на урду. Занятия от 500 р. Полина, 48

YouTube: «Маша и медведь» Школа: первый раз в первый класс mk&feature=related mk&feature=related

Опросы Умеете ли Вы пользоваться Интернетом? Умеете ли вы пользоваться компьютером? Есть ли у Вас дома? Есть ли на Вашем мобильном телефоне функция выхода в Интернет, и если да, пользуетесь ли Вы этой функцией? Есть ли на Вашем мобильном телефоне функция выхода в Интернет, и если да, пользуетесь ли Вы этой функцией? Сколько, в среднем, часов в неделю вы проводите в Интернете (кроме переписки по электронной почте)? (в % от тех, кто пользуется)? Сколько, в среднем, часов в неделю вы проводите в Интернете (кроме переписки по электронной почте)? (в % от тех, кто пользуется)? Как или где Вы научились пользоваться Интернетом? (в % от пользующихся) Сколько примерно книг Вы купили за последние шесть месяцев?(в % от покупающих) Сколько примерно книг Вы купили за последние шесть месяцев?(в % от покупающих) Читаете ли Вы сейчас какую-нибудь книгу, если да, то где Вы ее взяли? Какие журналы Вы в последнее время читаете или покупаете чаще всего? (ответы ранжированы) Какие журналы Вы в последнее время читаете или покупаете чаще всего? (ответы ранжированы) Играете ли Вы сами на каких-либо музыкальных инструментах, и если да, то на каких? (в % от тех, кто играет) Играете ли Вы сами на каких-либо музыкальных инструментах, и если да, то на каких? (в % от тех, кто играет)

Part 1: Conclusions Use formative testing at short intervals Use summative testing (ACTFL OPI) at big junctions Think of assessment for real life purposes Think of real life purposes when creating teaching materials Use critical thinking approach Allow students to act cognitively at their age level

PART 2: Types of TESTS and TYPES of TASKS Types of TESTS and TYPES of TASKS

Types of Tests Achievement Proficiency Pro-chievement – These approaches to testing can be used for curriculum development

Achievement tests Limited to studied material Defined by instructional unit Tasks rehearsed Can achieve 100% May or may not be related to real world experience

Proficiency tests Unconstrained by material No pre-defined topics Unrehearsed tasks Holistic assessment of function Most closely related to real world

Pro-chievement tests Blend of achievement and proficiency test Constrained by material Tasks rehearsed and lifelike Students work with new texts/tasks (that are similar to but not taught in class) Resembles real world experience (or at least students are put on the spot)

Listening Tests Dictation or Cloze dictation Draw map or fill out chart Answer questions or paraphrase Write open-ended response Match descriptions to listening text Outline or draw inferences Identify sociolinguistic factors or registers Listen for gist / Listen for details

Reading Tests Skim (Gist) / Read for details Answer questions, paraphrase Write open-ended response Draw picture or map Identify salient features Unscramble the text Complete the text Identify purpose or function of text Analyze rhetoric / identify logical flaws or stylistic inconsistencies

Speaking Tests Oral Proficiency Test adopted for curriculum Testing all modes interpersonal and presentational modes

Writing Tests Stimulus for open-ended response Communicative focus Context and purpose Intended audience Accuracy expectations As a tool – Pre-writing, revision activities

Conclusions Communication can serve as a focus of instruction AND assessment Assessment can drive curriculum – if based on real-life tasks/authentic materials – includes all modes of communication – is an integral part of the learning process