Жесты в дискурсе

Кинесика Невербальная семиотика КинесикаПросодия

Жесты и речь - Механизмы порождения и восприятия - Структура языка

Кинесика наука о жестах и жестовых движениях, жестовых процессах и жестовых системах наука о жестах и жестовых движениях, жестовых процессах и жестовых системах в широком смысле - наука о языке тела и его частей (мимические жесты, жесты головы и ног, позы и знаковые телодвижения) в широком смысле - наука о языке тела и его частей (мимические жесты, жесты головы и ног, позы и знаковые телодвижения)

Жесты Знаковые кинетические единицы выражения и передачи информации.

Классы жестов (Эфрон) эмблемы (имеют самостоятельное значение, независимы от контекста) эмблемы (имеют самостоятельное значение, независимы от контекста) иллюстраторы – сопровождают речь иллюстраторы – сопровождают речь регуляторы – управляют коммуникацией регуляторы – управляют коммуникацией

Эмблематические жесты

Примеры значений эмблематических жестов Европа и Северная Америка: О'кей! Тунис, Франция, Бельгия: Нуль; Никчемность Япония: Деньги; Монеты Остров Бали: Плохо Япония: Женщина Южная Америка: Тонкий Франция: Вам меня не одурачить! Европа: Два Британия. Австралия, Новая Зеландия: Один США: Официант! Япония: Оскорбление

Жесты-регуляторы

Жесты-регуляторы

Жесты-регуляторы

Континуум Кендона жестикуляция жестикуляция жесты, замещающие речь жесты, замещающие речь пантомима пантомима эмблемы эмблемы языки глухонемых (жестовые языки) языки глухонемых (жестовые языки)

Изменения вдоль континуума Кендона (1) Сегментация (разделение значений) Сегментация (разделение значений) Способность к комбинации Способность к комбинации Наличие стандартной формы Наличие стандартной формы Лексикон – в разных контекстах та же форма Лексикон – в разных контекстах та же форма Синтаксис по стандартным правилам Синтаксис по стандартным правилам

Изменения вдоль континуума Кендона (2) Парадигматические оппозиции Парадигматические оппозиции Различительность элементов Различительность элементов Произвольность формы Произвольность формы Способ согласования по времени с речью Способ согласования по времени с речью Наличие сообщества использующих эти жесты Наличие сообщества использующих эти жесты

Иллюстративные жесты Появляются только с речью - глобальны (значения частей определяются значением целого) - синтетические (разные значащие сегменты объединены в одно целое) -не комбинируются в последовательности -зависят от контекста – выражают только важное, остальное опускают -нет стандарта формы

Некоторые особенности семиотики иллюстр. жестов - Переход в другой класс - Свобода выбора значения - Парадигматические значения

Классификация иллюстративных жестов Указательные Указательные Кинетические ударения Кинетические ударения - Однократные - Многократные – ритмические жесты. ? Лексические ? Лексические

Жестовые ударения

Уровни дискурса Нарративный Нарративный Паранарративный Паранарративный Метанарративный Метанарративный И высказывание, и жест относятся к одному уровню и выполняют одну функцию в дискурсе

Классификация илл. жестов (продолжение) Классификация илл. жестов (продолжение) Лексические жесты: - изобразительные - иллюстративные регуляторы

Серия изобразительных жестов

Регуляторы –метафора передачи (1)

Регуляторы – метафора передачи (2)

Количество иллюстраторов уменьшается, если говорящий - Подавлен - Устал - Находится в подчиненном положении - В официальной обстановке - Говорящему важно произвести впечатление

Количество иллюстраторов увеличивается - Если говорящий рад или взволнован - В разговоре с равными - В неформальной обстановке - Когда говорящий не очень заботится о впечатлении, которое он производит на окружающих - Когда слушающий не понимает

Межкультурные различия За час финн делает один жест итальянец – 80 француз – 120 мексиканец – 180 русский – 40 (Петрова 2001) Иммигранты в США : евреи – акцентирующие жесты, итальянцы – форма референта (Эфрон 1941)

Гендерные различия Мужские позы и жесты: как показатель затруднительной ситуации или недоумения - потереть рукой подбородок, тереть лоб, щеки или тыльную сторону шеи. Жестовые ударения – резкие, рубящие Мужские позы и жесты: как показатель затруднительной ситуации или недоумения - потереть рукой подбородок, тереть лоб, щеки или тыльную сторону шеи. Жестовые ударения – резкие, рубящие Женские позы и жесты: для демонстрации затруднения: несколько приоткрыв рот, приложить указательный палец к нижним передним зубам либо приставляют его к подбородку. Жестовые ударения - плавное отведение руки в сторону. Женские позы и жесты: для демонстрации затруднения: несколько приоткрыв рот, приложить указательный палец к нижним передним зубам либо приставляют его к подбородку. Жестовые ударения - плавное отведение руки в сторону.

Зеркальные нейроны Активизируются, когда обезьяна обдумывает действие, выполняет его или видит, как выполняет кто- то другой Активизируются, когда обезьяна обдумывает действие, выполняет его или видит, как выполняет кто- то другой Предполагается, что так появился язык Предполагается, что так появился язык У людей эти нейроны – в зоне Брока У людей эти нейроны – в зоне Брока

Зона Брока Речевые зоны окрашены в черный цвет. Речевые зоны окрашены в черный цвет. Зеркальные нейроны – поле 44. Зона Брока – поля 44 и 45.

Роль жестов в речи Для слушающего Передача информации Передача информации Выделение важного Выделение важного Регулирование коммуникации Регулирование коммуникации Сообщение о чувствах и состоянии говорящего Сообщение о чувствах и состоянии говорящего

Информативная функция: Эксперименты с несоответствием слов и жестов. Анафора «Сильвестр стоит перед Твити и смотрит на него, а потом вдруг бросается за ним»: движение вправо, а не влево.

Направление «Говорит: Какая миленькая обезьянка, и дает ему монету»: забирает.

Образ действия «И подзывает его к себе»: хватает.

Влияние жестов при пересказе С жестами - образа действия - 54% - направления - 50% - анафорическими – 30%.

Выделение важной информации Ритмические жесты (у политиков и адвокатов) Ритмические жесты (у политиков и адвокатов) Изобразительные жесты – главное в рассказе Изобразительные жесты – главное в рассказе Жест «метафора передачи» - главное для рассказчика Жест «метафора передачи» - главное для рассказчика Жесты-удары: у взрослых – не важная инф. (речевые сбои, дискурсивные маркеры), у детей – правильный вариант при сбоях Жесты-удары: у взрослых – не важная инф. (речевые сбои, дискурсивные маркеры), у детей – правильный вариант при сбоях

Регулирование коммуникации При наличии регулятивных жестов Лучше понимание Лучше понимание Выше оценка языковых способностей говорящего Выше оценка языковых способностей говорящего Меньше наложений реплик и пауз Меньше наложений реплик и пауз

Сообщение об эмоциях и отношении Люди доверяют жестам больше, чем словам (потому что язык тела меньше контролируется) Люди доверяют жестам больше, чем словам (потому что язык тела меньше контролируется) Наличие эмоций у говорящего вызывает эмоции у слушающего Наличие эмоций у говорящего вызывает эмоции у слушающего Жесты отвечают за то, как слушающие будут относиться к сообщаемой информации Жесты отвечают за то, как слушающие будут относиться к сообщаемой информации Альберт Меграбян: 7% слова, 38% голос, 55% движения и мимика

Роль жестов в речи Для говорящего Для говорящего Поиск слова Поиск слова Обработка информации Обработка информации ? Ритмическая организация речи ? Ритмическая организация речи

Поиск слова Ограничена жестикуляция – больше сбоев Ограничена жестикуляция – больше сбоев Если новое в дискурсе слово не сопровождается жестом, перед ним будет пауза Если новое в дискурсе слово не сопровождается жестом, перед ним будет пауза Жесты предшествуют значимым фрагментам речи Жесты предшествуют значимым фрагментам речи Билингвы жестикулируют больше Билингвы жестикулируют больше В повторах жестов меньше В повторах жестов меньше Сложил руки в форме стрелы – быстрее вспомнил слово «стрела» Сложил руки в форме стрелы – быстрее вспомнил слово «стрела» Лексика или фонетика?

Обработка информации Эксперименты с детьми: сравнение количества и объема Эксперименты с детьми: сравнение количества и объема При освоении языка переход от 1 словных предложений к 2 словным – через слово + жест При освоении языка переход от 1 словных предложений к 2 словным – через слово + жест Жесты помогают восстанавливать речь после инсульта (в отличие от рекомендаций по артикуляции и изображений) Жесты помогают восстанавливать речь после инсульта (в отличие от рекомендаций по артикуляции и изображений)

Структура жеста Жестовый блок Жестовая фраза: Экскурсия (подготовка) (фиксация – предпиковая задержка) Пиковая фаза (фиксация – послепиковая задержка) Рекурсия

Жестовый блок

Фазы: экскурсия

Фазы: рекурсия

Ментальное представление и его отражение в речи Пространственно- Пропозициональные динамические РЕФЕРЕНТ А признак А1 признак А1 признак А1 признак А1 признак А1 признак А1 признак А2 признак А3 признак А3 признак А2 признак А3 признак А3 признак А4 признак А4 признак А4 признак А4 Жест А Вербальное наименование А наименование А признак А1 признак А1 признак А4

Жестами выражаются обычно Пространственные характеристики Пространственные характеристики - внешний вид (размер, форма) - движение - положение наблюдателя- рассказчика! Отношения часть/целое Отношения часть/целое Дейксис Дейксис

Метафора в жесте Служит наглядным средством передачи информации Служит наглядным средством передачи информации Облегчает обработку абстрактных понятий Облегчает обработку абстрактных понятий

Метафоры по Лакофф, Джонсон, используемые в жестах Идеи – это объекты Идеи – это объекты Мышление – это движение Мышление – это движение Время – это пейзаж Время – это пейзаж Время – это движение Время – это движение Изменение – это движение Изменение – это движение Абстрактная структура как пространственная Абстрактная структура как пространственная

Аспектология и жесты Перфективы: событие осмысляется как объект, который передается слушающему, или жест выражает быструю смену состояний, без внимания к процессу изменений Перфективы: событие осмысляется как объект, который передается слушающему, или жест выражает быструю смену состояний, без внимания к процессу изменений Имперфективы: плавность или сложная внутренняя структура Имперфективы: плавность или сложная внутренняя структура Жест передает то, насколько важны для говорящего отдельные подробности события Жест передает то, насколько важны для говорящего отдельные подробности события

Согласованность двух каналов передачи информации Взаимодействие слова и жеста присутствует при формулировании и при понимании мысли Синхронизация: - семантическая - по времени - прагматическая

Синхронизация жеста и речи по значению He [runs across] the street В английском важно движение [miti o] wata te street go-across В японском важно место действия

Thinking-for-speaking Английский «swing across the street», в японском – просто «go». Жесты японцев – по прямой линии, американцев – по дуге. Английский «swing across the street», в японском – просто «go». Жесты японцев – по прямой линии, американцев – по дуге. На иностранном языке: долго сохраняются жесты (и способ упаковывать информацию) родного языка: На иностранном языке: долго сохраняются жесты (и способ упаковывать информацию) родного языка: He went rolling down the street – у испанца было бы 2 предложения (down the street и rolling), и жесты так же.

Когда жесты встраиваются в речь Гипотеза лексического выбора Гипотеза лексического выбора Гипотеза обработки информации Гипотеза обработки информации Жесты и речь - два параллельных канала информации, взаимно влияющие друг на друга в процессе коммуникации Жесты и речь - два параллельных канала информации, взаимно влияющие друг на друга в процессе коммуникации

Производство речи и жестов (1)

Производство речи и жестов (2) Жесты формируются раньше, чем высказывание, на основе пространственных характеристик Жесты формируются раньше, чем высказывание, на основе пространственных характеристик Есть обмен информацией и на более поздних стадиях (на уровне фонетического оформления или на этапе артикуляции) Есть обмен информацией и на более поздних стадиях (на уровне фонетического оформления или на этапе артикуляции)

Производство речи и жестов (3) Эти модели показывают: Почему жесты помогают подобрать нужное слово (за счет обмена информацией между каналами передачи информации): - На довербальной стадии: общее направление - После семантической обработки: помнить - Движения активизируют фонетическую форму. Жесты – не всегда в коммуник.намерении

Речь и жест – разные семиотические системы Аналитичность vs. синтетичность значения Аналитичность vs. синтетичность значения Линейная организация vs. одновременность Линейная организация vs. одновременность Части самостоятельны vs. существуют только в составе целого Части самостоятельны vs. существуют только в составе целого Заданная vs. уникальная форма Заданная vs. уникальная форма Традиционность формы vs. образность Традиционность формы vs. образность

"Точка развития" речевое мышление речевое мышление глубинная стадия высказывания глубинная стадия высказывания пик коммуникативного динамизма и психологический предикат пик коммуникативного динамизма и психологический предикат фокус внимания фокус внимания Фокус внимания в речи не может опережать пик жеста Один жест = одна идея

О дискурсивных функциях жестов Коммуникативный динамизм Коммуникативный динамизм «Слои» дискурса «Слои» дискурса Принцип Гивона Принцип Гивона Границы абзацев Границы абзацев

Серии последовательных жестов Catchment и «инерция» в жестах Catchment и «инерция» в жестах «Рамка сознания» «Рамка сознания»