Автоматическое стенографирование речи: состояние и перспективы Пилипенко В.В. Международный научно-учебный центр информационных технологий и систем

Стенографирование vs речевой диалог Стенографирование Стенографирование получение текстов из записанных речевых файлов при помощи автоматического распознавания речи Особенности: Нет непосредственной обратной связи от говорящего Слитная речь с большим объемом словаря Много дикторов разного стиля произношения, акценты Слабо контролируемые условия записи Преимущества: Можно анализировать в несколько проходов Можно легко задействовать много компьютеров Область применения: Новости Парламент Телевизионные шоу Суды Научные доклады

Парламентская речь Стенографирование Спонтанная речь. Иногда встречаются доклады, зачитываемые по заранее подготовленному тексту. Публичные дикторы. Быстрый темп. Часто эмоционально окрашена. Непрерывные выступления дикторов. Качество записи достаточно высокое, поскольку каждое депутатское место оснащено микрофоном.

Стенографирование в парламентах Стенографирование Стенографист набирает текст в 3-5 раз медленнее темпа речи. Обычно допускает в тексте 2-5% ошибок. 6-7 стенографистов набирают текст порциями по 3 минуты. Черновая стенограмма готова на следующее утро. Отдел редактирования (около 20 человек) готовит официальную стенограмму обычно в течение двух недель. Отличается от сказанного.

Наша цель Стенографирование Автоматизированное стенографирование. Один стенографист прослушивает речь и устраняет ошибки в темпе поступления речи. Точность автоматического распознавания не менее 85%.

Схема распознавания речи Пилипенко В.В Распознавание речи

Спектральный анализ сигнала Пилипенко В.В Распознавание речи

Анализ сигнала Распознавание речи

Пилипенко В.В Распознавание речи последовательность векторов наблюдений Задача распознавания речи

Пилипенко В.В Распознавание речи последовательность векторов наблюдений Задача распознавания речи

Пилипенко В.В Распознавание речи последовательность векторов наблюдений правило Байеса лингвистическая часть акустическая часть Задача распознавания речи

Модель порождения речевого сигнала Распознавание речи Состояния Наблюдаемая последовательность Поиск кратчайшего пути при помощи алгоритма динамического программирования

Вероятность порождения речи моделью Пилипенко В.В Распознавание речи

Лингвистическая модель Пилипенко В.В Распознавание речи - история Ф – класс эквивалентности N-граммная модель - коэффициенты сглаживания

Виды моделей при распознавании Пилипенко В.В Распознавание речи

Корпуса речи и текстов Стенографирование Верховная Рада65 часов300 дикторов Телевизиные передачи280 часов3000 дикторов Новости телеканала NewsOne700 часов Запись из телевизионного канала Застенографировано и размечено экспертами на фразы Текстовый корпус из Интернета больше 600 миллионов слов Радуцкий Александр, SRS

Причины понижения точности Стенографирование Влияние каналов связи и шумов Разнообразие голосов дикторов Неизвестные слова от 2 до 20% словаря Построение лингвистических моделей по текстам Собственные имена от 5 до 20% словаря Экстралингвистические явления от 2 до 15% случаев Редукция и быстрый темп Суржик и другое неправильное произношение Людовик Татьяна

Многодикторное распознавание Стенографирование

Адаптация к голосу диктора Стенографирование Для адаптации необходимо 2 минуты речи диктора Для известных дикторов (которые вошли в обучающий корпус) - 2% улучшения точности распознавания Для неизвестных дикторов от 5 до 20% улучшения Разработана технология адаптации без участия эксперта для транскрибирования адаптационного образца речи Юхименко Александр

Варианты транскрипций словоформ, индивидуальные для дикторов Стенографирование Робейко Валентина СловоформаОбычная транскрипция Спонтанная фонетическая транскрипци я шановнийш а н О в н и йш а н О в н и колик о л И к О л и к о л и доброгод О б р о г од О б р о Около 3% улучшения точности распознавания

Моделирование незнакомых слов Стенографирование

Пример ответа распознавания при наличии незнакомых слов Стенографирование провадження !B ж о к' І х !E санкцій проти !B т й х' І т р !E на провайдерів які не відключають !B н е !E законні комітети провадження * санкцій проти * на провайдерів які не відключають * законні комітети

Экстралингвистические явления Стенографирование Ладошко Ольга, Гузиенко Ирина Экстралингвистические явления от 2 до 15% случаев Улучшение точности распознавания от 2 до 6%

Распознавание многоязычной речи без идентификации языка Стенографирование Людовик Татьяна Речевые сегменты Количество слов УкраинскийРусскийУкр + Рус украинские русские украинские + русские Набор фонем украинский Для русских фонем замены: « и » на « і », « э » на « е », « г » на « ґ » Словарь украинские словоформы и русских словоформ

Обучение на корпусе с неточным текстовым сопровождением Стенографирование Селюх Руслан Исходный корпус 100 часов речи несовпадение 15% Размеченный корпус 60 часов Улучшение точности распознавания на 5% Для обучения необходимо точное соответствие звука и текста Обычно стенограмма имеет от 5 до 20% несовпадений Для точной разметки эксперт тратит в 8 раз больше времени звучания

Примеры ответов распознавания Стенографирование

Примеры ответов распознавания Суд над Тимошенко 67% Стенографирование

Достигнутое состояние Стенографирование Средняя точность распознавания 77% Для отдельных дикторов - 89%

Лингвистические модели Стенографирование Сажок Николай Семинар Образный компьютер 12 февраля 2013

Спасибо за внимание !