Применения банков фильтров Лектор: Лукин Алексей Сергеевич

План Психоакустическая компрессия звука Психоакустическая компрессия звука Слуховая маскировка Слуховая маскировка Устройство алгоритма mp3 Устройство алгоритма mp3 Подавление стационарных шумов Подавление стационарных шумов Метод спектрального вычитания Метод спектрального вычитания STFT как банк фильтров, полосовые гейты STFT как банк фильтров, полосовые гейты Проблема «музыкального шума» Проблема «музыкального шума» Частотно-временное разрешение Частотно-временное разрешение Расширение полосы частот в аудиосигнале Расширение полосы частот в аудиосигнале

Компрессия звука Часть 1

Квантование Линейное квантование Линейное квантование Шум примерно равномерен по амплитуде Шум примерно равномерен по амплитуде Нелинейное квантование: A-law, μ-law Нелинейное квантование: A-law, μ-law Шум зависит от уровня сигнала (примерно пропорционален) Шум зависит от уровня сигнала (примерно пропорционален) Как управлять спектром шума? Как управлять спектром шума?

Слуховая маскировка Абсолютный порог слышимости Абсолютный порог слышимости Как соотнести уровни в звуковом файле с абсолютными уровнями звука? Как соотнести уровни в звуковом файле с абсолютными уровнями звука?

Слуховая маскировка Сильные звуки (masker) маскируют более слабые (maskee) Сильные звуки (masker) маскируют более слабые (maskee) Одновременная маскировка Одновременная маскировка Временная маскировка (прямая и обратная) Временная маскировка (прямая и обратная)

Слуховая маскировка Маскировка тонами, шумами и общий порог маскировки Маскировка тонами, шумами и общий порог маскировки Шаг квантования выбирается пропорциональным порогу маскировки Шаг квантования выбирается пропорциональным порогу маскировки

Алгоритм mp3 Кодирование аудиоданных с потерями Кодирование аудиоданных с потерями Схема кодера mp3 mp3-файл x[n] FFT Банк фильтров QHuffman Психоакустический анализ

Пред-эхо Pre-echo (pre-ringing) Pre-echo (pre-ringing) Размытие ошибки квантования по времени на всю длину окна

Пред-эхо Переключение размера окон в банке фильтров Переключение размера окон в банке фильтров

Шумоподавление Часть 2

Виды шумов и искажений Источники шумов и искажений Источники шумов и искажений На заре звукозаписи – ограничения аппаратуры На заре звукозаписи – ограничения аппаратуры Сейчас – бюджетная аппаратура, неидеальные условия записи, архивные материалы Сейчас – бюджетная аппаратура, неидеальные условия записи, архивные материалы Шумы и искажения СтационарныеИмпульсныеИскажения Щелчки винила Цифровые выпадения Шум магнитной ленты Наводка 50 Гц Нелинейные искажения Фильтрация Проблема по-прежнему актуальна!

Шумоподавление Аддитивный шум Аддитивный шум Метод спектрального вычитания Шум предполагается стационарным, т.е. не меняющимся во времени (средняя мощность, спектр)

Шумоподавление Простейшие методы: гейт (1940) Простейшие методы: гейт (1940) подавление сигналов ниже определенной амплитуды

Шумоподавление Простейшие методы: адаптивный эквалайзер (1946) Простейшие методы: адаптивный эквалайзер (1946) частота среза зависит от ширины спектра сигнала

Стационарные шумы Общий принцип подавления Общий принцип подавления 1.Преобразование, компактно локализующее энергию (energy compaction) 2.Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих шуму) 3.Обратное преобразование (восстановление очищенного сигнала)

Спектральное вычитание Спектральное вычитание для аудиосигналов Спектральное вычитание для аудиосигналов 1.STFT 2.Оценка спектра шума по участку без полезного сигнала 3.«Вычитание» спектра шума из спектра сигнала 4.Обратное STFT Spectral Subtraction, Short-Time Spectral Attenuation STFT Noise spectrum estimation Inverse STFT x[t]X[f,t] – W[f] S[f,t]s[t] Схема алгоритма спектрального вычитания

Спектральное вычитание Требования к банку фильтров Требования к банку фильтров Точное (или почти точное) восстановление Точное (или почти точное) восстановление Отсутствие «эффекта блочности» (перекрытие, окна) Отсутствие «эффекта блочности» (перекрытие, окна) Хорошая частотная локализация Хорошая частотная локализация Не требуется: сохранение количества информации Не требуется: сохранение количества информации Выбираем банк фильтров, основанный на STFT

Шумоподавление Многополосная интерпретация Многополосная интерпретация x[n] Банк фильтров (анализ) … Gate …… y[n] Банк фильтров (синтез) Пороги срабатывания гейтов зависят от уровня шума в каждой частотной полосе Гейт (gate) – устройство, подавляющее тихие сигналы (громкие пропускаются без изменения)

Спектральное вычитание Конструкция гейтов Конструкция гейтов Порог срабатывания зависит от шума нужно знать параметры шума обучение Порог срабатывания зависит от шума нужно знать параметры шума обучение Мягкое или жесткое срабатывание Мягкое или жесткое срабатывание Время срабатывания (attack/release time) Время срабатывания (attack/release time) Ограничение степени подавления Ограничение степени подавления Пример подавления: Здесь G – коэффициент усиления, W – оценка амплитуды шума, X – амплитуда сигнала.

Шумоподавление Шум случаен его спектр тоже случаен Шум случаен его спектр тоже случаен Пример спектра белого шума: Пример спектра белого шума: приближенный фрагментобщая спектрограмма

Шумоподавление После спектрального вычитания появляются После спектрального вычитания появляются случайно расположенные всплески энергии – артефакт «музыкальный шум» (musical noise) «музыкальный шум»общая спектрограмма

Шумоподавление Музыкальный шум: методы борьбы Музыкальный шум: методы борьбы Завышение порога (недостаток – теряем больше сигнала) Завышение порога (недостаток – теряем больше сигнала) Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом) Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом) Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале) Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале) Сглаживание G(f, t) по времени и/или по частоте Сглаживание G(f, t) по времени и/или по частоте зашумленный сигналпростое спектр. вычитаниесглаживание по времени

Спектральное вычитание Эффекты фиксированного частотно-временного разрешения Эффекты фиксированного частотно-временного разрешения Эффект Гиббса (размытие транзиентов) Эффект Гиббса (размытие транзиентов) Недостаточное частотное разрешение Недостаточное частотное разрешение Зашумленный сигналРазмер окна 50 мсАдаптивное разрешение

Расширение частотного диапазона Часть 3

Расширение частотного диапазона Задача расширения Задача расширения Дано аудио, обработанное НЧ-фильтром (т.е. без высоких частот, например – после mp3-компрессии) Дано аудио, обработанное НЧ-фильтром (т.е. без высоких частот, например – после mp3-компрессии) Нужно достроить высокие частоты, основываясь только на низких (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке) Нужно достроить высокие частоты, основываясь только на низких (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке)

Расширение частотного диапазона Метод Метод 1.Сгенерировать грубое приближение высоких частот по низким (методы spectral replication, distortion, vocoder+resampling) 2.Придать грубому приближению желаемую форму (продолжение низких частот по энергии, степени тональности и т.д.) – здесь используем банки фильтров

Расширение частотного диапазона Пример Пример Линейное продолжение общей формы низких частот