1 Технологии мультимедиа Москин Николай Дмитриевич старший преподаватель, к.т.н. математический факультет Петрозаводский государственный университет

2 §10 Видео Благодаря инертности зрительного восприятия последовательность неподвижных изображений, демонстрируемая с достаточно высокой скоростью, воспринимается, как непрерывный зрительный образ, а не как отдельные изображения. Анимация – создание всех кадров по отдельности либо с помощью компьютера, либо записывая по одному неподвижные изображения; Видео – запись последовательности кадров реального движения в реальном мире с помощью видеокамеры.

3 Размер видео Видеоряд состоит из набора кадров, каждый из которых является отдельным изображением. Например: Размер кадра 768×576 пикселей с 24 битовым цветом, записанный в стандарте PAL; Частота воспроизведения 25 кадров в секунду; Одна секунда видео 31 Мбайт; Одна минута видео 1,85 Гбайт.

4 Стандарты аналогового широковещания Подобно компьютерным мониторам телевизоры действуют на основе принципов растрового сканирования. Экран делится на горизонтальные линии, как строки текста на странице. В телевизоре на ЭЛТ (электронно-лучевой трубке) три электронных луча (по одному для каждого аддитивного основного цвета) излучаются и отклоняются магнитным полем так, что они пробегают по экрану, вычерчивая строку развертки, затем смещаются ниже и вычерчивают вторую строку и т.д.

5 Чересстрочная развертка Каждый кадр делится на два полукадра, один из которых состоит из нечетных, а другой – из четных строк кадра. Полукадры называют по- разному: четным и нечетным, верхним и нижним, полукадром 1 и полукадром 2.

6 Прогрессивная развертка Когда видео воспроизводится на компьютерном мониторе, чередование обычно не используется. Вместо этого строки каждого кадра записываются в буфер обычным способом сверху вниз. Такой подход называется прогрессивной (построчной) разверткой. Полукадры могут объединятся в кадры при оцифровке аналогового видеосигнала; также их можно записывать отдельно и комбинировать только при воспроизведении материала.

7 «Гребешковый эффект» на объединенном кадре

8 Чтобы избежать этого эффекта, можно избавиться от чередования, усреднив два полукадра при построении одного кадра. Другой вариант – отбросить половину полукадров (скажем, все нечетные полукадры), а при получении полных кадров интерполировать пропущенную информацию по оставшимся полукадрам.

9 Стандарты аналогового широковещания Существует три набора стандартов, используемых в аналоговом цветном широковещательном телевидении: NTSC; PAL; SECAM.

10 Стандарт NTSC NTSC (National Television System Committee – Национальный комитет по телевизионным стандартам), используется в Северной Америке, Японии, Тайване, в ряде стран Карибского бассейна и Южной Америки (в 1953 году впервые в мире начато цветное вещание в США): 30 кадров в секунду (59,94 полукадра в секунду); 525 строк (из них 480 относятся к изображению).

11 Стандарт PAL PAL (Phase Alternating Line), применяется в большинстве стран Западной Европы, Австралии, Новой Зеландии, Китае (представлен как стандарт в 1967 году): 25 кадров в секунду (50 полукадров в секунду); 625 строк (из них 576 относятся к изображению);

12 Стандарт SECAM SECAM (Sequential Couleur avec Memoire – последовательный цвет с памятью), используется во Франции, странах бывшего СССР и Восточной Европы (исторически первый европейский стандарт цветного телевидения, 1956 год - начало разработки стандарта во Франции). 25 кадров в секунду (50 полукадров в секунду); 625 строк (из них 576 относятся к изображению);

13 Стандарты аналогового широковещания

14 Потоковое видео Потоковое видео подобно широковещательному телевидению. Это доставка потока видеоданных от удаленного сервера, который воспроизводится по мере поступления. Любой надлежащим образом оборудованный компьютер может действовать и как приемник, и как передатчик, поэтому пользователи могут общаться визуально, участвуя в так называемых видеоконференциях.

15 Прогрессивная загрузка Внедренное видео – фильм воспроизводится целиком непосредственно после получения. Прогрессивная загрузка - момент начала воспроизведения рассчитывается так, чтобы поступление последнего байта файла совпало с окончанием воспроизведения.

16 Оцифровка видео Чтобы заниматься захватом видео на компьютере, необходимо иметь: Источник видеосигнала (телевизор, видеомагнитофон, видеокамера); Кабель; Карту захвата видео или видеокарту с возможностью оцифровки видео; Звуковую карту; Быстрый и емкий жесткий диск.

17 Кодеки Устройства, которые сжимают и восстанавливают сигналы, называются компрессорами либо декомпрессорами, или кодеками. Аппаратный кодек (кодек цифровой видеокамеры или плата видеозахвата), может оцифровать видеосигналы, записать их на компьютере, а затем воспроизвести на внешнем мониторе (т.е. телевизоре); Программный кодек – это программа, которая выполняет те же функции, и воспроизводит видео на обычных компьютерных мониторах.

18 Симметричные и асимметричные кодеки Симметричные кодек (сжатие и восстановление фрагмента видео длится одинаково долго); Асимметричный кодек (асимметрия может проявляться в любом направлении, но на практике сжатие обычно длится дольше, чем восстановление).

19 Стандарты цифрового видео Дискретизацию цифрового видео определяет стандарт CCIR 601 (Rec.ITU-R BT.601). Организация ранее называемая CCIR (Comite Consultatif International de la Radiodiffusion – Международный консультативный комитет по радиовещанию), теперь называется ITU-R (International Telecommunications Union Radiocommunication Sector – Сектор радиосвязи Международного союза по телекоммуникациям).

20 CCIR 601 Видео, дискретизированное согласно стандарту CCIR 601, состоит из компоненты цветности и двух компонент разности цветов (YC B C R ). На первом этапе уменьшения размера цифрового видео для каждого значения разности цветов берется меньшее количество выборок чем для цветности; данный процесс называется субдискретизацией цветности.

21 Субдискретизация цветности 4:2:2 Человеческий глаз менее чувствителен к изменениям цвета, чем к изменениям яркости. В каждой строке выборок Y в два раза больше, чем выборок B – Y и R – Y.

22 DV DV-формат (Digital Video – цифровое видео) появился в середине 90-х годов: Скорость 25 Мбит/с (около 3 Мбайт/с); Субдискретизация цветности 4:1:1; Коэффициент сжатия с потерями 5:1; 1 час видео = 12 Гбайт; DVCAM и DVPRO – разновидности DV, использующие те же алгоритмы сжатия и потоки данных.

23 MPEG MPEG (Motion Picture Experts Group – Экспертная группа по вопросам движущихся изображений): MPEG-1: исходный стандарт видео и аудио компрессии, был выпущен в 1992 году. Позднее использовался, как стандарт для Video CD, включает в себя MPEG-1 Audio Layer 3 (MP3); MPEG-2: выпущен в 1995 году, используется в цифровом широковещательном телевидении и с некоторыми модификациями в DVD;

24 Профили и уровни MPEG Все стандарты MPEG разрабатывались как семейства стандартов, организованных в различные профили и уровни. Профиль определяет поднабор признаков потока данных; Уровень определяет некоторые параметры, такие как максимальный размер кадра, скорость передачи данных и схему субдискретизации цветности.

25 Профили и уровни MPEG Наиболее распространенной комбинацией уровня и профиля в MPEG-2 является основной профиль на основном уровне (Main Profile at Main Level – в котором применяется развертка CCIR 601 с субдискретизацией цветности 4:2:0; она поддерживает скорость передачи данных 15 Мбит/с и предлагает наиболее искусное представление сжатых данных, возможных при использовании MPEG-2.

26 MPEG-3 и MPEG-4 MPEG-3: изначально разрабатывался для HDTV (High-definition television – телевидение высокой четкости), но затем его заменили на MPEG-2; MPEG-4: появился в 1998 году. Определяет кодирование мультимедийных потоков, составленных из различных типов объектов: видео, неподвижных изображений, анимации, текстуры, трехмерных моделей и др. При таком подходе каждый тип объектов представлен оптимально;

27 MPEG-4 Сжатие MPEG-4 поддерживается в QuickTime и RealMedia и является основой кодека Sorensen Squeeze, используемого для добавления видео в ролики Flash. DivX (Digital video express) – кодек, производящий компрессию/декомпрессию видео, сжатого в стандарте MPEG-4. В формате DivX существует возможность регулировки яркости, контрастности, насыщенности, оттенка и качества при воспроизведении.

28 MPEG-7 и MPEG-21 MPEG-7: «интерфейс описания мультимедийного содержания» (Multimedia Content Description Interface). В отличие от предыдущих форматов MPEG, он описывает информацию, представленную в любой форме и не зависит от среды передачи; MPEG-21: «система мультимедийных средств» (Multimedia Framework). Проект имеет целью определить рамки для создателей, дистрибьюторов и сервис-провайдеров в открытом рынке мультимедиа. Работа над этим форматом началась в 2000 году.

29 Введение в сжатие видео Существует два подхода к сжатию последовательности растровых изображений: Пространственное сжатие (spatial), по отдельности сжимается каждое неподвижное изображение; Временное сжатие (temporal), записывается отличие ряда последовательных кадров. Иногда их называют внутрикадровое (intra-frame) и межкадровое (inter-frame) сжатие соответственно.

30 Алгоритм временного сжатия Выделяется несколько кадров последовательности, которые называются ключевыми. Часто ключевые кадры выбираются с постоянным интервалом (например, каждый шестой кадр). Данные ключевые кадры либо не сжимаются вообще, либо подвергаются пространственному сжатию. Все кадры между парой ключевых заменяются разностными кадрами, на которых записывается только разница между исходным кадром и предыдущим кадром или предыдущим ключевым кадром.

31 Motion JPEG Технология сжатия видеопоследовательностей посредством применения сжатия JPEG к каждому кадру (без временного сжатия) называется Motion JPEG (MJPEG). MJPEG используется в большинстве аналоговых плат записи видео. Не так давно консорциум компаний по производству цифрового видео принял стандартный формат MJPEG-A, который поддерживается QuickTime.

32 Сжатие DV В сжатии DV при постоянной скорости передачи 25 Мбит/с получается более качественное изобра- жение, чем может дать MJPEG. Режим субдискретизации зависит от используемого стандарта видео – PAL или NTSC. Как показано на рисунках, количество выборок каждого компонента в каждом блоке пикселей размером 4×2 одинаково.

33 Субдискретизация цветности 4:2:0 (DV PAL) и 4:1:1 (DV NTSC)

34 Сжатие DV Блоки размером 8×8 пикселей каждого кадра преобразуются с использованием ДКП (дискретное косинус-преобразование) и квантуются; затем к зигзагообразной последовательности применяются групповое кодирование и кодирование Хаффмана, как и в схеме сжатия JPEG. Однако имеется ряд существенных отличий (см. следующий кадр).

35 Особенности сжатия DV Если кадр статичен и изображения в полукадрах не различаются, преобразование применяется ко всему блоку 8×8 пикселей и в нем задействуются чередую- щиеся строки четного и нечетного полукадров. Если запечатлено значительное движение и полукадры сильно отличаются, блок разбивается на два блока 8×4, каждый из которых кодируется независимо.

36 Особенности сжатия DV Поток DV должен использовать точно 25 Мбит для хранения каждой секунды видео. Чтобы доступные биты можно было распределять между парами кадров, коэффициенты соотносятся с байтами не по блочному принципу, а в пределах большого «сегмента видео»; Каждый такой сегмент строится следующим образом: систематически берутся блоки размером 8×8 из пяти различных областей кадра; данный процесс называется перетасовкой (shuffling). Перетасовка усредняет количество деталей в каждом сегменте видео.

37 Сжатие MPEG-1 Сжатие MPEG-1 объединяет: Пространственное сжатие, основанное (как JPEG и DV) на квантовании и кодировании частотных коэффициентов, полученных после применения к данным дискретного косинус-преобразования. Временное сжатие, основанное на «компенсации движения» Записываются только смещение и изменившиеся пиксели в небольшой области.

38 Область потенциальных изменений

39 Сжатие MPEG-1 Схемы сжатия MPEG-1 не пытаются идентифици- ровать объекты на сцене. Каждый кадр делится на макроблоки размером 16×16 пикселей и предска- зывается их местоположение на следующем кадре (перебираются все возможные смещения в пре- делах ограниченного диапазона и выбирается наилучшее). Далее строится разностный кадр: все макроблоки вычитаются из предсказанных прототипов. Также сохраняются векторы движения, описывающие предсказанное смещение макроблоков между кадрами.

40 I-, P- и B-изображения I-изображения («intra» - «внутренние») – это ключевые кадры MPEG, которые сжимаются исключительно пространственно; P-изображения («predicted» - «предсказанные») – это разностные кадры, использующие предыдущие I- или P-изображения; B-изображения («bi-directional prediction» - «дву- направленное предсказание») – кадры, которые предсказываются по последующим кадрам.

41 Группа изображений Группа изображений (Group of Pictures – GOP): повторяющаяся последовательность I-, P- и B- изображений; всегда начинается с I-изображения; все три типа изображений сжимаются с помощью JPEG. К числу популярных схем GOP относятся IBBPBBPBB и IBBPBBPBBPBB.

42 Группа изображений Стрелки указывают прямое и двунаправленное пред- сказание. Последовательность MPEG (IBBPBB) в порядке отображения:

43 Группа изображений Обычно P-изображения сжимаются втрое сильнее, чем I-изображения, а B-изображения – в полтора раза сильнее, чем P-изображения. В то же время восстанавливать B-изображения сложнее, чем другие. I-изображения желательно включать достаточно часто, чтобы гарантировать произвольный доступ к нескольким кадрам каждой секунды.

44 Группа изображений Последовательность MPEG в порядке потока битов: Все предсказываемые кадры располагаются после кадров, от которых они зависят (стрелки направлены слева направо).

45 Сжатие MPEG-4 MPEG-4 определяет для видеоданных набор профилей. Высшие профили используют метод деления сцены на видеообъекты произвольной формы (например, певец и декорации, на фоне которых ведется выступление), которые можно сжимать по отдельности. Нижние профили – Simple Profile и Advanced Simple Profile – ограничены прямоугольными объектами, в частности – завершенными кадрами.

46 Сжатие MPEG-4 Simple Profile Использует для межкадрового сжатия только P- изображения; Advanced Simple Profile Использует B-изображения; Дополнительная техника, эффективная при сжатии статических сцен с обычным движением камеры (панорамная съемка, наезд камеры), является Global Motion Compensation («глобальная компенсация движения»).

47 Другие кодеки мультимедиа Cinepack – до сих пор популярен из-за большого сжатия и эффективности воспроизведение сжатого материала. Считается, он больше подходит для материала, содержащего много движения; Intel Indeo – подобен Cinepack, но сжимает видео примерно на 30% быстрее. Indeo лучше подходит для статичного материала, точнее передает цвета; Sorenson – самый «свежий» из этих трех кодеков и лучший с точки зрения качества.

48 Сравнение кодеков Средний объем памяти, необходимой для хранения кадра, составляет: 161 Кбайт для исходного цифрового видео; 95 Кбайт для видео MPEG-4; 114 Кбайт для видео Sorenson; 68,5 Кбайт для Cinepack. MPEG-4 предлагает хорошее сжатие без ощутимой потери качества и является лучшим выбором кодека, если решающим фактором не является эффектив- ность восстановления данных.

49 Кадр, обработанный Cinepack

50 Кадр, обработанный Sorenson

51 Кадр, обработанный MPEG-4

52 Формат AVI AVI (Audio Video Interleave – чередование аудио и видео) – формат-контейнер. Это означает, что он может содержать видео/аудио данные, сжатые с использованием разных комбинаций кодеков, например: DivX-видео + WMA-аудио; Indeo-видео + PCM-аудио. Является стандартным контейнером для видеоза- писей в ОС Windows. Впервые был использован Microsoft в 1992 году.

53 Формат QuickTime QuickTime – мультимедийная архитектура, разработанная Apple в 1991 году и доступная на платформах Mac и Windows. Используя QuickTime, программные приложения могут легко работать с широким кругом форматов файлов и кодеков: MPEG-1, MPEG-4, DV, OMF (высокопроизводитель- ный профессиональный формат), AVI (Microsoft) и его расширение OpenDML, аудиоформаты AIFF, WAVE, цифровые изображения BMP, GIF, JPEG и др.

54 HDTV HDTV (High-Definition Television – телевидение высокой четкости) – набор стандартов телевизион- ного вещания повышенного качества посредством цифровых каналов связи (кабельные, спутниковые сети, цифровые носители). Форматы: ×720, прогрессивная развертка, отношение сторон 16:9; ×1080, чересстрочная развертка, отношение сторон 16:9; ×1080, прогрессивная развертка, отношение сторон 16:9.

55 Распространение HDTV-материалов HD DVD (15 Гб – однослойный диск, 30 Гб – двухслойный диск), разработан компаниями Toshiba, NEC и Sanyo. 19 февраля Toshiba объявила о прекращении поддержки этого формата. Blu-Ray (23,3/25/27/33 Гб – однослойный, 46,6/50/54/66 Гб - двухслойный), разработан консорциумом BDA (Blu-Ray Disc Association) в 2006 году. Для записи и чтения используется «сине-фиолетовый» лазер с длиной волны 405 нм.