Организация доставки видеоконтента пользователям Андрей Смирнов (НетСтрим)

Содержание Видео: организация файлового хранилища. Вещания: ретрансляция. Географическая распределенность: подход. Географически распределенные видеофайлы и вещания.

Видеофайлы Объем хранения: –на хранение 1 секунды видео требуется ~ 250 Кб (FLV, оригинал, 3GP, …); –средняя длительность видео ~ 4 минут; –для 1 млн. видео необходимо 60 Тб. Одно видео = 5 файлов + 15 картинок.

Файловый сервер Файловый сервер (2-4 Тб, RAID) просмотр видео, HTTP-streaming «Морда» / Сервер кодирования WebDAV удаление, создание, копирование файлов и т.п.

Кластер файловых серверов Какой сервер выбрать? –diskfree –нагрузка –случайно Файловый сервер 1 Файловый сервер 2 Файловый сервер n …

Файловый сервер Отдача контента (статика): –FLV-streaming (lighttpd, nginx); –Оригинал, 3GP, MPEG-4 – любой HTTP-сервер. Управление файлами (WebDAV): –Apache, nginx, … Доступ к файлам: –Любой WebDAV-клиент (PHP, Python, …)

Бэкап данных Объем данных не позволяет использовать традиционные схемы. Решение - кросс-бэкап: Бэкап 2 Файлы 1 Бэкап 1 Файлы 2 1 2

Кросс-бэкап Основа – rsync. Проблема вычисления свободного места: –периодичность выполнения бэкапа.

Вещания Клиент: Adobe Flash Player; Сервер: Adobe FMS, pyFMS, …; Протокол: RTMP; Проблема – «мультиплицирование» потока на количество зрителей вещания.

Ретрансляция вещаний pyFMS 1 pyFMS 2pyFMS 3pyFMS 4 Источник вещания Ретрансляторы Клиенты вещания Автор вещания

Геораспределенность Контент должен быть «близко» к потребителю: –региональное развитие (РФ); –международные рынки. Проблемы: –сетевые каналы (пропускная способность); –разница в стоимости локального и внешнего трафика.

Посетитель IP-адрес Посетитель Географическое положение: - страна; - регион; - город. БД GeoIP

Ресурс Сервер Географическое положение 1 Копии ресурса Зеркалирующие сервера Географическое положение 2 Географическое положение 3

Вычисление расстояний Москва Киев Харьков Хьюстон Таллин Пермь Находка

Вычисление расстояний Поиск кратчайшего пути во взвешенном орграфе. Фиксированное количество концов пути: расположение серверов. Слабосвязанный граф, кеширование вычисленных расстояний.

Выбор копии ресурса Из мест расположения ресурса и его копий выбираем ближайший к пользователю; Если таких мест несколько – выбираем случайно (в соответствие с весом).

Начисление бонусов Всем местам, где ресурс отсутствует сегодня, начисляем бонус: где k – коэффициент, определяющий скорость копирования ресурсов.

Копирование ресурса Как только бонус ресурса относительно места превышает некоторый предел: –выполняется копирование ресурса на любой из серверов, расположенных в данном географическом месте.

Гео: видеофайлы Ресурс – видеофайл; Первичная копия ресурса – файл, расположенный на файловом сервере; Копии ресурса – копии файла, расположенные на зеркалирующих файловых серверах; Обращение к ресурсу – просмотр видео, скачивание; Копирование ресурса – копирование файла на зеркалирующий файловый сервер.

Гео: вещания Ресурс – вещание; Первичная копия ресурса – вещание на сервере, к которому подключен автор вещания; Копии ресурса – ретрансляция вещания; Обращение к ресурсу – «вход» в вещание; Копирование ресурса – создание нового источника ретрансляции.

Заключение Результат: –контент надежно хранится; –хранилище масштабируется; –контент «приближается» к пользователю по мере необходимости. Альтернативы: –CDN; –распределенные файловые системы.

Спасибо! Вопросы?