От Статистики до Статистики Яндекс Докладчик: Юхно Олег руководитель группы администрирования email: olegu@yandex-team.ru 11. - презентация

1 От Статистики до Статистики Яндекс Докладчик: Юхно Олег руководитель группы администрирования 11

2 О чем я хочу рассказать? Развитии системы статистики 2 Проблемах и их решении

3 Зачем нужна система расчета статистики 3

4 Почему нужна система расчета статистики 4 Много проектов Много данных Потребовалось считать статистику регулярно и единообразно

5 5

6 6 Сначала данных и проектов было мало < 10Gb в сутки

7 Исходная архитектура 7 в СУБД складываем только необходимые фрагменты строк из лога СУБД резервируем считаем возможности экстенсивного роста неограниченными Проблема: конструкция не масштабируется.

8 8

9 9 Данных и проектов еще было мало < 100Gb в сутки

10 Первая попытка масштабирования кластеризация считающих машин("парсеров") кластеризация СУБД SAN с использование iscsi Проблема: все пропало, сеть не может обеспечить нужную производительность :( 10

11 11

12 Когда данных стало Гб в сутки 12

13 Вторая попытка масштабирования 13 Пределы экстенсивного роста Научились эффективно балансировать нагрузку на сеть (а именно TCP сессии iscsi) Учли особенности работы с кластеризованной СУБД Проблема: монолитность системы

14 Вторая попытка масштабирования 14 Пределы экстенсивного роста

15 Финальное решение

16 16

17 17

18 18 Сейчас ежесуточно статистика обрабатывает 2-3Тб данных

19 19

20 "оптимальность инструмента" расчетов разделение монолитной системы на обособленные функциональному признаку подсистемы 11 Пересмотр архитектуры

21 А будет еще больше… 21 Рост в 3-4 раза каждый год!

22 Пересмотр архитектуры: почему? Недостатки старой архитектуры: - сложности масштабирования - монолитность системы Достоинства старой архитектуры: - единая точка входа - SQL-интерфейс - ну и то что она как-то работает :) 22

23 Пересмотр архитектуры: почему? 23 Недостатки новой архитектуры: Необходимость локализации расчетов Достоинства новой архитектуры Масштабируемость Надежность Большая емкость вычислительных и сетевых ресурсов

24 Итог: 24 Нерешаемые проблемы решаются просто Децентрализация системы сильно упрощает ее обслуживание. Децентрализация системы повышает ее надежность. (возможно этот слайд нафиг не нужен)

25 Итог: 25 Децентрализация системы Специализация компонентов Автономность компонентов «Простота» компонентов ОтказоустойчивостьПроизводительность Простота в обслуживании и высокая эффективность

26 Спасибо! Юхно Олег руководитель группы администрирования 26