Пример разработки высоконагруженной реляционной базы данных Белоусов Павел. - презентация

1 Пример разработки высоконагруженной реляционной базы данных Белоусов Павел

2 Краткое содержанние Постановка задачи Проблемы Решение проблем

3 Наша задача ОБД РБД

4 А зачем? Поиск по связанным объектам Проверка целостности

5

6

7 Task-Based система Отмечаются изменения в ОБД На основе изменений создаются задачи Задачи обрабатываются Данные синхронизируются в РБД

8 Поиск по иерархическим данным Создали схему Создали индексы Проверили, что всё работает быстро Сдали в продакшн

9

10 Прошел год...

11

12 Проблемы Запросы на поиск выполняются по несколько минут Данные синхронизируются с большой задержкой Ребилд индексов работает по 12 часов

13 Нагрузка Было 1-2 M задач ~10 потоков ~10сек на поиск 1 мин на репликацию Стало 50+ M задач 25 потоков 3+ мин на поиск 1+ час на репликацию

14

15 Оптимизация запросов Денормализация Настройка индексов Рефакторинг запросов

16 Денормализация Name: ParentNode Name: Node AName: Node B Type: A Type: B

17 Настройка индексов SQL Server Profiler Execution Plan Index Tuning Advisor Index Tuning

18 Рефакторинг запросов Все ли поля из запроса нужны Все ли JOINы нужны Используйте Full Text Search вместо LIKE Пересмотрите работу с временными таблицами Попробуйте разбить запрос

19 Запросы на поиск Было 3 мин Стало < 30 сек

20 Переработка системы задач Рефакторинг схемы Рефакторинг алгоритма Устранение блокировок

21 Рефакторинг схемы

22 Рефакторинг алгоритма Использование грязного чтения Группировка задач Отказ от TABLOCKов

23 Группировка задач Node A – Data 1 Node A – Data 2 Node A – Data 3 … Node A – Data N

24 Устранение блокировок Научились воспроизводить deadlockи Определили конфликтующие запросы Переписали запросы

25 Устранение блокировок

26 Что получилось? Часть данных реплицируется за 1 минуту Не критичные – за час

27

28 Не оставляйте технических долгов

29 Следите за производительностью

30 Изучайте матчасть Индексы Уровни изоляции Блокировки и взаимные блокировки Планы выполнения

31 Спасибо за внимание Белоусов Павел