Framework для автоматизации тестирования и функционального мониторинга в Яндексе или Автостопом по Акве. - презентация

1 Framework для автоматизации тестирования и функционального мониторинга в Яндексе или Автостопом по Акве

2 Михаил Левин, Яндекс Руководитель группы тестирования s:

3 AQuA

4 50 * * Серверов в последней версии AQuA

5 * Давайте померяемся * Тестовых классов в день

6

7 Почему? Рост команды Рост числа тестов Частота запуска тестов Потребность в единообразии Требования к надежности системы Требования к функционалу системы

8

9 История!

10 Ppsha + Monitoring Alpha Beta … Bonus! Katiusha Gamma

11 Ppsha + Monitoring Alpha Beta Katiusha Gamma

12 Ppsha Начало Ручное тестирование Тесты на Perl Selenium RC 0.9b

13 Доставка и хранилище Заливаем код в SVN Собираем все тесты в один JAR Парсим структуру тестов в XML Ppsha

14 Создаем профили Задаем частоту запуска Задаем получателей Просматриваем отчеты Ppsha Интерфейсы

15

16 Исполнение тестов Ручной запуск, HTTP, Cron 20 selenium servers v0.9b Firefox 2.0 Подготовка HTML отчета Ppsha

17 Единообразная обработка ошибок и генерация отчетов Сервисы Запуск селениума Различные виды запуска тестов Снятие скриншотов Сохранение html Прозрачная работа с параметрами для тестов

18 Ppsha + Monitoring Alpha Beta Katiusha Gamma

19 Katiusha Две машины

20 Katiusha Monitoring

21 Куча тестов Monitoring * * Оценка сверху

22

23 Солдат спит, робот идет Monitoring

24 Надо ли запускать тесты в продакшене??!!? Monitoring

25 Функциональный мониторинг Убеждаться что жив функционал, а не сервера Ловить плавающие ошибки Monitoring

26 Быстро уведомлять, но когда точно сломалось! SMS или Выставлять веса ошибкам Уведомлять после нескольких поломок подряд Monitoring

27 Ppsha + Monitoring Alpha Beta Katiusha Gamma

28 Интерфейс Репорты Дерево тестов XML Java агент Seleniums Firefox 2.0 Cron PPSHA и Katiusha Alpha SeleniumsFirefoxIE Дерево тестов MySQL Альфа архитектуры

29 Надо ли запускать «версточные» тесты кроссбраузерно? Alpha

30 Ppsha + Monitoring Alpha Beta Katiusha Gamma

31 Структура Тестов Очередь тестов Интерфейс Cron Репорты MySQL Beta JAR JAR JAR /opt

32 Структура тестов Очередь тестов Интерфейс Cron Репорты MySQL Beta Структура тестов Очередь тестов Интерфейс Cron Репорты MySQL Кластер Мониторинга Кластер Тестирования

33

34 Ppsha + Monitoring Alpha Beta Katiusha Gamma

35 Структура Тестов Очередь тестов Интерфейс Cron Репорты MySQL Gamma /opt Что будем улучшать?

36 Gamma Хотим побеждать Очередь Старый селениум 1.03 Файловое хранилище

37 Bonus!

38 А зачем нам selenium ???

39 У селениума своя область применения GUI Tests Acceptance Tests (API Layer) Unit Tests / Component Tests Manual tests

40 HTTP requests

41 Михаил Левин