Мини-проект Разработка системы тестирования Auto Testing Project Участники: Бышева Татьяна Ильичев Андрей Комин Александр Лапшин Андрей Новиков Егор Синицын Артем Руководители: Коваленко Александр Сиднев Алексей

Проверка корректности ПО это неотъемлемая часть его разработки. Минусы проверки корректности работы ПО вручную: 1)скучно… 2)долго… 3)ограниченность проверки… Актуальность проблемы

Выход есть ! СИСТЕМА АВТОМАТИЧЕСКОГО ТЕСТИРОВАНИЯ

Актуальность проблемы Область применения от проверки домашних работ по программированию до проверки олимпиадных работ по программированию различных масштабов

Существующие решения Система on-line тестирования ejudge Система для самотестирования Olympiads.ru

Назначение Предназначена для проведения студенческих командных олимпиад по программированию Используется для поддержки некоторых учебных курсов на ВМиК МГУ Особенность Система работает на платформе Linux Система on-line тестирования ejudge

Достоинства Широкая функциональность Удобство в использовании Недостатки Нужно приложить видимые усилия для внедрения системы в Linux Мало документации по работе с системой, её настройкой

Система для самотестирования Olympiads.ru Назначение Проверка собственных решений задач, в основном во время учебного процесса. Особенности Система работает на платформе Windows Позволяет работать только локально

Достоинства Простота установки и использования Минимальные системные требования Недостатки В системе практически не уделяется внимание вопросам безопасности и устойчивости (предназначена для проверки собственных решений задач) Низкая функциональность Система для самотестирования Olympiads.ru

Постановка задачи Необходимо разработать систему для автоматической проверки корректности и оценки эффективности программ. Для проверки и оценки эффективности предоставляются бинарные исполняемые модули. Пользователи системы Школьники/студенты, обучающиеся программированию.

Требования к системе(1/2) Система должна иметь веб-интерфейс и позволять: выполнять авторизацию пользователей обеспечивать контроль времени выполнения задания предоставлять пользователю описание и постановку задачи осуществлять выбор исполняемого бинарного файла (с последующим запуском) Информация о задачах и логи выполнения задач должны храниться в БД. выдавать результат проверки каждому пользователю (время выполнения и количество пройденных тестов) выдавать итоговый результат проверки для всех пользователей Постановка задачи

Требования к системе(2/2) Каждая проверяемая программа должна принимать входные данные через аргументы командной строки. Выходные данные программа должна выводить на консоль. Для каждой задачи должны быть подготовлены: описание задачи с примером входных и выходных данных - тестовые наборы и правильные выходные данные программ - тестовые наборы и программа, выдающая правильные выходные данные по этим наборам - программа для генерации тестовых наборов и программа, выдающая правильные выходные данные по этим наборам один из вариантов проверки программ: Постановка задачи

КлиентСервер База-данных Общая модель решения

Инструменты и языки программирования Среда разработки Язык программирования C# Библиотека для работы с базой System.Data.SQLite Система ведения логов Веб-сервер

Браузер Архитектура системы WCF сервис Менеджер пользователей Менеджер групп Менеджер задач и сессий Менеджер задач и сессий Менеджер доступа к БД Базы-данных IIS сервер Silverlight апплет Кэш менеджер

Вход в систему Авторизация пользователя. Для того, чтобы начать использование системы, необходимо ввести логин и пароль. Пример использования системы

Создание задачи Добавление задачи. Для добавления задачи необходимо ввести все данные в соответствующие поля. Пример использования системы

Создание задачи Добавление тестов для задачи. Для того, чтобы добавить тесты для созданной задачи, необходимо выбрать способ получения данных для тестирования, а также ввести их или выбрать файл, которых их сгенерирует/получит правильное решение. Пример использования системы

Создание/редактирование сессии Выбор действия. Для создания новой сессии, необходимо нажать соответствующую кнопку. (Для редактирования сессии необходимо кликнуть на ее название в списке.) Пример использования системы

Создание/редактирование сессии Шаг 1. Сначала требуется ввести название сессии и ее временные рамки. Пример использования системы

Создание/редактирование сессии Шаг 2. Для того, чтобы назначить участников сессии и соотнести с ними задачи для выполнения, необходимо: выбрать группу, в которую входят предполагаемые участники добавить участников из этой группы в сессию выбрать нужные задачи выбрать количество задач, которое будет назначено каждому из участников Пример использования системы

Создание/редактирование сессии Шаг 3. Для более точной настройки сессии по отношению к каждому участнику, можно добавить дополнительные задачи и удалить ненужные. Пример использования системы

Прохождение тестирования Выбор сессии. Для того, чтобы начать тестирование, необходимо выбрать, в рамках какой из доступных сессий оно будет проходить. Пример использования системы

Прохождение тестирования Начало тестирования. Для начала прохождения тестирования необходимо нажать соответствующую кнопку. (На этой странице так же можно посмотреть список задач, назначенных на выбранную сессию.) Пример использования системы

Прохождение тестирования Решение задачи. По клику на название в списке можно перейти к выполнению соответствующей задачи. Пример использования системы

Прохождение тестирования Завершение тестирования. После проверки загруженных файлов-решений можно завершить тестирование. (Если закончится время, отведенное сессии, то тестирование завершится принудительно.) Пример использования системы

Прохождение тестирования Просмотр результатов. При завершении тестирования можно посмотреть результаты текущей сессии. Пример использования системы

Система прошла тестирование на студентах группы Апробирование системы

Результаты работы (1/3) Разработана система, решающая поставленные задачи Разработан веб-интерфейс Реализована авторизация пользователей Система обслуживает 3 вида пользователей: o Администратор o Учитель o Студент Студенту предоставляется описание и постановка задачи Реализована поддержка сессий

Результаты работы (2/3) Осуществляется выбор исполняемого файла с последующей проверкой Обеспечен контроль времени выполнения задания Каждому пользователю выдается результат тестирования: o Время выполнения o Количество пройденных тестов

Результаты работы (3/3) Практическое использование системы Испытание системы на студентах 1 курса Профессиональные навыки Опыт работы в команде Опыт работы с MS Visual Studio 2010 Использование технологии MS Silverlight Использование БД SQLite Опыт работы с системой контроля версий (SVN)

Планы на будущее Доработка системы Внедрение системы в использование в университете и вне его Поддерживается возможность просмотра результатов всех пользователей со стороны преподавателя

Вопросы