Системы обработки и визуализации экспериментальных данных

Вопросы: 1. Программное обеспечение для обработки данных 2. Пакеты для работы с графической информацией, средства визуализации 3. Математические пакеты, пакеты прикладных программ 4. Технологии обработки графической и числовой информации, статистическая обработка экспериментальных данных

Вопрос 1 Программное обеспечение для обработки данных;

По сфере применения Системы обработки данных, предназначенные для научных исследований (научные системы), служат для решения задач по автоматизации деятельности научных сотрудников, управления экспериментальной деятельностью, анализа статистической информации. Информационные системы автоматизированного проектирования автоматизируют труд инженеров- проектировщиков и разработчиков новых технологий или техники в таких областях, как энергетика, машиностроение, металлургия и т. д. Они помогают осуществлять разработку новых изделий и технологий их производства, выполнять необходимые инженерные расчеты, создавать графическую документацию, моделировать проектируемые объекты, создавать управляющие программы и т. д.

По уровню автоматизации В зависимости от степени автоматизации классификация систем параллельной обработки данных определяет ручные, автоматизированные и автоматические информационные системы. В ручных системах все операции по обработке информации выполняются человеком: так, например, в фирме, где отсутствуют компьютеры (что само по себе является в наш век достаточно раритетным), можно говорить, что менеджер работает с ручной информационной системой. В автоматизированных системах часть управления и обработки выполняется человеком, а часть – вычислительной машиной. Это может быть, например, анализ энергозатрат на предприятии, приемка и сортировка товаров и т. п. В случае с автоматическими системами все функции управления и обработки данных протекают без участия человека.

По характеру и объему данных Данная классификация систем проводится государственными и муниципальными службами, а также юридическими и физическими лицами, организующими и осуществляющими обработку персональных данных. Классификация проводится одновременно с созданием информационных систем или в ходе их эксплуатации и имеет своей основной целью определение методов защиты данных. По результатам такого анализа осуществляется классификация систем параллельной обработки данных, в ходе которой системе присваивается один из следующих классов: класс 1 (К1) – информационные системы, в которых нарушение заданных характеристик безопасности обрабатываемых данных может привести к значительным пагубным последствиям для субъектов данных, класс 2 (К2) – информационные системы, в которых последствия будут оценены как негативные, класс 3 (К3) – последствия могут быть незначительно негативными и класс 4 (К4) – негативные последствия для субъектов отсутствуют.

Задачи обработки данных встречаются практически во всех областях исследований. К таким задачам относятся как описательные статистики и регрессионный анализ, так и различные преобразования данных (гистограммы, частотный анализ и анализ временных рядов), а также задачи извлечения признаков. Почти всегда требуется отображение данных и результатов их обработки в графическом виде.

OpenOffice.org Calc Электронная таблица из пакета OpenOffice.org. Содержит набор функций для описательной статистики, позволяет вычислять F- и T-тесты, а кроме того, в категории функций «Подключаемый модуль» имеются функции комплексного переменного, а также функции Бесселя. Пакет OpenOffice.org интересен по двум причинам – во- первых, он по умолчанию поддерживает форматы документов ISO/IEC (OpenDocument Format), а во-вторых, он работает практически на всех операционных системах. Недостатком является бедность встроенных возможностей по построению трехмерных графиков.

Gnumeric Электронная таблица из проекта GNOME Office. В дополнение к набору функций, аналогичных OpenOffice.org Calc, здесь имеются усиленные возможности по анализу данных, и в частности, дополнительный набор статистических инструментов: - однофакторный и двухфакторный дисперсионный анализ; - вычисление корреляции и ковариации; - прогнозирование методами скользящего среднего и экспоненциального сглаживания; - построение гистограмм; - фурье-анализ; - вычисление F-, T- и Z-тестов. Gnumeric также является кросс-платформенным приложением, информацию о наличии сборки под конкретную операционную систему и версиях пакета можно получить на сайте проекта Имеется небольшая статья в Wikipedia. Gnumeric также не отличается богатством и разнообразием вариантов графиков.

Grace (xmgrace) Пакет двумерной научной графики. Предназначен для обработки данных и подготовки результатов к публикации. На «входе» пакета, как правило, должен быть текстовый файл со столбцами данных, а на «выходе» получается графический файл заданного типа с высококачественным графиком. Основные возможности пакета в области обработки данных следующие: - математические операции (арифметика и применение функций) с рядами данных; - построение гистограмм; - прямое и обратное преобразование Фурье с возможностью использования цифровой фильтрации; - интерполяция методом скользящего среднего и сплайн-интерполяция; - численное дифференцирование и интегрирование; - анализ временных рядов путем исключения периодической компоненты (seasonal differences); - линейная и нелинейная регрессия, нелинейная подгонка; - вычисления корреляции, ковариации и свертки; - извлечение признаков. Пакет Grace распространяется в исходных текстах (сайт проекта но существуют готовые сборки в некоторых дистрибутивах Linux (ALT, Debian, SUSE...). Сборку для Windows не может найти даже Google, однако возможен запуск пакета в Cygwin-окружении. Про этот пакет также имеется небольшая статья в Wikipedia. Кроме того, на русском языке доступен русский перевод учебника ( и краткое руководство по использованию на сайте ЛИТ ОИЯИ (

Maxima Пакет символьной математики, позволяющий проводить символьные преобразования: упрощения выражений, раскрытие скобок, возведение в степень. Кроме того, можно находить корни квадратных (и не только) уравнений, работать с тригонометрическими функциями и комплексными числами, строить двумерные и трехмерные графики. Большое количество встроенных функций, возможность создавать пользовательские функции и писать пользовательские программы делают пакет серьезным инструментом для профессионального применения. Сам по себе пакет работает в текстовом режиме, однако для Maxima существует несколько интерфейсов (оболочек), среди которых наиболее интересен TeXmacs – WYSIWYG-редактор для документов TeX. Сессия Maxima в TeXmacs представляет собой документ с расчетами и формулами типографского качества, который может быть преобразован как в PDF, так и в HTML и в TeX, а наличие в TeXmacs презентационного режима позволяет работать в программе прямо в ходе лекции или семинара. Более подробную информацию «из первых рук» можно получить на сайте проекта (maxima.sourceforge.net), а на русском языке доступны как материалы в Wiki ( так и учебник в журнале LinuxFormat (номера 7(81)/2006 – 12(86)/2006, см. Как сам пакет Maxima, так и оболочки к нему (wxMaxima, TeXmacs) являются кросс-платформенными.

SciLab Пакет числовой обработки данных. Основной режим работы – командный, однако имеется система визуального моделирования технических систем (Scicos). К основным функциям пакета можно отнести работу с матрицами (в том числе разреженными), решение обыкновенных дифференциальных уравнений, численное дифференцирование и интегрирование, построение двумерных и трехмерных графиков по формулам и по результатам расчетов, решение задач линейного программирования, а также возможность создания пользовательских программ. Пакет является кросс- платформенным, на сайте проекта ( можно найти самые последние сборки для различных операционных систем. На русском языке подробную информацию и пособия по работе с пакетом можно получить как на сайте М. И. Павловой ( так и на сайте Е. Р. Алексеева и О. В. Чесноковой (

GRETL (GNU Regression, Econometrics and Time-series Library) Профессиональный кроссплатформенный пакет для решения задач эконометрики и анализа временных рядов (что и видно по названию). На сайте проекта (gretl.sourceforge.net) можно найти сборки для различных платформ, а также дополнительные библиотеки и файлы примеров (на английском языке). Русские Интернет-ресурсы, посвященные пакету, найти довольно трудно, однако в начале 2007 года в издательстве «Горячая линия-Телеком» вышла книга Т.Куфеля «Эконометрика. Решение задач с применением пакета программ GRETL» (ISBN N ).

ВЫВОД Описанные выше несколько программ, конечно, не исчерпывают всего разнообразия свободных программных средств для научных расчетов и обработки данных, однако они могут составить некий базовый набор, с помощью которого можно обеспечить существенную экономию средств при решении научных и исследовательских задач. Из всех перечисленных программ только Grace не является кросс- платформенной, но работает в Windows через опять-таки бесплатный эмулятор Cygwin. Таким образом, можно практически даром организовать мощную станцию для научных расчетов с использованием любимой операционной системы. А специально для людей, занимающихся научными расчетами, но не знающих иностранных языков, появляется все больше литературы на русском языке.

Вопрос 2 Пакеты для работы с графической информацией

Corel Draw Пакет CorelDraw всегда производит сильное впечатление. В комплект фирма Corel включила множество программ, в том числе Corel Photo-Paint. Художественные возможности оформления текста в CorelDraw безупречны Можно вырезать изображения, накладывать цветные фильтры и придавали растровым изображениям вид изогнутой страницы, используя двух- и трехмерные эффекты и внешние модули PhotoShop.

Adobe Illustrator Adobe Illustrator работает в среде Windows 95, но в нем используются диалоговые окна в стиле Windows 3.1 и короткие имена файлов. По функциональным возможностям Illustrator сегодня настолько уступает пакету CorelDraw, не говоря уже о Macromedia FreeHand 7

Micrografx Designer Micrografx Designer 7 - приятная в применении, хоть и не крупная программа, легко справившаяся с большинством тестов, - также заслуживает особого упоминания благодаря своим превосходным средствам для технических иллюстраций. Designer 7 наряду с FlowCharter 7 и Picture Publisher 7 образует ядро комплекта Micrografx Graphics Suite, представляет собой одну из наименее дорогих среди программ данного обзора. Инструментальные средства рисования пакета Designer - одни из самых простых для освоения и применения, хотя и достаточно мощные.

Macromedia FreeHand Пакет Macromedia FreeHand 7 поражает безупречным качеством вывода на экран и четырехцветной печати CMYK и наличием нескольких форматов для Web. В списке цветов FreeHand указываются только те цвета, которые были использованы или созданы вами. Программа позволяет отбирать цвета из нескольких библиотек, в том числе Pantone и Hexachrome для печати, и из палитры Web, оптимизированной как для Mac, так и PC. FreeHand располагает очень продуманным, если не самым лучшим инструментарием среди всех представленных пакетов. Но главное достоинство FreeHand - абсолютное соблюдение режима полного соответствия при выводе изображения (WYSIWYG), без всяких неприятных сюрпризов.

Corel Xara CorelXara служит в первую очередь для создания графического изображения на странице за один раз и формирования блока текста за один раз. Программа позволяет выполнять с рисунками, градиентным заполнением, изображениями и диапозитивами такие действия, о которых вы могли только мечтать. Благодаря возможностям масштабирования векторной графики и текстурам растровых изображений двумерные объекты начинают все более напоминать трехмерные. Нарисуйте объект. Наложите текстуру (растровое изображение) или закрасьте его (материал). Определите уровень прозрачности. Затем переместите изображение и отредактируйте по своему вкусу.

Математические пакеты Вопрос 3

MatLab Система изначально была предназначена для численных вычислений. С течением времени количество возможностей MatLab существенно возросло, появились библиотеки, которые реализуют уникальные для математических пакетов функции. Например, широко известная библиотека Simulink, реализуя принцип визуального программирования, позволяет не написав ни строчки кода построить функциональную схему системы управления из стандартных блоков (усилитель, сумматор, интегратор и т.д.) и проанализировать ее работу. MatLab отличается высокой скоростью численных вычислений. Из недостатков следует отметить невысокую интегрированность среды, не совсем удачный Help и специфический редактор кода MatLab-программ.

MathCad Весьма своеобразная САE-программа. Давно завоевал популярность как непревзойденный редактор математических текстов. В MathCad нет как такового языка программирования. Вычисления осуществляются на уровне визуальной записи выражений в общеупотребительной математической форме. "Движок" символьных вычислений заимствован из Maple. MathCad хорош для небольшого объема вычислений, он предоставляет широкие возможности для оформления работы в привычном виде. Большие возможности импорта/экспорта данных, интеграция с Internet, возможность работы с электронными таблицами Excel внутри MathCad-документа.

Mathematica 3.0 Одна из самых мощных систем. Обладает исключительно большой функциональной избыточностью (есть даже возможность синтезирования звука). Большой выигрыш Mathematic'е дает высокая скорость численных вычислений. К недостаткам следует отнести необычный язык программирования, который компенсируется достаточно подробной системой помощи

Maple V Это, пожалуй, самая удачно сбалансированная система, бесспорный лидер по возможностям символьных вычислений. Оригинальный символьный "движок" сочетается с легкозапоминающимся структурным языком программирования. Maple V легко может быть использован и для небольших задач и для серьезных проектов. Большой "плюс" Maple V - высокая интеграция среды, отличный Help. К недостаткам следует отнести иногда необоснованную "задумчивость" системы.

Пакеты прикладных программ

Это комплекс взаимосвязанных программ для решения задач определенного класса. Выделяются следующие виды ППП: проблемно-ориентированные. Используются для тех проблемных областей, в которых возможна типизация функций управления, структур данных и алгоритмов обработки. Например, это ППП автоматизации бухучета, финансовой деятельности, управления персоналом и т.д.; проблемно-ориентированные автоматизации проектирования (или САПР). Используются в работе конструкторов и технологов, связанных с разработкой чертежей, схем, диаграмм; автоматизации проектирования общего назначения. Поддерживают компьютерные технологии конечных пользователей и включают текстовые и табличные процессоры, графические редакторы, системы управления базами данных (СУБД); общего назначения офисные. Обеспечивают организационное управление деятельностью офиса. Включают органайзеры (записные и телефонные книжки, календари, презентации и т.д.), средства распознавания текста; офисные настольные издательские системы – более функционально мощные текстовые процессоры; настольные издательские системы системы искусственного интеллекта. Используют в работе некоторые принципы обработки информации, свойственные человеку. Включают информационные системы, поддерживающие диалог на естественном языке; экспертные системы, позволяющие давать рекомендации пользователю в различных ситуациях; интеллектуальные пакеты прикладных программ, позволяющие решать прикладные задачи без программирования. системы искусственного интеллекта

Проблемно-ориентированные пакеты Используются в тех предметных областях, для которых возможна типизация функций управления, структур данных и алгоритмов обработки. Типичным примером является серия программ 1С:, позволяющая автоматизировать решение задач управления предприятием, например, 1С:Бухгалтерия, 1С: Предприятие, 1С: Кадры и т.д. К пакетам этого класса относятся и программы, реализующие дистанционное обучение, например пакет SunRav_BookOffice для создания и работы с электронным учебником, с помощью которого был разработан данный электронный учебник.

Системы автоматизации проектирования (САПР) Эти пакеты используются в работе конструкторов и технологов, связанных с разработкой чертежей, схем, диаграмм, т.е. с обработкой графических изображений. Реализуют функции: коллективная работа в сети; экспорт - импорт файлов различных форматов; масштабирование объектов; группировка объектов, передвижение, растяжка, поворот, разрезание, изменение размеров, работа со слоями; перерисовка; управление файлами; использование чертежных инструментов, позволяющих рисовать кривые, эллипсы, линии произвольной формы, многоугольники и т.п.; работа с цветом; автоматизация отдельных процедур с использованием встроенного макроязыка. Примерами пакетов этого класса являются: AutoCAD (AutoDesk), DesignCAD, Grafic CAD Professional, DrawBase, Microstation, TurboCAD.

Пакеты общего назначения Поддерживают компьютерные технологии конечных пользователей и включают: Текстовые процессоры Табличные процессоры Графические редакторы Системы управления базами данных (СУБД) Пакеты программ мультимедиа Пакеты демонстрационной графики

Офисные пакеты Обеспечивают организационное управление деятельностью офиса. Включают: Органайзеры используются для автоматизации процедур планирования использования различных ресурсов (времени, денег, материалов) как отдельного человека, так и всей фирмы или ее подразделений. Существуют 2 вида пакетов этого класса: 1) органайзеры для управления проектами. используются для сетевого планирования и управления проектами. Позволяют спланировать проект любой величины и сложности, эффективно распределить людские, финансовые и материальные ресурсы, составить оптимальный график работ и проконтролировать его исполнение. К ним относятся Time Line, MS Project, CА - Super Project; 2) органайзеры для организации деятельности отдельного человека. Это электронные секретари для эффективного управления деловыми контактами. Включают, в частности, Lotus Organizer, ACTI. Программы для распознавания символов используются для перевода графических изображений букв и цифр в ASCII-коды этих символов. Применяются в сканерах. Примерами таких пакетов являются Fine Reader, Cunie Form, Tiger, Omni Page.

Настольные издательские системы Применяются для профессиональной издательской деятельности. Позволяют осуществлять электронную верстку широкого спектра основных типов документов типа информационного бюллетеня, цветной брошюры, каталога, справочника. Позволяют решать задачи: компоновать (верстать) текст; использовать всевозможные шрифты и выполнять полиграфические изображения; осуществлять редактирование текста на уровне лучших текстовых процессоров; обрабатывать графические изображения; выводить документы полиграфического качества; работать в сетях на разных платформах. Примерами таких пакетов являются: Corel Ventura, Page Maker, QuarkXPress, Frame Maker, MS Publisher, Page Plus, Compu Work Publisher.

Системы искусственного интеллекта Этот класс пакетов включает: информационные системы, поддерживающие диалог на естественном языке (естественно-языковый интерфейс); экспертные системы, позволяющие давать рекомендации пользователю в различных ситуациях; интеллектуальные пакеты прикладных программ, позволяющие решать прикладные задачи без программирования.интеллектуальные пакеты прикладных программ Естественно-языковый интерфейс был наиболее привлекателен для общения с ЭВМ с момента ее появления. Это позволило бы исключить необходимость обучения конечного пользователя языку команд или другим приемам формулировки своих заданий для решения на компьютере, поскольку естественный язык является наиболее приемлемым средством общения для человека. Поэтому работы по созданию такого рода интерфейса начались с середины 20-го века. Однако, несмотря на весь энтузиазм исследователей и проектировщиков, эта задача не решена и по сей день из-за огромных сложностей, связанных с пониманием предложений естественного языка и связного текста в целом. Некоторые программные продукты, которые появлялись на рынке, носили скорее экспериментальный характер, имели множество ограничений и не решали задачу кардинально. Тем не менее, несмотря на кажущийся застой в этой сфере, данная проблема остается актуальной и по сей день и вошла в состав проблематики, связанной с проектом ЭВМ пятого поколения. Экспертные системы впервые появились в области медицины. Возникла идея интеграции знаний экспертов в области медицины или ее отдельных разделов в некоторую электронную форму, которая позволила бы начинающему врачу иметь своеобразного электронного советника при принятии решений по тому или иному врачебному случаю. Выбор области медицины объясняется слишком большой ценой ошибок, которые касаются жизни и здоровья людей. Постепенно от области медицины эта технология распространилась и на другие сферы деятельности человека, например, производство. Технология использования экспертных систем предполагает первоначальное "обучение" системы, т.е. заполнение ее конкретными знаниями из той или иной проблемной области, а потом уже эксплуатацию наполненной знаниями экспертной системы для решения прикладных задач. Эта идеология проявила себя в проекте ЭВМ пятого поколения в части привлечения конечного пользователя к решению своих задач и связана с проблемой автоформализации знаний. Интеллектуальные пакеты прикладных программ позволяют, аналогично экспертным системам, предварительно создавать базу знаний, включающую совокупность знаний из той или иной области деятельности человека, а затем решать практические задачи с привлечением этих знаний. Различие этих видов пакетов состоит в том, что экспертные системы, в отличие от интеллектуальных ППП, позволяют интегрировать знания из так называемых слабо формализуемых предметных областей, в которых сложно определить входные и выходные параметры задачи, а также невозможно сформировать четкий алгоритм ее решения. Кроме того, экспертные системы не формируют алгоритм решения задачи как в случае интеллектуальных ППП, а лишь выдают "советы" пользователю на основании его запроса.