1 Программа для извлечения с поисковых сайтов и анализа результатов поиска ПРОСТОЙ СОФТ: АНАЛИЗ РЕЗУЛЬТАТОВ ПОИСКА. - презентация

1 1 Программа для извлечения с поисковых сайтов и анализа результатов поиска ПРОСТОЙ СОФТ: АНАЛИЗ РЕЗУЛЬТАТОВ ПОИСКА

2 2 Основные функции системы Извлечение результатов поиска с сайтов Google.ru, Yandex.ru, Rambler.ru и Mail.ru в локальную базу данных. Анализ результатов поиска.

3 3 Преимущества системы Автоматизация процесса извлечения результатов поиска с сайтов в локальную базу Эффективный анализ - удобные способы сортировки и фильтрации данных Возможность изменения структуры данных – добавления таблиц и полей

4 4 Составляющие системы Вкладка «Google.ru» Вкладка « Yandex.ru » Вкладка « Rambler.ru » Вкладка « Mail.ru » Вкладка «Анализ»

5 5 Рассмотрим подробнее процесс работы в системе

6 6 Вы определяете для себя, какие данные Вы будете искать на поисковых сайтах. При помощи вкладок для извлечения осуществляется извлечение данных в локальную базу. Когда данные уже извлечены, но Вы еще не отключились от Интернета, Вы можете заполнить поля GooglePageRank и Яндекс тИЦ. Это поможет Вам при дальнейшем анализе «нужности» и «полезности» каждого найденного сайта. Дальнейшая работа осуществляется во вкладке «Анализ», где данные из Интернета будут представлены в доступной для использования форме, с возможностью сортировки, фильтрации, а также скрытия/отображения различных параметров. Если необходимо, можно включить многопользовательский режим. Общий порядок работы

7 7 Извлечение данных 1.Заходим на вкладку 3.Вводим поисковый запрос 5.Жмем кнопкуСтарт – начинается извлечение 2.Жмем кнопкупереход Следуем указаниям в строке-статусе Принцип извлечения данных на всех вкладках поисковиков одинаков. Необходимо зайти на нужную вкладку, ввести интересующие параметры поиска (поисковый запрос), например, Туры на Мальту из Петербурга. 4.Задаем параметры извлечения: таймаут загрузки страниц и количество обрабатываемых страниц Кнопку поиск на странице нажимать НЕ надо

8 8 Извлечение данных – Google PR и Yandex тИЦ После того, как результаты поиска извлечены, но Вы еще подключены к Интернет, можно выбрать пункт менюЗаполнить Google PR. Программа пройдет по всем найденным поисковиками сайтам и извлечет для каждого значение параметра Google PR (Google Page Rank)- индекса популярности по оценкам Google. Аналогично можно поступить с параметром Yandex тИЦ (тематический Индекс Цитирования).

9 9 Построение аналитических полей По извлеченным результатам поиска строятся аналитические поля. Программа как бы "читает" результат поиска (ссылку на ресурс) и раскладывает все "по полочкам". Вы получаете строго структурированную информацию. Программа построила аналитические поля. Правый щелчок мыши по названию любого поля выдает полный перечень всех полей.

10 10 Занесение данных вручную Можно просто вести базу данных, вводя информацию о сайтах с клавиатуры или копируя их через буфер обмена.. Задаем редактирование в отдельной форме Заносим информацию о сайте Жмем Новая запись

11 11 Устанавливаем фильтры, в соответствии с оговоренными условиями. Особую ценность представляют параметры GooglePR и Yandex тИЦ. По их значению можно отбирать действительно значимые сайты. В программе есть возможность установки фильтров по всем операторам языка SQL Находим 12 сайтов, удовлетворяющих нашему запросу Фильтрация данных Для того чтобы показывать не все записи таблицы, а только удовлетворяющие определенным критериям, используются фильтры. Допустим нас интересуют только сайты с доменом 1 уровня ru, значением GooglePR больше или равно 3, занимающие в результатах поиска позиции не ниже 30-ой.

12 12 Свойства таблицы удобная настройка полей, которые надо отображать. возможность настроить цвет, которым будут выделяться строки с определенными значениями определенных полей выбор полей, по которым будет отображаться дерево настройка подчиненных вкладок с подчиненными таблицами Настроить интерфейс вкладки Объявления можно при помощи опции Свойства таблицы :

13 13 Дерево отображаем дерево при помощи соответствующей кнопки панели инструментов выбираем нужную ветвь дерева, и отображаются записи только с выбранным значением поля, по которому построено дерево Когда необходимо отобрать данные с одинаковыми значениями полей, вместо таблицы с фильтрами удобнее использовать дерево. Предварительно в свойствах таблицы, в таком случае, надо установить, по каким полям дерево будет строиться.

14 14 Скрываем таблицу с фильтрами и дерево, нажав на соответствующие кнопки панели инструментов, чтобы больше данных было в области видимости Сортируем данные простым кликом по полю Домен 2 уровня Нажав кнопку поиска на панели инструментов ищем travel.ru в поле Домен 2 уровня Поиск по таблице Допустим, Вы хотите найти определенный домен 2-го уровня, например, travel.ru

15 15 Изменение структуры Возможно, для работы Вам понадобятся свои поля для работы с информацией о сайтах. Или, наоборот: некоторые поля, предусмотренные разработчиком, Вами точно использоваться не будут. Большое преимущество программы состоит в том, что структуру данных можно легко изменять согласно требований пользователя. Вы можете: Удалять ненужные поля и таблицы Скрывать/отображать поля и таблицы Создавать новые поля и таблицы

16 16 Удаление / скрытие полей Контекстное меню открывается простым щелчком правой кнопкой мыши по заголовкам полей Скрытие/отображение полей происходит путем проставления галочек напротив полей, которые должны быть видны Также при помощи данного контекстного меню можно добавить новое поле, удалить выбранное поле или посмотреть его свойства.

17 17 Добавление нового поля При добавлении нового поля предоставляются следующие возможности: возможность выбора типа данных возможность создания вычисляемых полей на основе sql (например, можно создать поле с формулой "[Размер страницы, Kb] / [GooglePageRank]" Чем меньше значение такого параметра, тем "лучше" сайт явное задание значений для выбора из выпадающего списка

18 18 Импорт данных Вы можете импортировать объявления из каких- нибудь других источников. Формат - текстовый CSV- файл или файл MS Excel, можно задать разделитель полей. Импортировать можно любую информацию. Это могут быть данные из каких-либо каталогов сайтов и т.п. Вы сами выбираете нужную таблицу базы данных (сначала ее можно создать) и задаете соответствие полей откуда какую информацию копировать. Во время сопоставления необходимо помнить о типе полей.

19 19 Экспорт данных Экспортировать также можно абсолютно любую таблицу. Для этого нужно нажать одну из четырех кнопок для экспорта на панели инструментов (в Word, в Excel, в CSV или в HTML). В MS Exel экспорт выполняется сразу без дополнительных вопросов. Для экспорта в текстовый формат CSV выдается форма, где вы выбираете целевой файл, задаете разделитель полей. Можно задавать любой символ-разделитель. Также можно экспортировать названия (заголовки) полей первой строчкой. Экспортируются только видимые поля. Экспорт в MS Word предназначен для создания выходных документов (отчетов) для одной текущей записи таблицы. Создается шаблонный документ MS Word.

20 20 Групповое обновление По окончании извлечения и построения аналитических полей, чтобы не загромождать некоторые поля излишней информацией, можно воспользоваться опцией Групповое обновление. Что касается загромождения полей информацией, можно, например, в поле Поисковый сайт заменить названия сайтов с на YANDEX и т.д. Есть возможность не изменить выбранные значения, а удалить их Есть возможность посмотреть и изменить sql-инструкцию обновления Возможность задания нескольких условий отбора записей при помощи различных sql-операторов

21 21 Удаление дублей По окончании извлечения результатов будет полезно удалить дублированные результаты, оставляя в локальной базе данных только последнюю версию информации о сайте. Причем, есть возможность удаления дублей по полю Домен 2 уровня и по полю Домен 3 уровня. Вы можете войти в режим настройки инструкции SQL, которая будет выполнена. Например, вы можете не удалять дублированные объявления, а только лишь отметить их как "Мертвые" (или как "Избранные"), вероятно, для последующего удаления вручную. В этом случае замените SQL-инструкцию с этой (здесь речь о доменах 2 уровня) DELETE FROM [tblMain] T1 WHERE EXISTS (SELECT * FROM [tblMain] T2 WHERE (T2.Domain2LevelUrl = T1.Domain2LevelUrl AND T2.Domain2LevelUrl > '') AND (T2.ID < T1.ID)) на эту (легко заметить, что меняется только первая строчка инструкции) UPDATE [tblMain] T1 SET [Dead] = 1 WHERE EXISTS (SELECT * FROM [tblMain] T2 WHERE (T2.Domain2LevelUrl = T1.Domain2LevelUrl AND T2.Domain2LevelUrl > '') AND (T2.ID < T1.ID)) '') AND (T2.ID < T1.ID)) на эту (легко заметить, что меняется только первая строчка инструкции) UPDATE [tblMain] T1 SET [Dead] = 1 WHERE EXISTS (SELECT * FROM [tblMain] T2 WHERE (T2.Domain2LevelUrl = T1.Domain2LevelUrl AND T2.Domain2LevelUrl > '') AND (T2.ID < T1.ID))">

22 22 Если вы хотите установить данную программу...

23 23 Установка Для установки программы на вашем компьютере необходимо запустить файл FindResults.msi, который входит в состав инсталляционного пакета. Во время установки предлагается указать папку, в которую будет установлено приложение. По умолчанию это C:\Program Files\FindResults. Минимальные требования к компьютеру: операционная система Windows 95, 98, NT, 2000, XP; процессор с частотой 100 MGz и более; оперативная память 16 Mb и более; жесткий диск (используется около 3Мб с пустой базой данных);

24 24 Техническая поддержка Техническая поддержка осуществляется по электронной почте. Пожалуйста, пишите нам по адресу Полезным будет сообщить конфигурацию вашего компьютера и операционную систему (не забудьте указать язык), если у вас возникает системная ошибка, и другие уместные настройки. Но, прежде всего, убедитесь, что у вас установлена последняя версия программы, посетив сайт программы Ваше мнение может влиять на то, как будут выглядеть следующие версии программы. Если у вас есть идеи по улучшению программы, присылайте нам письма с предложениями. С уважением, Абрамов Иван Валерьевич программист и руководитель компании "Простой софт" Россия, Санкт-Петербург Спасибо за внимание!