Проект : Ассоциативный поиск информации с помощью нейронных сетей. Задача: методы кластеризации данных

Основные методы поиска информации в базах данных Язык манипулирования данными SQL Язык манипулирования данными SQL Индексация Индексация Каталоги Каталоги Организация поиска данных с помощью нейронных сетей Кохонена Организация поиска данных с помощью нейронных сетей Кохонена

Недостатки существующих методов Сложность и громоздкость Сложность и громоздкость Нечувствительность к контексту Нечувствительность к контексту Значительные требования к ресурсам Значительные требования к ресурсам

Метрики, использующиеся для кластеризации множества. Евклидова метрика Евклидова метрика Взвешенная Евклидова Взвешенная Евклидова Где связано с использованием дополнительных исследований Где связано с использованием дополнительных исследований Хеммингова Хеммингова

Меры близости между группами Расстояние, измеряемое по принципу «ближнего соседа» Расстояние, измеряемое по принципу «ближнего соседа» Расстояние, измеряемое по принципу «дальнего соседа» Расстояние, измеряемое по принципу «дальнего соседа» Расстояние, измеряемое по «центрам тяжести» групп Расстояние, измеряемое по «центрам тяжести» групп Расстояние, измеряемое по принципу «средней связи» Расстояние, измеряемое по принципу «средней связи» Обобщенное К-расстояние (по Колмогорову) Обобщенное К-расстояние (по Колмогорову)

К-средних Ключ работы алгоритма основывается на поиске самого плохого кластера по признаку максимально удаленной точки от геометрического центра. Ключ работы алгоритма основывается на поиске самого плохого кластера по признаку максимально удаленной точки от геометрического центра.

Исомад(isodata) Основа работы связана с трафаретным выбором претендентов на расщепление по признаку среднеквадратичного отклонения всех точек относительно центра. Основа работы связана с трафаретным выбором претендентов на расщепление по признаку среднеквадратичного отклонения всех точек относительно центра.

К-средних versus исомад высокая скорость работы высокая скорость работы линейный рост кодовой книги (одна итерация – плюс один кластер) линейный рост кодовой книги (одна итерация – плюс один кластер) Низкая точность работы на зашумленных данных Низкая точность работы на зашумленных данных Большое время работы алгоритма Рост книги зависит от размера и свойств исследуемого множества Более высокая точность работы на зашумленных данных

Общий вид искусственной нейронной сети Трехслойная сеть Трехслойная сеть

Архитектура слоя Кохонена

Правило настройки смещений Рекуррентное выражение вычисления значения матрицы весов

Архитектура самоорганизующейся карты Кохонена

Правило Кохонена настройки смещения изменяются веса всех нейронов изменяются веса всех нейронов

Шаблонное множество Построение данных методом «от обратного» Вид множества

результат Результат работы алгоритмов

шум Для большей схожести с реальными данными, множество искусственно зашумляется

Boot Strap Сбор статистики и формирование критериев останова. Чистая вероятность относительная

Относительна вероятность, где P - «относительная» вероятность P - «чистая» вероятность D- дисперсия (среднеквадратичное отклонение).

Пример на другом множестве

Список студентов

Вид данных для двух размерностей

Этапы обучения сети: 10 эпох

Этапы обучения сети: 60 эпох

Этапы обучения сети: 100 эпох

Графическое представление работы сети по пространству 4 мерных данных

Спасибо за внимание!