ОБ АДАПТИВНОМ УВЕЛИЧЕНИИ РАЗМЕРНОСТИ ПРОСТРАНСТВА ПРИЗНАКОВ Ю. Р. Цой Томский политехнический университет

Теорема Ковера (1965) Вероятность неоднозначного обобщения для обучаемого классификатора ( т. е. вероятность неверной классификации нового объекта находящегося близко к разделяющей гиперповерхности ) уменьшается с ростом размерности пространства признаков. Cover T.M. Geometrical and Statistical Properties of Systems of Linear Inequalities with Applications in Pattern Recognition // IEEE Transactions on Electronic Computers EC Vol. 14(3). P

Примеры …… ……

Описание алгоритма …… ИНС-1 …… ИНС-2 Эволюционное обучение Resilient propagation …… …… Входные сигналы Выходные сигналы Входные сигналы Выходные сигналы

Описание алгоритма Целевая функция Количество выходных нейронов в ИНС -1: Функция активации нейронов :

Результаты работы ЗадачаДлительность обучения ИНС -2, эпохРезультаты из [Prechelt, 1994] cancer1 2,36 (0,18) 2,70 (0,28) 2,64 (0,30) 2,59 (0,30) 1,38 (0,49) card1 10,17 (0,63) 11,51 (0,66) 11,74 (0,77) 11,51 (0,86) 11,86 (0,74) 14,05 (1,03) diabetes1 22,34 (1,05) 21,98 (0,59) 21,93 (0,46) 21,51 (0,43) 21,41 (0,16) 24,10 (1,91) glass1 28,68 (1,73) 26,98 (1,55) 26,98 (1,79) 26,41 (0) 26,60 (0,60) 32,70 (5,34) heart1 21,00 (1,26) 21,87 (0,98) 21,70 (0,69) 21,43 (0,58) 21,26 (0,52) 19,72 (0,96) horse1 36,15 (3,38) 37,25 (3,04) 37,25 (1,90) 38,02 (2,85) 36,48 (1,85) 29,19 (2,62)

Результаты работы ЗадачаДлительность обучения ИНС -1, поколенияРезультаты из [Prechelt, 1994] cancer1 2,36 (0,18) 2,76 (0,53) 2,24 (0,18) 3,05 (0,39) 2,41 (0,24) 1,38 (0,49) card1 10,17 (0,63) 11,16 (0,86) 11,16 (0,90) 10,99 (1,14) 11,40 (0,68) 14,05 (1,03) diabetes1 22,34 (1,05) 23,39 (0,57) 22,08 (0,56) 22,81 (0,77) 23,45 (0,74) 24,10 (1,91) glass1 28,68 (1,73) 35,28 (1,55) 34,34 (1,73) 33,40 (2,68) 36,23 (1,95) 32,70 (5,34) heart1 21 (1,26)17,74 (1,02) 18,65 (1,29) 18,87 (0,80) 17,87 (0,95) 19,72 (0,96) horse1 36,15 (3,38) 39,89 (3,20) 34,40 (3,84) 40,44 (4,88) 40,44 (3,83) 29,19 (2,62)

Результаты работы ЗадачаЗначение a 0,50,51,01,52,02,53,0 cancer1, t 1 =10, t 2 =100 3,33 (0,53) 3,91 (0,24) 5,80 (0,42) 2,36 (0,18) 2,07 (0,73) 2,59 (0,49) cancer1, t 1 =20, t 2 =100 3,56 (0,24) 2,36 (0,33) 2,87 (0,27) 2,76 (0,53) 2,07 (0,30) 2,53 (0,30) cancer1, t 1 =10, t 2 =200 3,98 (0,18) 3,39 (0,18) 6,32 (0,27) 2,70 (0,28) 2,36 (0,33) 3,74 (0,62) cancer1, t 1 =20, t 2 =200 3,16 (0,30) 2,99 (0,24) 2,64 (0,40) 2,36 (0,33) 1,78 (0,18) 2,30 (0) horse1, t 1 =10, t 2 =100 35,16 (1,94) 42,18 (2,21) 34,84 (3,66) 36,15 (3,38) 34,18 (3,29) 36,04 (2,12) horse1, t 1 =20, t 2 =100 39,89 (1,94) 42,31 (1,49) 36,15 (2,95) 39,89 (3,20) 37,25 (4,62) 40,55 (2,61) horse1, t 1 =10, t 2 =200 38,68 (1,78) 40,22 (1,73) 36,15 (2,16) 37,25 (3,04) 36,04 (3,06) 38,68 (4,17) horse1, t 1 =20, t 2 =200 39,01 (2,50) 40,22 (3,12) 36,15 (3,17) 41,54 (2,19) 36,92 (4,12) 40,33 (1,72)

Лучшие результаты и сравнение ЗадачаЛучший полученный результат Результаты из [Prechelt, 1994] Комментарии cancer1 2,07 (0,73)1,38 (0,49) t 1 =10, t 2 =100, alpha = 2,5 card1 10,17 (0,63)14,05 (1,03) t 1 =10, t 2 =100, alpha = 2,0 diabetes1 21,41 (0,16)24,10 (1,91) t 1 =10, t 2 =500, alpha = 2,0 glass1 26,41 (0)32,70 (5,34) t 1 =10, t 2 =400, alpha = 2,0 heart1 17,74 (1,02)19,72 (0,96) t 1 =20, t 2 =100, alpha = 2,0 horse1 34,40 (3,84)29,19 (2,62) t 1 =30, t 2 =100, alpha = 2,0

Другие опыты CMA-ES – очень большое время работы и низкие результаты. Причина : необходимость решать полную задачу собственных значений в каждом поколении для O( ) переменных. В чем - то похожий результат : Special issue of Soft Computing: A Fusion of Foundations, Methodologies and Applications: Scalability of Evolutionary Algorithms and other Metaheuristics for Large Scale Continuous Optimization Problems./M. Lozano and F. Herrera (Eds.). Springer, 2010.M. LozanoF. Herrera

Другие опыты Использование коэффициентов корреляции для выходов ИНС 1 Мотивация : Малая корреляция между сигналами предположительно позволяет повысить информативность сигналов.

Другие опыты ИНС -1 без скрытых слоев ЗадачаЛучший полученный ранее результат Результаты из [Prechelt, 1994] Текущие результаты, alpha = 1 Текущие результаты, alpha = 2 cancer 1 2,07 (0,73) 1,38 (0,49)3,51 (2,36)2,22 (0,68) card 1 10,17 (0,63) 14,05 (1,03)15,03 (1,35)14,78 (1,16) diabetes 1 21,41 ( 0,16 ) 24,10 (1,91)28,13 (1,89)27,39 (2,02) glass 1 26,41 ( 0 ) 32,70 (5,34)42,30 (6,43)37,89 (6,30) heart 1 17,74 (1,02) 19,72 (0,96)21,98 (1,65)20,79 (0,86) horse 1 34,40 (3,84) 29,19 (2,62)33,98 (2,67)33,10 (3,15)

Программная реализация Эволюционный алгоритм, нейронная сеть, вспомогательные методы : MentalAlchemy – Обучение ИНС по алгоритму Resilient propagation (RProp): Encog -

Заключение 1. Возможно повышение точности классификации (card, diabetes, heart, glass). 2. Нет гарантии такого улучшения (cancer, horse).

СПАСИБО ЗА ВНИМАНИЕ ! Цой Ю.Р. Об адаптивном увеличении размерности пространства признаков