Кратковременная память – что и как моделировать? к.т.н., м.н.с. лаб. Физиологии движений ИФ РАН Ляховецкий В.А.

Чем моделировать? Начальная посылка – внешний стимул S i при запоминании переводится во внутреннее представление X i. X i = (x i1, x i2, …, x ik ). «Стековые» модели. Объекты X 1, X 2, …, X n хранятся в «памяти» независимо друг от друга. Нейросетевые модели. Объекты хранятся распределенно. В «памяти» формируется матрица весов W.

Гетероассоциативная сеть Сохраняет пары объектов. Может восстановить объект, когда ассоциированный с ним объект предлагается ей в качестве подсказки. В сети два слоя элементов по одному для каждого из объектов пары. Оба слоя соединяются двунаправлен- ными связями, т.е. актив- ность может передаваться по связям в обоих направлениях. (для одной пары объектов) (для i пар объектов) (для последовательности) Kosko, 1988

1) На первый слой подается объект X. 2) Распространяется активность на второй слой. Вход элемента второго слоя равен net j = SUM i (x i w ij ) 3) Вычисляется новое состояние для каждого элемента второго слоя.y j = f(net j ) 4) Распространяется активность на первый слой. Вход элемента первого слоя равен net i = SUM j (y j w ji ) 5) Вычисляется новое состояние для каждого элемента первого слоя. x i = f(net i ) Двустороннее распространение сигналов активности повторяется до тех пор, пока не будет достигнуто устойчивое состояние. Гетероассоциативная сеть

Что моделировать? Емкость кратковременной памяти невелика «Стековые» модели. Принцип нормализации (Grossberg, 1978). За хранение X отвечает пул нейронов. Суммарная активность пула не может превышать некоторого порогового значения. С каждым X i связана активность части пула. Чем больше объектов, тем меньше активность, связанная с каждым из них, тем больше вероятность ошибки при выборке объекта из памяти. Нейросетевые модели. При использовании простых алгоритмов расчета W емкость сети Коско невелика. Причем увеличение числа формальных нейронов без увеличения числа элементов внутреннего представления x ij не ведет к увеличению емкости сети.

Что моделировать? При воспроизведении запомненного допускаются ошибки «Стековые» модели. Вводится внешняя процедура, искажающая с некоторой вероятностью, заданной исследо- вателем, элементы x ij. Нейросетевые модели. Сеть допускает ошибки «самостоятельно», в зависимости от алгоритма расчета W.

Что моделировать? Узнать запомненное проще, чем воспроизвести запомненное. «Стековые» и нейросетевые модели. Даже после искажения запомненный объект может быть ближе к эталону, чем к дистракторам (Ляховецкий, Потапов, Попечителев,2006).(X i +ΔX i )-X i < (X i + ΔX i ) - D Нейросетевые модели. W может пересчитываться на этапе узнавания (Kothari et al., 1998). W new = W+k*X i T *Z, Z – эталон или дистрактор, k – константа, зависящая от числа запоминаемых пар и количества элементов x ij.

Что моделировать? Человек помнит, что не помнит. Время ошибочных ответов достоверно больше времени правильных ответов. Субъективная уверенность в правильном ответе выше, чем в неправильном. «Стековые» и нейросетевые модели. Возможно хранение служебных элементов – «контрольных сумм». Нейросетевые модели. Сеть быстрее приходит в устойчивое состояние для правильных ответов.

Что моделировать? При повторных заучиваниях последовательности объектов человек часто совершает одни и те же ошибки. Причем время ответа при таких ошибках не больше времени правильных ответов. «Стековые» модели. ???. Нейросетевые модели. Для каждой последовательности при заданном алгоритме расчета W последовательность воспроизводимых объектов фиксирована. Следовательно, ошибки будут повторяться. Сложнее объяснить существование не повторных ошибок.

Как моделировать??? При повторных заучиваниях (при обучении) последовательности объектов процент правильных ответов увеличивается. «Стековые» и нейросетевые модели. Группировка элементов последовательности в структуры более высокого уровня, «чанки». «Стековые» модели. Искусственно уменьшается вероятность искажения отдельных элементов??? Нейросетевые модели. По некоторым правилам изменяется W ??? Нейросеть разбивается на подсети, каждая из которых хранит некоторую мерность объекта X [Constantini et al., 2003]??? Существуют предопределенные, различные по ресурсоемкости, алгоритмы расчета W???

Как моделировать??? При обучении запоминанию процент правильных ответов растет нелинейно (плато и локальные минимумы на кривой обучения). Предположительно (Фресс, Пиаже, 1978; Александров, 2005) сложная форма кривой обучения говорит о смене внутреннего представления (x 1, x 2, …, x k ). Следовательно, хорошая модель должна не только обосновывать выбор внутреннего представления, но и содержать схему смены внутреннего представления.

Как узнать, что хранится в моторной памяти? Об особенностях структуры памяти позволяют судить ошибки воспроизведения движений. Представляет интерес: анализ ошибок при воспроизведении после- довательности движений правой или левой руки, поскольку их движения различным образом обеспечиваются активностью правого и левого полушария мозга; сравнение ошибок воспроизведения после- довательности движений человеком с ошибками модели.

Литературные данные Выполнение задания правой рукой вызывает активацию левого полушария, выполнение задания левой рукой вызывает активацию обоих полушарий (Grafton et al., 2002) Правое полушарие специализируется на позиционном кодировании цели единичного движения, а левое – на динамическом управлении траекторией движения (Haaland et al., 2004) Правое полушарие специализируется на координатном, а левое – на категориальном кодировании пространственных отношений (Jager, Postma, 2004).

Случайные последовательности методика В шести клетках листа А4, выбранных случайным обра- зом, располагаются цифры, по которым экспериментатор пос- ледовательно перемещает правую или левую руку ис- пытуемого. Испытуемый, на- ходящийся с завязанными глазами, должен запомнить и немедленно воспроизвести движения руки

Обработка результатов ошибки положения ошибки движения 1 1 ошибки перестановок положения ошибки перестановок движения Проводилась на основе гипотезы о существовании двух типов кодирования: положений (позиционное) и движений (векторное).

Модель На основе гетероассоциативной нейронной сети Коско. Модель 1. Векторное кодирование. Элементами векторов являлись α и ρ. Для хранения в бинаризо- ванной форме требуется 3 и 5 элементов соответственно (+3 элемента на номер движения). Параметры α и ρ имеют различ- ный физический смысл, хранятся в рамках двух подсетей, между которыми отсутствуют связи. Модель 2. Позиционное кодирование. Элементами векторов являлись x и y. Поскольку x [1,6] и y [1,4], для хранения их в бинаризованной форме требуется 3 и 2 элемента соответственно (+3 элемента на номер движения).

Случайные последовательности ошибки человека и модели Использование при запоминании лишь позиционного кодирования противоречит данным психофи- зиологических опытов. Функция ошибок модели при «смешанном» кодировании (позиционное + векторное) качественно подобна функции ошибок положения для левой руки человека.

Долговременная тренировка методика и результаты I Левая рука 23 Правая рука 15 II Правая рука 30 Левая рука день7-12 день Левая рука 44 Правая рука 39 Правая рука 43 Левая рука день7-12 день Ошибки перестановок положенияОшибки перестановок движения Правая рука после левой -> уменьшение числа ошибок переста- новок положения за счет активации правополушарной системы позиционного кодирования при тренировке движений левой руки; Левая рука после правой -> уменьшение числа ошибок переста- новок движения за счет активации левополушарной системы векторного кодирования при тренировке движений правой руки; Нейросетевая модель допускает ошибки перестановок (несмотря на то, что обычно за моделями распределенного хранения отрицают эту способность). * * Ляховецкий, Боброва, Скопин, 2009

Модель - ошибки перестановок положения Модель – ошибки перестановок направления При векторном кодировании перестановки между соседними элементами более вероятны. Позиционное кодирование само по себе не может объяснить психофизические данные –система векторного кодирования должна использоваться при запоминании движений обеих рук.

Организованные последовательности методика Условие 1 Боброва, Ляховецкий, Борщевская, Условие Условие Условие 4

Усл.1-2 – информация о прежнем положении стимулов используется левой, но не правой рукой. Усл.1-4 – информация о расположении стимулов на двух векторах используется правой, но не левой рукой. Организованные последовательности результаты