Возможности рефрактерного перцептрона

Здесь мы изучаем возможности «Рефрактерного перцептрон Yak-2».

Лекция

• У вас есть уникальная возможность изучить эту разновидность перцептрона со слов самого создателя этого перцептрона :)

Начнем мы с ряда соображений, которые открыто не публиковались, но использовались при оптимизации классического перцептрона Розенблатта. Затем перейдем к рассмотрению «Рекуррентного перцептрона Yak-1», а затем «Рефрактерного перцептрона Yak-2» (принципы работы которых уже были опубликованы).

Оптимизация активации первого слоя

При активации А-элементов важно получить наиболее случайное распределение активированных А-элементов. Это позволит получить большее различие между входными векторам, что в свою очередь позволит более просто провести гиперплоскость. Таким образом, можно вообще отказаться от принятой классической схемы в перцептроне, которая реализует эту задачу не достаточно оптимально.

Идеально было бы просто на каждый стимул давать случайную последовательность активированных А-элементов. Это дало бы максимально случайное распределение. Но одновременно с этим была бы потеряна стабильность реакции, так как при следующей итерации в ответ на ту же самую входную последовательность были бы активированы опять случайные А-элементы. А это приведет к необходимости переобучаться по новой. Вместо этого нужна стабильная, совпадающая в точности реакция при одном и том же входном стимуле.

Другим словами, случайное распределение активированных А-элементов должно быть функцией от входного вектора. А это уже уменьшает независимое случайное распределение. Но используя идеи криптографического шифрования (хэш-функции) можно получить более менее случаное распределение, но в тоже время зависимое от входного вектора. При этом это позволит более легко управлять уровнем активирования А-элементов. Для реализации этого был предложен следующий подход.

Каждый А-элемент обладает случайным вектором (массивом Rnd) из нулей и единиц с размерностью равной числу S-элементов. Также имеется временный массив loc такой же размерности. И в третьих массив Arnd такой же размерности, каждый элемент которой содержит указатель, выбранный случайным образом, на А-элемент. Тогда функция активации предлагается следующая.

Функция активации А-элементов  

public bool Activate(cSensor[] sensor, cAssociation[] association)
{
	int count = 0;
	int count2 = 0;
	int count3 = 0;

	for (int i = 0; i < SensorsField.Length; i++)
	{
		if (sensor[i].State == Rnd[i])
		{
			count++;
			loc[i] = 1;
		}
	}
	for (int i = 0; i < SensorsField.Length; i++)
	{
		if (association[Arnd[count]].Rnd[i] == loc[i])
		{
			count2++; 
		}
	}
	for (int i = 0; i < SensorsField.Length; i++)
	{
		if (association[Arnd[count2]].Rnd[i] == sensor[i].State)
		{
			count3++;
		}
	}
	count3 += count + count2;
	// Rnd2 - это порог превышение которого приводит к активации А-элемента, 
	// как правило выбирается 80% от размерности входного вектора
	if (count3 > Rnd2)  
		return true;
	else
		return false;
}

Оптимизация активации второго слоя при обучении

Этот вид оптимизации уже публиковался в рамках описания работы рекуррентного перцептрона Yak-1, но может быть использован независимо от него.

... каждый классификатор [R-элемент] обучается совершенно независимо (параллельно) от других. И когда один из классификаторов обучается, то есть его выход всегда соответствуют требуемому значению при всех стимулах, то его можно исключить из процедуры обучения. Различные классификаторы обучаются за различное время, что определяется сложностью зависимости реакции от стимула. И чем большее число классификаторов обучено, тем меньшее время будет затрачено на последующую итерацию обучения [Выдержка из работы С.С. Яковлев, А.Н. Борисов (2008) Использование принципа рекуррентности Джордана в перцептроне Розенблатта ]

Рекуррентный перцептрон Yak-1

Архитектура рекуррентной сети Джордана

Относится к классу перцептронов с обратными связями (см. Рекуррентная нейронная сеть). Наиболее близким по архитектуре является рекуррентная сеть Джордана, а по принципу обучения перцептрон Розенблатта.