Функции активации в нейронных сетях

Для того, чтобы определиться с условными обозначениями, приведем ниже следующую модель нейрона:

Модель нейрона: синапс, сумматор и функция активации

Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал $Y$ , получаемый на выходе входного сумматора $Sigma$ . Наиболее часто используются следующие функции активации.

1. Единичный скачок или жесткая пороговая функция

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

Функция активации. Жесткая пороговая функция

2. Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

3. Сигмоидальная функция или сигмоид

Монотонно возрастающая всюду дифференцируемая $S$ -образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг (1973 год) обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей, которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы?

Примером сигмоидальной функции активации может служить логистическая функция, задаваемая следующим выражением:

$OUT~=~{1}/{1~+~exp(- alpha Y)}$

где $alpha$ – параметр наклона сигмоидальной функции активации. Изменяя этот параметр, можно построить функции с различной крутизной.

Функция активации. Логистическая функция

Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением:

$OUT~=~th{(~~Y/alpha)}$

где $alpha$ – это также параметр, влияющий на наклон сигмоидальной функции.

Функция активации. Гиперболический тангенс

В заключение отметим, что функции активации типа единичного скачка и линейного порога встречаются очень редко и, как правило, используются на учебных примерах. В практических задач почти всегда применяется сигмоидальная функция активации.