Инварианты (от лат. invarians – неизменяющийся) – это числа, алгебраические выражения и т.п., связанные с каким-либо математическим объектом и остающиеся неизменными при определенных преобразованиях этого объекта или системы отсчёта, в которой описывается объект.
Рассмотрим следующие физические явления.
- Если исследуемый объект вращается, то соответствующим образом меняется и его образ, воспринимаемый наблюдателем.
- В когерентном радаре, обеспечивающем информацию об амплитуде и фазе источников окружающей среды, эхо от движущегося объекта смещено по частоте. Это связано с эффектом Доплера, который возникает при радиальном движении объекта наблюдения относительно радара.
- Диктор может произносить слова как тихим, так и громким голосом, как медленно, так и скороговоркой.
Для того чтобы создать систему распознавания объекта, речи или эхо-локации, учитывающую явления такого рода, необходимо принимать во внимание диапазон трансформаций наблюдаемого сигнала. Соответственно основным требованием при распознавании образов является создание такой нейронной сети, которая была бы инвариантна к этим трансформациям. Другими словами, на результат классификации не должны оказывать влияния трансформации входного сигнала, поступающего от объекта наблюдения.
Существуют как минимум три приема обеспечения инвариантности нейронной сети классификации к подобным трансформациям.
1. Структурная инвариантность
Инвариантность может быть привнесена в нейронную сеть с помощью соответствующей структуризации. В частности, синаптические связи между отдельными нейронами сети строятся таким образом, чтобы трансформированные версии одного и того же сигнала вызывали один и тот же выходной сигнал. Рассмотрим для примера нейронную сеть, которая должна быть инвариантна по отношению к плоскому вращению изображения относительно своего центра. Структурную инвариантность нейронной сети относительно вращения можно выразить следующим образом. Пусть 
– синаптический вес нейрона 
, связанного с пикселем 
входного изображения. Если условие 
выполняется для всех пикселей и 
, лежащих на равном удалении от центра изображения, нейронная сеть будет инвариантной к вращению. Однако, для того чтобы обеспечить инвариантность относительно вращения, нужно дублировать синаптические веса всех пикселей, равноудаленных от центра изображения. Недостатком структурной инвариантности является то, что количество синаптических связей изображения даже среднего размера будет чрезвычайно велико.
2. Инвариантность по обучению
Нейронные сети обладают естественной способностью классификации образов. Эту способность можно использовать для обеспечения инвариантности нейронной сети к трансформациям. Сеть обучается на множестве примеров одного и того же объекта, при этом в каждом примере объект подается в несколько измененном виде (например, снимки с разных ракурсов). Если количество таких примеров достаточно велико и если нейронная сеть обучена отличать разные точки зрения на объект, можно ожидать, что эти данные будут обобщены и сеть сможет распознавать ракурсы объекта, которые не использовались при обучении. Однако с технической точки зрения инвариантность по обучению имеет два существенных недостатка. Во-первых, если нейронная сеть была научена распознавать трансформации объектов некоторого класса, совсем не обязательно, что она будет обладать инвариантностью по отношению к трансформациям объектов других классов. Во-вторых, такое обучение является очень ресурсоемким, особенно при большой размерности пространства признаков.
3. Использование инвариантных признаков
Третий метод обеспечения инвариантности нейронной сети основывается на предположении, что из входного сигнала можно выделить информативные признаки, которые описывают самую существенную информацию, содержащуюся в наборе данных, и при этом инвариантны к трансформациям входного сигнала. При использовании таких признаков в нейронной сети не нужно хранить лишний объем информации, описывающей трансформации объекта. В самом деле, при использовании инвариантных признаков отличия между разными экземплярами одного и того же объекта могут быть вызваны только случайными факторами, такими как шум. Использование пространства инвариантных признаков имеет три важных преимущества. Во-первых, уменьшается количество признаков, которые подаются в нейронную сеть. Во-вторых, ослабляются требования к структуре нейронной сети. И, в-третьих, гарантируется инвариантность всех объектов по отношению к известным трансформациям. Однако этот подход требует хорошего знания специфики проблемы.
Исходя из вышесказанного, можно сделать вывод, что использование инвариантных признаков является наиболее подходящим методом для обеспечения инвариантности нейронных сетей.