Глава 2. Метод вырожденных ядер

[Мастеров АВ]

Метод вырожденных ядер

Для демонстрации работы метода будем использовать (препарировать) модель, записанную в виде интегрального уравнения:

\(U(x)=\int_QG(x,y)F\left(y,U(y)\right)dy\)

\(x\in Q\)

(1)

Если искать физическую аналогию этому уравнению, то уравнение (1) описывает (например) поле нейронов, каждый нейрон в котором связан с каждым. При этом ядро интегрального уравнения (функция \(G(x,y)\)) определяет степень (коэффициент) влияния нейрона, с координатой \(y\), на нейрон с координатой \(x\). ДРУГИМИ СЛОВАМИ: Каждый "нейрон" (с координатой \(x\)) суммирует активность других нейронов (суммирует значения \(F(U(y))\), домножая это значение на коэффициент \(G(x,y)\)).
Ядро (функция \(G(x,y)\)) называется вырожденным, если его можно представить в виде:

\(G(x,y)=\sum\limits_{i=0}^{N}X_i(x)Y_i(y)\)

\(x,y\in Q\)

(2)

У читателя может сложиться ошибочное мнение, что подобный вид ядра - частный, редкий, какой-то особенный случай. Спешу развеять возможные заблуждения: Любое ядро становится вырожденным, если его аппроксимировать конечной суммой, разлагая ядро в ряд по одной из перемены. ФОРМАЛЬНО можно считать, что сумма в уравнении (2) является разложением функции \(G(x,y)\) по переменной \(x\), а функции \(Y_i(y)\) есть коэффициенты разложения. При этом \(X_i(x)\) - базис, по которому идёт разложение.
А можно (опять же - формально) считать (2) разложением по переменной \(x\). Тогда \(Y_i(y)\) - базис, а \(X_i(x)\) - коэффициенты разложения.
СКАЖУ БОЛЬШЕ, даже секрет тебе, читатель, раскрою: я изучал мозг (как математик, на предмет реализации искусственного интеллекта) и пришёл к выводу: во многих участках головного мозга нейроны связаны именно так (вырождено). При этом базис, по которому идёт разложение - ортогональный.
ПОЯСНЮ: Цвет, вес, температура, яркость, сила и тональность звука... и есть тот ортогональный базис, в котором мы описываем окружающий нас мир. А ортогональный он потому, что: цвет, вес, температура, яркость, сила и тональность звука... параметры окружающих нас объектов, которые (как правило) друг с другом не связаны. Т.е., наши ощущения и построенные на их основе оценки окружающего мира - являются коэффициентами разложения по ортогональному базису.
Мы разделяем (у себя в мозгу) окружающий мир на объекты (предметы), и описываем свойства этих объектов в ортогональном базисе (в системе координат) наших ощущений и оценок.
Я рассказал тебе это читатель не для того, чтобы запутать, а чтобы ты оценил масштаб задачи, которую мы с тобой собрались решать.

Ну что ж.. Вперёд! И бог нам в помощь. Попутного ветра... (Ну и всё такое...)

[Мастеров АВ]

Давайте подставим (2) в (1), и посмотрим - что получится:

\(U(x)=\sum\limits_{i=0}^{N}X_i(x)\int_QY_i(y)F\left(y,U(y)\right)dy\)

\(x\in Q\)

(3)

ОБРАТИТЕ ВНИМАНИЕ: Интеграл в этом уравнении - суть константа. Обозначим её:

\(C_i=\int_QY_i(y)F\left(y,U(y)\right)dy\)

\(x,y\in Q\)

(4)

Тогда (3) запишется так:

\(U(x)=\sum\limits_{i=0}^{N}C_iX_i(x)\)

\(x\in Q\)

(5)

Ты не поверишь, читатель, но вот так просто мы с тобой нашли общее решение уравнения (1)(2). Нужно только определиться с константами \(C_i\). Ну это мы щас... Сделаем.
Подставим (5) в (4). Получим:

\(C_i=\int_QY_i(y)F\left(y,\sum\limits_{i=0}^{N}C_iX_i(y)\right)dy\)

\(x,y\in Q\)

(6)

Справа под интегралом у нас стоят известные функции. Допустим, что мы такие умные, что смогли проинтегрировать (6). (Не сможем аналитически проинтегрировать - заставим компьютер это проделать.) Тогда получим систему нелинейных уравнений

\(C_i=f_i\left(C_0, C_1, C_2...,C_N\right)\)

(7)

, разрешая которую найдём константы \(C_i\).
Формально задача (по поиску общего решения уравнения (1)) решена.

Система нелинейных уравнений (7), в общем случае, допускает неединственное решение, а поскольку каждой совокупности коэффициентов (являющихся решением (7)) соответствует свое решение вида (5), то и интегральное уравнение будет иметь, в этом случае, не одно решение.
Более строго метод вырожденных ядер изложен в [4] стр. 169.

[Мастеров АВ]

Пример из нейрокибернетики
В нейрокибернетике большую популярность получили модели с так называемыми “Хеббовскими связями”, одну из которых (модель “Хопфилда”), в непрерывном пространстве и времени можно записать так:

\(U(x,t)=\int\limits_o^te^{-(t-\tau)}\int\limits_QG(x,y)F\left(y,U(y,\tau)\right)dyd\tau+U_o(x)e^{-t}\)	\(x\in Q,\ t\ge 0\)	(8a)
\(\large\frac{\partial U}{\partial t}\normalsize+U(x,t)=\int\limits_QG(x,y)F\left(y,U(y,t)\right)dyd\tau\)	\(U(x,0)=U_o(x), x\in Q,\ t\ge 0\)	(8b)

где:
\(U(x,t)\)— суммарный сигнал, поступающий на нейрон с координатой \(x\) от всех нейронов среды в момент времени \(t\);
\(F(x,U())\) — функция, описывающая реакцию нейрона с координатой \(x\) на суммарное внешнее воздействие от других нейронов и начальных условий;
\(U_o(x)\) — начальные условия (предъявляемый образ);
\(G(x,y)\) — весовая функция влияния нейрона с координатой \(y\) на нейрон с координатой \(x\), которая имеет вырожденный вид и в нейрокибернетике называется Хеббовскими связями:

\(G(x,y)=\sum\limits_{i=0}^{N}V_i(x)V_i(y)\)

\(x,y\in Q\)

(9)

Здесь \(V_i(x)\) — образы, которым обучена нейронная среда.
Вспомните то, что я писал выше про ортогональные базис, и вам станет понятным смысл "Хеббовских связей".

[Мастеров АВ]

Для стационарных решений уравнения (8)(9), мы будем иметь уравнение (1), а выражение для стационарных коэффициентов  — вид, аналогичный (6):

\(C_i=\int_QV_i(y)F\left(y,\sum\limits_{i=0}^{N}C_iV_i(y)\right)dy\)

\(x,y\in Q\)

(10)

Стационарное решение уравнения (8) имеет вид, аналогичный (5):

\(U(x)=\sum\limits_{i=0}^{N}C_iV_i(x)\)

\(x\in Q\)

(11)

Смысл этого выражения в том, что нейронная среда опознала в начальных условиях (\(U_o(x)\)) образ (образы), которым соответствуют максимальные значения коэффициентов \(C_i\).
Т.е., выбирая максимальные значения из найденного массива \(C_i\), мы сможем ответить на вопрос: Какой из образов был опознан в предъявленом для опознания изображении \(U_o(x)\)? (Это и есть то, что требуется для распознавания образов.)

-----------------

Не стационарное решение уравнения (8) (аналогичное (11)) запишется так:

\(U(x,t)=\sum\limits_{i=0}^{N}C_i(t)V_i(x)+U_o(x)e^{-t}\)

\(x\in Q,\ t\ge 0\)

(12)

А динамика коэффициентов опишется уравнением:

\(\large\frac{dC_i}{dt}\normalsize+C_i(t)=f_i\left(C_0, C_1, C_2...,C_N\right)\)

\(\small C_i(0)=\int_QV_i(y)F\left(y,U_o(y)\right)dy,\ t\ge 0\)

(13)

Таким образом: анализ динамики нейроподобной среды свёлся к анализу системы нелинейных (алгебраических, если удастся проинтегрировать аналитически) уравнений. Тем специалистам, которые имели опыт работы с нейронными сетями, подобное заявление должно показаться весьма привлекательным и перспективным (в плане получения практического результата). И я постараюсь не обмануть их ожиданий.

[Мастеров АВ]

Проанализируем полученные результаты
1. Наиболее ценным мне представляется следующее выражение (которое может быть получено из (10) и (13) на случай дискретного времени):

\(C_{i,n+1}=\int\limits_QV_i(y)F\left(y,\sum\limits_{i=0}^{N}C_{i,n}V_i(y)\right)dy\)

\(\small C_{i,0}=\int\limits_QV_i(y)F\left(y,U_o(y)\right)dy\)

(14)

Это итерационное выражение позволяет реализовать "Модель Хопфилда" на кластере компьютеров или на базе параллельных технологий типа RISK. При этом число компьютеров (RISK-процессоров, независимых вычислительных процессов) равно числу образов (числу элементов в ортогональном базисе), которые участвуют в распознавании.


2. Дискретная модель Хопфилда используется лишь для восстановления изображений, а непрерывная модель может быть использована и для распознавания (прогнозирования). Действительно, каждый весовой коэффициент \(C_i\), входящий в выражение (14), определяет вклад в стационарное решение соответствующего коэффициенту образа . Распознанным можно считать образ, которому соответствует больший весовой коэффициент, но при этом образы должны быть нормированными.

3. Ядра, реализующее “Хеббовские связи”, отражает механизм формирования связей между нейронами в процессе обучения нейронной среды (сети). При таком механизме связи между нейронами пропорциональны взаимной корреляции между состояниями нейронов в процессе обучения. (Связи между нейронами подрастают, если они одновременно возбуждены или одновременно подавлены. И связи уменьшаются в процессе обучения, если нейроны имеют различные состояния в один момент времени.)
Очень похоже, что именно этот механизм реализован в нейронных структурах, отвечающих за формирование условных рефлексов. Вспомним классические опыты Павлова, где, в процессе эксперимента, формировалась реакция выделения слюны у животного на событие (звонок), которое было искусственно, согласно условиям эксперимента, коррелированно с событием в кормушке (появление пищи), на которое уже было выработана эта реакция (выделение слюны). Т.е., очень может быть, что именно этот механизм реализует обучение и, следовательно, нашу память. Так формируется характер человека (и не только - человека), который, по сути, есть набор условных рефлексов (реакций на штатные, типичные ситуации и события).
Вспомните детство, и в вашей памяти всплывут эмоционально окрашенные события. То, что не окрашено эмоциями - в памяти не откладывается. ВЫВОД: Эмоции — это "краски", которыми мы "рисуем" наше представление о том, как мир, нас окружающий, устроен. Говоря иначе, эмоции — это те молоток и зубило, которыми мы создаем нашу модель мира. Письменность же позволяет нам реализовать тот же механизм запоминания, но сохранять нашу память на более надёжный носитель информации, чем человеческая память (на бумагу).
Читая Библию, мы общаемся с людьми, которые жили две тысячи лет назад. Так письменность позволяет нам путешествовать во времени, путешествовать в прошлое.
ОБРАТИТЕ ВНИМАНИЕ на то, что эмоции возникают тогда, когда наше представление о том, как мир устроен (когда прогноз оказывается ошибочным), приходит в противоречие с тем, как он устроен на самом деле. Эмоции включают механизм коррекции нашего представления об окружающем мире. Так происходит обучение. (Именно это свойство нервной системы — откликаться эмоциями на ошибку — используют фокусники и юмористы, обманывая наши глаза и уши.)
Вот так, казалось бы, простое математическое выражение, несет в себе глубокий (просто-таки - философский) смысл.
И если ты, читатель, понял смысл написанного тут, то у тебя должно возникнуть ощущение, что ты в одном шаге на пути создания искусственного разума. И поверь мне, читатель, твои ощущения тебя не обманывают.

[Мастеров АВ]

Литература

[1]	Афраймович В.А., Некоркин В.И., Осипов Г.В., Шалфеев В.Д. Устойчивость, структуры и хаос в нелинейных сетях синхронизации. ИФ АН СССР. 1989г.
[2]	Бутковский А.Г. Характеристики систем с распределенными параметрами. М.:Наука 1979г.
[3]	Верлань А.Ф., Москалюк С.С. Математическое моделирование непрерывных динамических систем. Киев:Наукова Думка, 1988.
[4]	Верлань А.Ф., Сизиков В.С. Интегральные уравнения: методы, алгоритмы, программы. //Справочное пособие. Киев:Наукова думка. 1986г