Нейрокомпьютеры

элемента является довольно универсальным. Он может служить обобщением не

только динамических, но и формально-логических моделей. С учетом

возможности изменения параметров (, (j, (, k, а в общем случае и параметра

(:

этот алгоритм может быть представлен в следующем виде:

Причем приращения ((i, ((ji, ((i, (ki, ((i переменных параметров (i, (ji,

(i, ki, (i, как и входные приращения xj(i-1)(t могут формироваться либо на

выходах других ЦНЭ в виде последовательностей Zi+1(t, либо поступать извне

по каналам сенсорных систем.

Таким образом, цифровая модель нейрона, построенная на основе

цифровых интеграторов и сумматоров и воспроизводящая разностный алгоритм

(34 – 36) с переменными параметрами, обладает функциональной пластичностью

и может служить в качестве процессорного элемента, пригодного как для

использования в нейрокибернетических и нейрофизиологических исследованиях,

так и для использования в цифровых нейрокомпьютерных системах,

ориентированных на решение сложных задач вычислительной математики,

робототехники и искусственного интеллекта.

Важная особенность этих нейроэлементов состоит в том, что помимо

работы в режимах различных искусственных нейронов они способны структурно

выполнять ряд крупных математических операций, таких как определение

скалярного произведения двух векторов, численное интегрирование, выделение

положительных приращений интеграла.

Действительно, рассматривая алгоритм (34 – 36), нетрудно видеть, что

соотношение (34) представляет собой скалярное произведение двух векторов

Гi= [(1i, (2i,(,(Ni] и X=[x1i, x2i,(,xNi]T , умноженное на шаг (t.

Следовательно, если в ЦНЭ наряду с основным выходом положительных

приращений Zi+1(t предусмотреть дополнительный выход приращений Vi(t, то

появится возможность одновременного использования ЦНЭ как минимум в двух

режимах: в режиме определения приращений Vi(t и в режиме определения

положительных приращений интеграла Zi+1(t. Организуя еще один выход, а

именно выход приращений yi(t, получим дополнительный режим – режим

численного интегрирования без выделения положительных величин. При этом

следует подчеркнуть, что применение в схеме ЦНЭ дополнительных выходов не

только не исключает возможности его применения в рассмотренных ранее

режимах относительно основного выхода Zi+1(t, но и существенно расширяет

его функциональные возможности. Например, при (=(t=1 и при использовании в

ЦИ многоразрядных приращений, на основном выходе ЦНЭ формируется функция

(29), а в случае применения ЦИ с одноразрядными приращениями формируется

функция (30).

В то же время наличие первого дополнительного выхода обеспечивает

возможность одновременного использования того же ЦНЭ и в качестве блока,

реализующего вычисление скалярного произведения, т. к. на его первом

дополнительном выходе формируется сумма произведений:

а на втором дополнительном выходе формируется величины:

Таким образом, в отличие от формальных и аналоговых динамических

нейронов, в которых постулируется отсутствие всяких взаимодействий между

нервными клетками, кроме синаптических, в предлагаемых цифровых

нейроподобных элементах допускаются подпороговые (соматические)

взаимодействия, допускается возможность модификации синаптических весов ((

ji = (j(i-1) + ((ji) за счет дополнительных выходов yi(t, а также

возможность изменения других параметров нейроподобной модели в функции как

от основных, так и дополнительных выходных величин.

Указанные обстоятельства позволяют рассматривать предлагаемый ЦНЭ с

дополнительными выходами и входами приращений параметров в качестве

специализированного нейроподобного процессора, операционный базис которого

составляют операции разностного алгоритма (34 – 36). Наиболее важным при

этом является то, что данный базис выбран не произвольно, а получен в

результате математического описания информационных процессов в нервной

клетке и, следовательно, является объективно обусловленным для мозга.

Поэтому можно предположить, что нейросети цифровых нейрокомпьютеров,

составленные из нейроподобных процессоров будут отличаться пластичностью,

адаптивностью, самоорганизацией, устойчивостью, т. е. теми свойствами,

которые характерны для систем мозга. А если так, то построенные на базе ЦНЭ

нейрокомпьютеры могут быть использованы не только в нейрофизиологических и

нейрокибернетических экспериментах, но и в исследованиях, направленных на

разработку принципов построения различных распознающих, вычислительных и

управляющих систем нейроподобного типа. Именно по этой причине идея

использования алгоритма (34–36) в качестве операционного базиса

процессорных элементов цифровых нейрокомпьютеров является весьма

целесообразной. Цифровой нейроподобный элемент, реализующий алгоритм

(34–36) называют цифровым нейроподобным процессором (ЦНП), или цифровым

нейропроцессором.

11. Структура цифрового нейропроцессора

На основании разностного алгоритма (34–36) можно сделать вывод о том,

что с целью упрощения ЦНП его схему целесообразно строить на базе цифровых

интеграторов, реализующих формулу прямоугольников. Связано это с тем, что

при работе ЦНП в режиме ЦНЭ нет смысла применять более точные формулы

интегрирования, чем формула Эйлера, а возникающая при его работе в качестве

процессорного элемента нейрокомпьютеров погрешность может быть существенно

уменьшена, если отдельные ЦНП и нейрокомпьютер в целом использовать в

квазистационарном режиме. В целом структура ЦНП должна соответствовать блок-

схеме, приведенной на рисунке 14, где наряду с информационными входами и

входами приращений параметров предусмотрены как минимум три выхода, а

именно выходы приращений Vi(t, yi(t, Zi+1(t. Все эти выходы должны

содержать квантователи и допускать возможность их подсоединения как к

информационным, так и управляющим входам изменения параметров аналогичных

процессоров. В связи с тем, что каждый квантователь содержит определенное

оборудование и вносит некоторую погрешность в процесс функционирования ЦНП,

вопрос о количестве квантователей и о месте их включения в схеме6

процессора является весьма важным.

Рис.14. Структурная схема ЦНП

Учет процесса квантования приводит к более сложной, чем (34–36),

системе разностно-квантованных уравнений, которая в случае наиболее

простого квантования без сохранения остатков и при включении квантователей

на выходах ЦИ имеет следующий вид:

где Ф[(xi]=((xi - Oi) – функция квантования без сохранения остатков; Oi –

остаток квантования.

Для определения закона изменения погрешности квантования необходимо

из уравнения (38) вычесть соответствующее ему разностное уравнение (35) и

найти решение получающегося при этом уравнения погрешности. Решение такого

уравнения (i=yi–yi представляет собой функцию квантования ЦНП. При

построении уравнения погрешности следует учитывать то, что система (37–39),

построенная на основе разностных уравнений (34–36), не является единстве,

не является единственно возможной.

Так, при использовании более точного способа квантования с

сохранением остатков

([(xi + Oi-1] = (xi + Oi-1 + Oi

получим систему разносто-квантованных уравнений, отличную от (37–39):

Далее, учитывая то, что наряду с включением квантователей на выходах

ЦИ возможно их включение на входах (yq, (yr интеграторов, получим новые

системы разностно-квантованных уравнений. В частности, при квантовании без

сохранения остатков и включении квантователей на входах ЦИ будем иметь

а при квантовании с сохранением остатков и включении квантователей на

входах ЦИ получим:

Приведенные системы разностно-квантованных уравнений соответствуют

различным структурным схемам ЦНП. Если учесть, что каждую функцию

квантования реализует отдельный квантователь, причем квантователь без

сохранения остатков проще квантователя с сохранением остатков, то уже на

основании соотношений (37–39), (40), (41), (42) можно сравнить по сложности

воспроизводящие их ЦНП.

Из рассмотрения этих соотношений можно заключить, что структуры ЦНП с

квантователями без сохранения остатков наиболее просты, а из структур с

сохранением остатков наиболее проста та, в которой квантование

осуществляется после суммирования. Следовательно, с точки зрения экономии

оборудования наиболее предпочтительны ЦНП, содержащие квантователи без

регистров остатков. Однако различные структуры процессоров неравноценны в

отношении точности вычислений.

Анализ рассматриваемых разносто-квантованных уравнений, проведенный

при (i=(, (i =(, (i=(, (ji=(j, ki=k показывает, что погрешность квантования

ЦНП, квантователи которого осуществляют квантование без сохранения остатков

и включены на входах ЦИ, имеет вид

где |(i | – модуль погрешности квантования; (0 – значение погрешности (i

при i=0; n – число разрядов переменной yi.

В случае квантования без сохранения остатков и при включении

квантователей на выходах ЦИ погрешность ЦНП можно оценить соотношением

Если квантователи включены на входах ЦИ, а квантование осуществляется

с сохранением остатков, то погрешность ЦНП может быть оценена следующим

образом:

При квантовании с сохранением остатков и квантователях на выходах ЦИ

получим

В результате сравнения выражений (43), (44), (45), (46) можно

заключить, что погрешность квантования ЦНП, содержащих наиболее экономичные

квантователи без сохранения остатков, намного больше погрешности ЦНП,

использующих квантование с сохранением остатков. Действительно, как следует

из соотношений (43), (44), в них содержится произведение (((t)-1, которое

при 00.

В то же время, из соотношения (65) следует, что уравнение (64) может

быть устойчивым и при отрицательных (, если выполняется неравенство

т. е. даже в тех случаях, когда уравнения (48) и (67) принципиально

неустойчивы.

Таким образом, ЦНП без инерционностей обладает широкими динамическими

возможностями, что делает привлекательной идею построения процессоров,

реализующих уравнение (64). Однако практическое воспроизведение точной

экстраполяции связано с определенными техническими трудностями. Поэтому

будем полагать, что задержки блоков умножения на постоянный или медленно

меняющийся коэффициент при необходимости компенсируются экстраполяторами, а

выходные приращения полного интегратора, реализующего временной сумматор

ЦНП, в общем случае не экстраполируется. Подобная экстраполяция

целесообразна лишь в том случае, когда приводит к улучшению динамических

свойств, состоящих из ЦНП нейроноподобных ансамблей и структур.

Используя полученные результаты, перейдем к рассмотрению вопросов

создания элементной базы цифровых нейропроцессоров на основе

микроэлектронной технологии.

14. Алгоритм и структура базового модуля цифрового нейропроцессора

С целью практического использования рассматриваемых ЦНП целесообразно

их изготовление на основе современной микроэлектронной технологии в виде

больших интегральных схем (БИС). По этой причине уместна постановка задачи

о разработке БИС, предназначенных не только для построения ЦНП, но и

состоящих из них нейроподобных ансамблей и структур.

Следуя морфологии отдельного нейрона, для отдельного ЦНП желательно

иметь один корпус БИС. В то же время, учитывая то, что количество входных

дендритных отростков у нервных клеток колеблется от единиц до десятков и

сотен тысяч, в общем случае для БИС ЦНП необходимо предусматривать

специальную БИС расширителя пространственного сумматора. При таком подходе

номенклатура комплекта БИС ЦНП будет состоять из двух интегральных схем, а

именно схемы собственно ЦНП, имеющей несколько информационных входов, и

схемы входного расширителя, представляющего собой пространственный сумматор

нейропроцессора. Вопрос о количестве входов каждого из корпусов БИС должен

решаться исходя из возможностей конкретной микроэлектронной технологии.

Пример одного из возможных вариантов построения таких схем приведен

на рис.19 и на рис.20. Так, на рис.19 изображена структурная схема первого

корпуса, а на рис.20 – второго корпуса БИС ЦНП (БИС1 и БИС2

соответственно).

Однако необходимость в микросхемах двух типов ведет к определенным

неудобствам при создании микроэлектронных ЦНП. Поэтому представляет интерес

разработка алгоритма и структуры такого нейроподобного элемента, который

будучи реализован в виде БИС мог служить базовым модулем при построении как

временного, так и пространственного сумматоров, а значит, и нейропроцессора

в целом.

Для построения такого нейропроцессора используем подход, суть

которого состоит в том, что для выполнения функций временного сумматора

(БИС2) привлекается часть интеграторов, формирующих синаптические веса (ji

в БИС1. Данный подход позволяет на основе БИС1 синтезировать новую,

отличную от БИС1 и БИС2 микросхему нейронного модуля, работающего в режиме

простейшего нейрона и способного быть базовым элементом для синтеза более

сложных нейропроцессоров динамического типа, а также выполнять функции

расширителя входов пространственного сумматора ЦНП.

Действительно, как показывает анализ алгоритма (34–36), формирование

дискретной функции yi из ее приращений (yi не отличается от формирования

переменных синаптических весов (ji , параметров (i, (i, переменного порога

(i и коэффициента ki из соответствующих приращений ((ji, ((i, ((i, ((i, (

ki, а формирование приращений (yi осуществляется по той же формуле, что и

формирование пространственной суммы Vi(t. Следовательно, для сохранения

возможности воспроизведения динамических свойств нейрона в соответствии с

(34–36), в алгоритме базового нейронного модуля (БНМ) достаточно иметь лишь

одно условие вида

и одно соотношение вида

Остальные параметры ЦНП, а именно (i, (i, (i, ki , можно формировать

в цифровых интеграторах синаптических весов путем использования необходимых

схемных соединений и введения соответствующих обозначений.

Учитывая это обстоятельство, а также то, что в простейшем варианте

БНМ должен функционировать как минимум в режиме формального нейрона с

выходом Zi+1=Sign[Vi(t] и быть пригодным для создания более сложных

нейропроцессоров с динамическим выходом Zi+1(t=max{0, Vi(t}, представим

алгоритм БНМ в следующем виде:

Покажем, что относительно Z БНМ, работающий в соответствии с

алгоритмом (69), действительно реализует алгоритм формального нейрона. Для

этого введем обозначения:

Подставляя обозначения (70) в алгоритм (69), получим

При (ji=(j, ((ji =0i, (i =(, ((i =0,(t=1 и xji({0, 1} система

уравнений (71) принимает вид

что с точностью до обозначений совпадает с алгоритмом формального нейрона.

Полагая в некотором БНМ

найдем, что относительно выхода V(t тот же модуль будет воспроизводить

другую систему уравнений:

Работающий в соответствии с (72) БНМ назовем модулем пространственной

суммации.

Далее учтем, что произведения yi-1(t могут формироваться таким же

БНМ, если в алгоритме принять

и использовать выход Z(t.

Этот второй, запрограммированный в соответствии с (73) БНМ назовем

модулем временной суммации. Реализуемый им алгоритм имеет вид:

Если теперь использовать приращения Vi(t=(yi из алгоритма (72) модуля

пространственной суммации в качестве приращений ((1i=(yi для алгоритма (74)

модуля временной суммации, а также учесть, что в алгоритме (74) из

приращений (yi формируются величины yi , то на выходе Z(t БНМ временной

суммации получим выходные приращения динамического ЦНП, у которого (=k=1. В

дальнейшем с целью упрощения анализа будем полагать, что если не сделаны

специальные оговорки, то равенство (=k=1 выполняется автоматически.

Таким образом, отдельный БНМ действительно может работать в режиме

формального нейрона, пространственного и временного сумматора. Структурная

схема такого БНМ показана на рис. 21. Из рисунка видно, что в общем случае

модуль содержит N синаптических блоков, каждый из которых состоит из

умножителя Мнj , регистра Рг (j синаптического веса ( j и двухвходового

сумматора Смj, суммирующего значения весовых коэффициентов (ji с их

приращениями ((ji. На первые входы умножителей Мн j поступают входные

воздействия xj(i-1)(t с выходов других БНМ или от периферийного

оборудования, связанного с внешней средой. Произведения (ji(xj(i-1)(t)

суммируются многовходовым пространственным сумматором См(N+1) и в виде

результирующей величины Vi(t поступают на выход модуля, а также на вход

квантователя Кв.

Следует отметить, что при n–разрядных синаптических весах (ji и

n–разрядных входных воздействиях xj(i-1)(t произведения (ji(xj(i-1)(t) и

их сумма Vi(t будут содержать 2n двоичных разрядов. Очевидно, что с выхода

БНМ эти 2n–разрядные величины могут подаваться лишь на дополнительные входы

rj расширения многовходового сумматора См(N+1) в качестве слагаемых и не

могут использоваться ни в качестве приращений ((ji , ни в качестве

сомножителей (xj(i-1)(t) на входах Мнj. Поэтому для согласования

разрядностей величин Vi(t с разрядностью приращений ((ji и

разрядностью входных воздействий xj(i-1)(t используется квантователь Кв,

реализующий зависимость

где Vi(t – квантованные значения Vi(t, содержащее n ее старших разрядов;

Страницы: 1, 2, 3, 4