ВІННИЦЬКИЙ НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ

Куперштейн Леонід Михайлович

УДК 681.325

МЕТОДИ ТА ЗАСОБИ НЕЙРОПОДІБНОЇ ОБРОБКИ ДАНИХ ДЛЯ СИСТЕМ КЕРУВАННЯ

Спеціальність 05.13.05 — Елементи та пристрої обчислювальної

техніки та систем керування

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Вінниця – 2007

Дисертацією є рукопис.

Робота виконана у Вінницькому національному технічному університеті, Міністерство освіти і науки України.

Науковий керівник: | кандидат технічних наук, доцент

Васюра Анатолій Степанович,

Вінницький національний технічний університет,

професор кафедри автоматики та інформаційно-вимірювальної техніки

Офіційні опоненти: |

доктор технічних наук, професор

Богаєнко Іван Миколайович,

Науково-виробнича корпорація “Київський інститут автоматики”, заступник генерального директора

доктор технічних наук, професор

Кичак Василь Мартинович,

Вінницький національний технічний університет,

завідувач кафедри телекомунікаційних систем і телебачення

Провідна установа: | Державний науково-дослідний інститут інформаційної інфраструктури Міністерства транспорту та зв’язку України і НАН України, відділ інформаційних технологій і систем,
м. Львів

Захист відбудеться “26” травня 2007 р. о 930 годині на засіданні спеціалізованої вченої ради Д 05.052.01 у Вінницькому національному технічному університеті за адресою: 21021, м. Вінниця, Хмельницьке шосе, 95, к. 210 ГУК.

З дисертацією можна ознайомитися у бібліотеці Вінницького національного технічного університету за адресою: 21021, м. Вінниця, Хмельницьке шосе, 95.

Автореферат розісланий “20” квітня 2007 р.

Учений секретар

спеціалізованої вченої ради Захарченко С. М.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. На теперішній час при розробці та використанні обчислювальної техніки та систем керування велика увага приділяється підвищенню швидкості обчислень через розпаралелення процесів обробки інформації за допомогою нейромережевих технологій. Адже на противагу звичайній фон-Неймановській архітектурі, яка є послідовною за своєю природою, штучні нейронні мережі виграють за рахунок обробки з масовим паралелізмом. Отже, задачі обробки, аналізу зображень та сигналів, ідентифікації та керування динамічними об’єктами, розпізнавання образів, керування фінансовою діяльністю та ін. з великою продуктивністю розв’язуються системами, розробленими на базі нейромережевої технології.

Водночас, при моделюванні способів організації та функціонування найпростіших нейроподібних структур існує проблема адекватного відтворення основних функцій порогового нейрона, а саме, накопичення зважених вхідних даних шляхом їхнього підсумовування і порівняння отриманої суми з порогом. Операція підсумовування векторного масиву даних є однією з основних операцій у нейрооброці і не має відповідного рівня паралелізму. Відсутність цієї властивості значно збільшує час обробки даних у нейромережі. До того ж, порівняння з порогом здійснюється після отримання суми зважених величин, а не паралельно із підсумовуванням, що також набагато уповільнює процес обробки. Тому доцільно було б реалізувати суміщення операцій паралельного підсумовування та порівняння з порогом обробки, яке дозволило б отримати вихідний сигнал нейрона, не виконуючи остаточного формування зваженої суми. Найбільш придатним для такої реалізації є відомий спосіб паралельного підсумовування за методом різницевих зрізів (РЗ), який є різновидом відомого методу паралельного додавання тривалостей групи часових інтервалів, запропонованого провідним вченим у цій галузі науки проф. Кожем’якою В.П.

Українська школа багато років посідає провідні позиції з цього напряму в світовій науці. Значний внесок у розвиток методів та засобів нейронних та нейроподібних структур зробили: Глушков В.М., Амосов М.М., Грицик В.В., Шлезінгер М.І., Айзенберг Н.Н., Куссуль Е.М., Різник О.М., Свєчніков С.В., Кожем’яко В.П., Вінцюк Т.К., Гече Ф.Е., Ткаченко Р.О., Вальковський В.О., Бунь Р.А., Ященко В.О. та інші.

Таким чином, розробка нових та вдосконалення відомих методів паралельного порогового підсумовування та їх апаратна реалізація на перспективній елементній базі є на сьогоднішній день важливими завданнями проектування нових надшвидких нейроструктур для побудови на їх основі високоефективних засобів та елементів обчислювальної техніки та систем керування.

Зв’язок роботи з науковими програмами, планами, темами. Дисертаційне дослідження проводилось протягом 2003-2006 рр. згідно з напрямом досліджень Вінницького національного технічного університету та Міністерства освіти і науки України за держбюджетними темами: “Оптико-електронний квантово-розмірний комп’ютер око-процесорного типу: концепція, методологія, база знань” (№ держ. реєстрації 0105U002434); “Розробка теорії та методів оптимальних рішень в умовах комбінованої невизначеності” (№ держ. реєстрації 0105U00243).

Мета і завдання дослідження. Метою дисертаційної роботи є вдосконалення, а саме, збільшення швидкодії та розширення функціональних можливостей методів та засобів нейроподібної обробки масивів даних для задач ідентифікації та керування динамічними об’єктами з використанням нейромережевих технологій.

Об’єкт дослідження - процеси порогового паралельного підсумовування і порогового алгебраїчного паралельного підсумовування векторних масивів даних.

Предмет дослідження - структурна організація конвеєрних процесорів як цифрових нейрочипів для порогової паралельної обробки числової інформації.

Методи дослідження базуються на основі положень теорії математичної логіки, апарату математичного аналізу та статистики для розробки і дослідження варіантів порогового паралельного підсумовування; теорії аналізу і синтезу обчислювальних систем для розробки структур конвеєрних процесорів та реалізації їх на схемах програмованої логіки, а також оцінки їх продуктивності; теорії цифрової обробки сигналів та зображень для моделювання роботи багатошарового перцептрона при розв’язанні задачі ідентифікації арабських цифр; теорії нейрообчислень та нейроструктур для вдосконалення та аналізу моделей формального нейрона (ФН).

Для досягнення поставленої мети досліджень необхідно вирішити такі завдання:

1. Проаналізувати та теоретично оцінити найоптимальніші засоби реалізації нейроструктур для задач ідентифікації та керування динамічними системами.

2. Дослідити особливості паралельної та порогової паралельної обробки векторних даних у нейроструктурах.

3. Розробити та дослідити математичні моделі формального нейрона (перцептрона) з можливістю реалізації латерального гальмування.

4. Розробити структури конвеєрних процесорів для нейроподібної обробки векторного масиву даних.

5. Розмістити структури розроблених процесорів на програмованих логічних інтегральних схемах (ПЛІС).

6. Проаналізувати результати імітаційного моделювання та довести ефективність структурної організації конвеєрних процесорів.

Наукова новизна одержаних результатів:

1. Удосконалено метод паралельного підсумовування елементів векторного масиву даних за різницевими зрізами як базового у нейроподібній обробці векторних масивів. Метод відрізняється від відомого способом формування на кожному кроці обробки поточної часткової суми або поточної часткової різниці і порівняння її з поточним порогом. Такий підхід приводить до прискорення (на 12-47%) нейроподібної обробки. Крім того, в процесі обробки є можливість отримання відсортованих елементів оброблюваного вхідного векторного масиву за рахунок формування матриці бінарних ознак за результатами аналізу різницевих зрізів, що розширює функціональні можливості методу.

2. Удосконалено та досліджено модифіковану модель нейрона (перцептрона) з латеральним гальмуванням, яка відрізняється від відомих способом формування суматорної та активаційної функцій із застосуванням поточних часткових сум, різниць і порогів обробки. Це приводить до зменшення тривалості процесу порогової обробки даних ( 1,4 рази) за рахунок відмови від необхідності формування кінцевої суми зважених елементів векторного масиву.

3. Запропоновано структури конвеєрних процесорів для нейроподібної обробки векторних даних, які відрізняються від відомих тим, що враховують багатофункціональність і регулярність, ітераційний характер, а також високий рівень паралелізму нейроподібної обробки за методом різницевих зрізів. Структури у вигляді одновимірних систолічних масивів дозволяють підвищити ефективність нейроподібної обробки масивів даних за рахунок суміщення у часі операції паралельного підсумовування та порогової обробки векторного масиву даних, що дає можливість зафіксувати факт перевищення суми над порогом без формування остаточного значення суми всіх елементів векторного масиву.

4. Модифіковано метод оцінювання продуктивності конвеєрних процесорів для нейроподібної обробки даних. Він відрізняється від відомих тим, що враховує особливості систолічної обробки у запропонованих конвеєрних процесорах, чим дозволяє розраховувати продуктивність структур, алгоритм роботи яких базується на методі різницевих зрізів.

Практичне значення одержаних результатів:

1. Запропоновані варіанти реалізації нейроподібної обробки даних за РЗ дозволяють підвищити швидкодію (від 1,1 до 1,9 разів) та розширити функціональні можливості нейроелементів для обробки великих масивів інформації, а саме, можливість реалізації адаптивних нейроподібних систем з реакцією близькою до біологічних аналогів, що розширює сферу їх ефективного використання.

2. Запропоновані структури конвеєрних процесорів реалізовано на ПЛІС як нейрочипи з фрагментом шару нейронної мережі з пороговою функцією активації нейронів для використання у складі нейропідсилюючих систем ідентифікації та адаптивного керування динамічними об’єктами, телекомунікаційних систем, а також обробки бінарних зображень та сигналів у складі персонального комп’ютера чи нейрокомп’ютера.

3. Модифікована методика оцінювання продуктивності конвеєрних процесорів дозволяє розраховувати за різними критеріями продуктивність будь-яких структур з архітектурою систолічного масиву, які виконують операції позрізової обробки векторних масивів.

4. Модифіковані моделі формального нейрона на базі РЗ, структури конвеєрних процесорів, а також реалізований на ПЛІС нейрочип з фрагментом шару нейромережі на базі цих процесорів, впроваджені та використовуються на ІВП “ІнноВінн” (м. Вінниця) для реалізації нейронної частини нейро-нечіткої системи виявлення шахрайства в телекомунікаційних мережах.

Окремі результати дисертаційної роботи впроваджено у навчальний процес при викладанні дисципліни "Елементи та пристрої систем управління і автоматики" на кафедрі автоматики та інформаційно-вимірювальної техніки, дисциплін: "Нові інформаційні технології обробки, аналізу та розпізнавання зображень", "Архітектура і структурна організація нейрокомп’ютерів" на кафедрі лазерної та оптоелектронної техніки Вінницького національного технічного університету, а також дисципліни "Інформаційні системи і технології в економіці" на кафедрі інформаційних систем і технологій Вінницького фінансово-економічного університету.

Особистий внесок здобувача. Основні результати дисертаційної роботи отримані автором особисто. У публікаціях, які написані у співавторстві, здобувачеві належить: аналіз моделі алгоритму підсумовування [1, 9], аналіз лінійних систолічних масивів [2], структура пристрою для реалізації моделі формального нейрона [3, 9, 11, 12], аналіз обчислювального процесу у конвеєрному пристрої [4, 13], аналіз математичних моделей [5, 6], аналіз роботи обчислювальних комірок [7, 8], аналіз та моделювання роботи мініматора у пороговому підсумовуючому пристрої [14], опис роботи конвеєрних пристроїв [15, 16], аналіз способів порогового паралельного підсумовування векторного масиву даних [17,18], опис роботи пристроїв для паралельного алгебраїчного та порогового паралельного алгебраїчного підсумовування інформації [19-21].

Апробація результатів роботи. Основні наукові і практичні результати роботи доповідались і обговорювались на: щорічних науково-технічних конференціях професорсько-викладацького складу, співробітників та студентів ВНТУ (м. Вінниця, 2000-2005); 2-nd, 3-rd International Conferences on Optoelectronic Information-Energy Technologies “PHOTONICS-ODS” (м. Вінниця, 2002, 2005); VII Міжнародній конференції "Контроль і управління в складних системах" (м. Вінниця, 2003); Міжнародній науково-технічній конференції „Комп’ютери. Програми. Інтернет.2003” (м. Київ, 2003); VII Міжнародній науково-практичній конференції „Наука і освіта’2004” (м. Дніпропетровськ, 2004); Міжнародній науково-технічній конференції “Приборостроение 2004” (м. Ялта, 2004); VII Всеукраїнській міжнародній конференції "УкрОбраз’2004" (м. Київ, 2004).

Публікації. За матеріалами дисертації опубліковано 21 друковану працю. З них 4 статті у фахових виданнях, 4 статті у збірниках праць наукових конференцій, 5 публікацій у матеріалах та тезах конференцій, 8 патентів України на винаходи.

Обсяг та структура дисертації. Дисертаційна робота містить вступ, чотири розділи, основні висновки, список використаних джерел, 15 додатків. Загальний обсяг дисертації викладено на 208 сторінках друкованого тексту, з яких основний зміст складає 147 сторінок друкованого тексту, 50 рисунків, 9 таблиць. Список використаних джерел складається з 203 найменувань.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі розглянуто актуальність дисертаційного дослідження, зазначений зв’язок роботи з науковими програмами, планами і темами наукового напряму “Оптико-електронний квантово-розмірний комп’ютер око-процесорного типу: концепція, методологія, база знань”. Вказано мету і завдання досліджень. Наведено характеристику наукової новизни та практичну цінність отриманих результатів, а також їх впровадження і апробацію.

У першому розділі проведено аналіз перспективності та ефективності застосування нейронних мереж для розв’язання задач ідентифікації та керування динамічними системами. Розглянуто та проаналізовано засоби реалізації нейроструктур. Проведено аналіз особливостей багатооперандної обробки даних у нейроструктурах.

У результаті аналізу застосування нейронних мереж для розв’язання задач керування динамічними системами, які, у свою чергу, потребують такі види обробки даних, як ідентифікація систем, статистична обробка у реальному часі, кореляційна обробка, цифрова фільтрація, оптимальне та адаптивне керування тощо, показано, що в математичному описі усіх цих процедур присутній оператор групового підсумовування (ГП) виду:

(1)

де аі – і-й операнд; хі – і-й елемент вхідного сигналу; wi – і-й ваговий коефіцієнт. Виконання цього оператора потребує значного часу для його реалізації, що свідчить про доцільність розробки та дослідження методів та засобів розпаралелення реалізації оператора ГП. Ефективним засобом розв’язання цієї проблеми є штучні нейронні мережі (базовий елемент яких – нейрон – також реалізує операцію виду (1)), які виконують паралельну розподілену обробку вхідної інформації. Тому доцільним є реалізація можливості суміщення операції паралельного підсумовування виду (1) з пороговою обробкою, які є базовими у нейрообробці, і яке (тобто суміщення) не властиве класичній моделі формального нейрона (перцептрона).

При аналізі варіантів архітектур нейромереж показано переваги їх апаратної реалізації порівняно з програмною, оскільки жодний найшвидший послідовний процесор не може забезпечити реакцію і навчання нейромереж у реальному часі з великою кількістю нейронів і синапсів. Це пояснює актуальність розробок та наявність широкого асортименту апаратного забезпечення нейромереж на теперішній час. Крім того, аналіз показав, що найкращою елементною базою нейрообчислювачів визначено нейрочипи на відміну від акселераторних плат та процесорів загального призначення.

Аналіз засобів реалізації нейрочипів показав перспективність їх реалізації на базі ПЛІС у порівнянні з іншими інтегральними технологіями (надвеликі інтегральні схеми, процесори цифрової обробки сигналів, процесори загального призначення та ін.). Це зумовлено незначними витратами часу на проектування ПЛІС, високою інтеграцією, швидкодією та здатністю реконфігурації. Все це дозволяє визначити ПЛІС як прийнятну елементну базу для реалізації нейрочипів та їх використання для розв’язання широкого класу задач, що додає їм універсальності. Крім того, аналіз особливостей та перспектив розвитку нейрообчислювачів показав перспективність їх гібридної реалізації завдяки сумісному використанню оптичної та цифрової електронної апаратури, де векторно-матричне перемноження виконується в оптичному тракті, а всі інші обчислення виконуються електронною частиною.

Аналіз особливостей багатооперандної обробки даних у нейроструктурах показав доцільність її реалізації на базі різницевих зрізів. Це дозволяє реалізувати сортування та відновлення елементів первісного векторного масиву даних, а також суміщення операції зваженого підсумовування та порогової обробки елементів вхідного масиву, що значно прискорює швидкість обчислень.

У другому розділі запропоновано математичні моделі способів порогового паралельного підсумовування, досліджено способи паралельного алгебраїчного підсумовування та порогового паралельного алгебраїчного підсумовування, які дозволяють створити модель ФН, в якій реалізоване розпаралелення процесу підсумовування, а головне – підсумовування суміщене з пороговою обробкою, що прискорює процес обробки, оскільки момент перевищення значення суми S зважених елементів ai векторного масиву над значенням порогу p можна зафіксувати, не формуючи кінцеву зважену суму, на противагу класичній моделі. Вихід Y такої моделі ФН є знаковою функцією виду:

, (2)

де S визначається за формулою (1).

Вихід Y приймає значення:

Y= (3)

тобто реалізує найпростішу порогову функцію – функцію одиничного стрибка. Проте, це не зменшує практичної цінності моделі, оскільки з використанням таких схем ФН ефективно розв’язуються задачі ідентифікації, класифікації образів, розпізнавання бінарних зображень, обробки двійкових сигналів тощо.

Досліджено три способи (варіанти) порогового паралельного підсумовування елементів векторного масиву даних за різницевими зрізами. В основі всіх трьох способів використовується відомий принцип обробки за РЗ, коли у кожному j-му циклі формується відповідний РЗ Aj виду:

, (4)

де аі,0 – і-й елемент початкового векторного масиву А0; qj•- загальна частина РЗ
Аj-1, тобто його мінімальний елемент. Надалі отриманий РЗ Аj є вхідним векторним масивом для наступного (j+1)-го циклу.

У математичній моделі першого варіанта з урахуванням виразу (3) спочатку накопичується сума поточних часткових сум виду:

, (5)

де Sj – поточна часткова сума, сформована у j-му циклі обробки як:

Sj = qj•dj, j=, (6)

де dj – кількість невід’ємних елементів у поточному РЗ; N – кількість циклів обробки.

Накопичення поточних часткових сум відбувається до моменту отримання нульової величини qj. В останньому циклі перевіряється умова:

= p – S = p – (S1+ S2+…+ SN) 0. (7)

Крім того, у кожному j-му циклі є можливість сформувати вектор gj, елементи якого визначаються так:

gіj = (8)

де aij – і-ий елемент РЗ Aj у j-му циклі. Тоді після виконання всіх N циклів обробки з векторів gj можна сформувати матрицю G бінарних ознак, послідовний аналіз стовпців gj якої дозволяє отримати відсортовані елементи первісного масиву.

Отже, організація такого обчислювального процесу дозволяє розширити функціональні можливості способу за рахунок отримання відсортованих елементів векторного масиву даних одночасно з їх підсумовуванням та пороговою обробкою.

Математичну модель другого варіанта порогового паралельного підсумовування за РЗ можна представити так: вираз (5) можна переписати як:

= ( ... ((p – S1) – S2) – ... – SN ). (9)

Тоді у кожному j-му циклі обробки необхідно перевірити слушність умови:

j = j-1 – Sj 0, j = , (10)

де 0 = р. При її виконанні обчислювальний процес припиняється з формуванням одиничного вихідного сигналу Y виду (3), але вже без формування кінцевої суми елементів масиву, що приводить до прискорення виконання порогової паралельної обробки.

Математичну модель третього варіанта порогового паралельного підсумовування можна представити так: з врахуванням виразу (6) вираз (9) можна записати як:

(11)

Якщо вираз у круглих дужках позначити як:

, , (12)

то поточний поріг (10) буде мати такий вид:

, . (13)

Отже, у кожному циклі обробки можна перевіряти виконання умови j(k)0, а не тільки j 0, що дозволяє прискорити процес порогової обробки, оскільки не треба формувати поточні часткові суми Sj виду (6).

Аналізуючи вищенаведені способи, можна зазначити, що третій варіант порогового паралельного підсумовування є найбільш ефективним та найбільш швидкодіючим. Це можливо через відмову від накопичення поточних часткових сум елементів векторного масиву (перший варіант) та обчислення поточних часткових величин у кожному циклі обробки (другий варіант). Проте недоліки швидкодії першого варіанта компенсуються його розширеними функціональними можливостями.

У результаті аналізу тривалості наведених способів порогової паралельної обробки векторних даних доведена їх швидкодійність (збільшення на 12% при максимальному часі обробки, на 47% при мінімальному) у порівнянні з першим варіантом. Аналіз залежностей тривалості процесу порогової обробки від розмірності n масиву (рис. 1) доводить теоретичне твердження про те, що на тривалість порогової обробки в загальному впливають розмірність вхідного векторного масиву, характер розподілу елементів масиву, величина порогу та принцип формування його поточного значення. А це, у свою чергу, свідчить про несталий час порогової обробки за РЗ на відміну від класичної моделі, оскільки процес обробки може закінчитись у будь-якому циклі, починаючи з другого, у разі виконання умов (10), (13).

Рис. 1. Залежності тривалості порогової паралельної обробки від розмірності

n векторного масиву

На рис. 1 Тmax – максимальна тривалість порогової обробки при сталій тривалості циклу обробки; Т*max – максимальна тривалість порогової обробки при змінній тривалості циклу обробки, яка пояснюється поступовим зменшенням у кожному наступному циклі кількості значущих елементів у поточному РЗ, Тmin – мінімальна тривалість порогової обробки. Несталий час порогової паралельної обробки за РЗ підтверджується також “плаваючою” величиною кількості циклів обробки за РЗ:

де R – кількість груп з кількістю mr чисел, що повторюються у вхідному векторному масиві, причому mr і R – випадкові величини.

Досліджено способи паралельного алгебраїчного та порогового паралельного алгебраїчного підсумовування, які реалізують модель ФН з латеральним гальмуванням, що забезпечує більш широку сферу їх ефективного застосування завдяки обробці як додатних (підсилюючих), так і від’ємних (гальмуючих) зважених сигналів векторного масиву.

Таким чином, способи порогової обробки за РЗ дозволяють вдосконалити математичну модель ФН, яка наближається за реакцією до свого біологічного аналога, оскільки залежить від кількості вхідних сигналів, розподілу їх значень та рівня активності. Модель відрізняється від відомої реалізацією розпаралелення операції підсумовування та суміщенням її з пороговою обробкою. Такий підхід дозволяє (від 1,1 до 1,9 рази) підвищити швидкість обчислень та розширити функціональні можливості нейроелементів мереж, побудованих на базі такої моделі, наприклад, багатошаровому перцептроні.

У третьому розділі представлено структурну організацію двох конвеєрних процесорів, алгоритми роботи яких базуються на способах порогової паралельної

обробки за РЗ.

Оскільки відомо, що в основі порогової паралельної обробки за РЗ використовуються такі базові рекурсивні алгоритми, як алгоритм вибірки мінімальної величини, алгоритм формування різницевих зрізів, алгоритм накопичення часткової суми масиву чисел, що відносяться до класу регулярних ітераційних алгоритмів, тому доцільним є використання відомої методики відображення цих алгоритмів на матричні (систолічні) структури. Відповідно до конвеєрного принципу внутрішньої обробки даних у систолічних масивах, запропоновані процесори надалі визначені як конвеєрні, які представляють собою лінійний систолічний масив.

На рис. 2 представлено структурну схему одного з конвеєрних процесорів з накопиченням поточних часткових сум для порогового паралельного підсумовування (варіант 2), причому кожний ярус містить арифметично-логічний пристрій ALU1 для формування зрізів різниць, мініматор MIN для визначення мінімальної величини серед двох операндів, які подаються на його входи (крім першого ярусу), суматора SM для формування часткової суми операндів.

Рис. 2. Структурна схема конвеєрного процесора

Мультиплексор МХ1 і блок елементів AND необхідні у кожному ярусі для комутації входів, а регістри RGR, RGM, RGN – для тимчасового збереження інформації. Останній n-й ярус додатково містить мультиплексор МХ2, регістр RGР та ALU2 для формування поточного порогу для наступного циклу обробки.

Принцип роботи конвеєрного процесора полягає в тому, що порогова обробка вхідних величин (операндів) аі (i=1,2,...,n) зводиться до обчислення і підсумовування N часткових сум Sj, порівняння цих сум з порогом р і формування вихідного сигналу Y виду (3).

Спочатку у конвеєрному процесорі формується загальна значуща частина всіх доданків аі,j у j-му циклі обробки так:

. (14)

Після цього за виразом (4) формується РЗ Аj, який є вхідною множиною доданків для наступного (j+1)-го циклу. Одночасно з цим відбувається формування кратного загальної частини (часткова сума Sj) за виразом (6). Після цього формується різниця між заданим порогом р та частковою сумою Sj за виразом (9) і перевіряється умова (10). При її виконанні формується вихідний сигнал пристрою Y, який дорівнює 1, і порогова обробка припиняється, а в протилежному випадку продовжується циклічна обробка до виконання умови (10) або до визначення нульової величини qj (14).

Запропоновано другий варіант конвеєрного процесора з відніманням поточних складових РЗ відповідно моделі третього варіанта порогової обробки за РЗ. Тут обробка виконується згідно з виразами (14), (4), (11), (13).

Часові характеристики порогової обробки за РЗ у конвеєрних процесорах відповідно запропонованим моделям порогової обробки носять нефіксований характер, причому кількість циклів знаходиться в межах 2 N n+1. Отже, загальний час обробки конвеєрного процесора (рис. 2) визначається таким чином:

T = tр + (N-1)tц +tк, (15)

де tр – час розгону процесора, tц – час тіла циклу, tк – час завершення циклу, причому tр = t1 + t2 +t3 +t4, t1, t2 – час запису у регістр (tWR) через мультиплексор (tMX), тобто t1 = t2 = tMX + tWR; t3 – час послідовного формування мінімальної додатної величини у мініматорах MIN ярусів (tCOM) і запис її у регістр RGR (tWR), тобто t3 = (n-1)(tCOM + tWR); t4 – час паралельного формування зрізу різниць в ALU1 (tSUB), тобто t4 = tSUB; tц = t1+ t3 + t4; tк = t5 + t6, t5 – час послідовного формування поточної часткової суми у суматорах SM (tSM) з урахуванням проходження через блок елементів AND (tMX), тобто t5 = tSМ + tМХ, t6 – час формування поточного значення порогу у ALU2 (tSUB) та вихідного сигналу Y (tY), тобто t6 = tSUB + tY.

Оскільки tSUB = tSM, tMXtWR, tY<<tSUB, то загальний час обробки (15) становить:

Т = N(n-1)tCOM + (N+n)tSM + [N(n+1)+3]tWR. (16)

Аналіз виразу (16) показує, що значний внесок у час обробки у процесорі робить операція виділення мінімального елемента у масиві (перший доданок) та формування поточної часткової суми (другий доданок), які виконуються послідовно. Тому, оптимізувавши роботу мініматора MIN та використовуючи швидкодіючі суматори SM, можна одержати зменшення часу обробки у конвеєрному процесорі, а також забезпечити його ритмічну роботу.

Таким чином, наведена структурна організація конвеєрного процесора забезпечує максимальний паралелізм обробки масиву чисел, оскільки в процесі задіяні одночасно всі операнди. Це прискорює процес обробки, а також розширює функціональні можливості порогового паралельного підсумовування, оскільки у випадку перевищення суми над порогом цей факт можна зафіксувати без формування остаточного значення суми всіх чисел масиву.

У четвертому розділі проведено моделювання процесу паралельного та порогового паралельного підсумовування елементів векторного масиву даних за РЗ, а також послідовної порогової обробки. Здійснено імплементацію запропонованих конвеєрних процесорів на базі ПЛІС та оцінено їх продуктивність.

Було проведено комп’ютерне моделювання як способу паралельного підсумовування, так і способів порогового паралельного підсумовування за РЗ, а саме, досліджено залежність середньої кількості N циклів порогової обробки масиву чисел від розмірності n масиву, середньоквадратичного відхилення елементів масиву та величини порогу р. Графік функції N=F(n,) для порогової обробки за другим варіантом зображений на рис. 3. Величина порогу для масиву з 6 елементів – 3000, для 8 елементів – 4000 і т.д., тобто (n), оскільки математичне очікування становить =500 для усіх масивів. Аналіз графічних залежностей доводить ефективність порогової обробки за РЗ, оскільки кількість циклів обробки менша, ніж при традиційному послідовному методі підсумовування. Крім того, наявність однакових операндів у вхідному масиві збільшує швидкодію порогової обробки цими способами на 10-30%.

Рис. 3. Графік функції N=F(n,) для порогової обробки за другим варіантом

Здійснено комп’ютерне моделювання нейромережі прямого розповсюдження для задачі розпізнавання арабських цифр. Результати моделювання показали, що трьохшарова нейромережа з пороговою функцією активації у вхідному шарі розпізнає цифри зі стовідсотковою точністю.
Це доводить можливість використання запропонованих конвеєрних процесорів як порогових нейронів вхідного шару при проектуванні нейронних систем зв’язку та адаптивного керування для розв’язання задач ідентифікації, класифікації та розпізнавання образів.

Визначено та виконано основні етапи створення фрагменту багатошарової нейронної мережі на ПЛІС. Для проектування обрано ПЛІС Xilinx типу CPLD та пакет програм Xilinx Foundation Series 2.1 за його розширені можливості у порівнянні з WebPACK ISE, а також використано схемотехнічний редактор, оскільки схема проекту не вирізняється особливою складністю, а також має регулярну структуру. Це, у свою чергу, дозволяє швидко і якісно виконати початковий етап проектування конвеєрних процесорів.

Проведено імплементацію двох варіантів нейрочипів з фрагментом
шару мережі на базі ПЛІС XC95288XL-6-BG256. Результати імплементації довели ефективність реалізації багатошарових НМ чи їх фрагментів з багатовхідними пороговими нейронами, що працюють за методом РЗ, на базі ПЛІС Xilinx великої логічної ємності.

Аналізуючи результати моделювання на ПЛІС Xilinx нейрочипа з фрагментом шару НМ на базі конвеєрних процесорів, оцінено максимальний час порогової обробки 16-ти вхідних операндів, який складає 0,26 мкс та 0,23 мкс при використанні першого та другого видів конвеєрного процесора відповідно. Це дозволяє припустити, що такий нейрочип на базі запропонованих конвеєрних процесорів буде працювати в реальному часі.

Модифіковано метод та оцінено за ним продуктивність промодельованих нейрочипів на базі запропонованих конвеєрних процесорів. Оскільки архітектура запропонованих конвеєрних процесорів відрізняється від звичайного конвеєра, а саме, має регулярну структуру систолічного векторного масиву, яка виконує паралельно-послідовну обробку, то кількість ступенів L такого конвеєра дорівнює кількості процесорних елементів (ярусів) систолічного масиву, а відповідно і розмірності n вхідного оброблюваного масиву даних. У такому випадку апаратна складність усіх ступенів конвеєрного процесора є однаковою, на противагу звичайній архітектурі конвеєрного пристрою, в якому кожний ступінь виконує свою операцію. Таким чином, такт роботи к конвеєрного процесора - це час, який витрачається на обробку даних в одному ярусі (ступені), а також величина, обернено пропорційна асимптотичній продуктивності, що визначається виразом:

Vк = 1/к = 1/(/L),

де - час виконання одного напівциклу.

Така методика дозволяє обчислити продуктивність конвеєрного процесора на базі РЗ залежно від: а) кількості ступенів конвеєра при сталості їх комбінаційних схем; б) кількості оброблених операндів масиву даних; в) втрат, що пов’язані із затримкою (час запису у регістр та час зсуву синхроімпульсів). Максимальна (асимптотична) продуктивність конвеєрного процесора для випадку, коли потік даних безперервний, склала 519,5 млн.оп./с, що на порядок більше, ніж в аналога – конвеєрного пристрою для паралельного підсумовування операндів, який, у свою чергу, програє ще й за функціональними можливостям. Крім того, методика дозволяє обчислити коефіцієнт використання комбінаційних схем конвеєра, коефіцієнт ефективності та коефіцієнти завантаженості й використання конвеєра. Аналіз обчислених коефіцієнтів показав, що ресурси конвеєрного процесора при обробці 16 операндів використовуються лише на 50%, для поліпшення чого необхідно обробляти масиви набагато більшої розмірності, що цілком можливо при використанні чипів ПЛІС великої логічної ємності (десятки млн. логічних вентилів). Це доводить ефективне використання запропонованих способів конвеєрної обробки і процесорів у багатооперандній нейрообробці.

Запропоновано використання промодельованих нейрочипів на базі конвеєрних процесорів у гібридній оптико-електронній нейронній системі на основі голографічного диска, що дозволяє отримати високу швидкість нейрообчислень за рахунок роздільного виконання операцій векторно-матричного перемноження та порогового підсумовування в оптичній та електронній частинах системи відповідно. Теоретичні розрахунки показали, що швидкодія такої системи становить порядку 1011 перемикань зв’язків за секунду, що на декілька порядків більше багатьох відомих аналогів.

ВИСНОВКИ

У дисертаційній роботі теоретично обґрунтовано та практично реалізовано нові способи порогової паралельної обробки векторного масиву даних як моделі ФН для систем керування в задачах ідентифікації, класифікації та розпізнавання сигналів та зображень.

У результаті виконання дисертаційної роботи отримано такі наукові та практичні результати.

1. Вдосконалено метод паралельного підсумовування елементів векторного масиву даних за різницевими зрізами як базового у нейроподібній обробці векторних масивів. Метод відрізняється від відомого тим, що на кожному кроці обробки виконується не тільки формування поточної часткової суми або поточної часткової різниці, але й порівняння її з поточним порогом. Такий підхід забезпечує прискорення (в 1,1 – 1,9 рази) нейроподібної обробки через відсутність у необхідності формування кінцевої суми зважених елементів векторного масиву, а також дозволяє модифікувати модель формального нейрона на базі РЗ, яка відрізняється від відомої реалізацією розпаралелення операції підсумовування та суміщенням її з пороговою обробкою.

2. Досліджено способи паралельного алгебраїчного та порогового паралельного алгебраїчного підсумовування, які дозволяють вдосконалити модель ФН з латеральним гальмуванням на базі РЗ. Модель відрізняється способом формування суматорної та активаційної функцій, які виконують обробку як підсилюючих, так і гальмуючих зважених сигналів векторного масиву, що забезпечує їх ефективне використання у нейроподібних структурах типу АRT (Adaptive resonance theory), когнитрон, неокогнитрон, які за реакцією близькі до біологічних аналогів.

3. Проведено аналіз способів порогової паралельної обробки за РЗ, які є вдосконаленням методу паралельного підсумовування елементів векторного масиву. Аналіз показав їх ефективність порівняно з відомим. Наочно доведено, що тривалість кожного наступного циклу обробки, як і сам процес обробки, може носити як сталий, так і непостійний характер на відміну від класичної моделі, оскільки процес обробки може закінчитись у будь-якому циклі, починаючи з другого, що приводить до підвищення швидкодії при мінімальному та максимальному часі обробки на 12% та 47% відповідно.

4. Запропоновано дві структури конвеєрного процесора з накопиченням поточних часткових сум різницевих зрізів та відніманням поточних складових різницевих зрізів для порогової паралельної обробки векторних даних. Така структурна організація забезпечує розширення функціональних можливостей процесу паралельного підсумовування, які досягається за рахунок виконання у конвеєрному режимі одночасно паралельного підсумовування масиву n операндів і порівняння поточних результатів із зовнішнім порогом на кожному кроці обробки. Такий підхід забезпечує максимальний паралелізм обробки масиву чисел, оскільки в процесі задіяні одночасно всі операнди, а це, у свою чергу, приводить до прискорення процесу обробки, оскільки у випадку перевищення суми над порогом цей факт можна зафіксувати без формування остаточного значення суми всіх чисел масиву. Моделювання конвеєрного процесу порогової обробки векторного масиву даних обох конвеєрних процесорів показало ефективність використання часового та апаратного ресурсу.

5. Проведено моделювання процесу паралельного та порогового паралельного підсумовування елементів векторного масиву даних за різницевими зрізами. У результаті моделювання одержано графічні залежності середньої кількості циклів обробки від розмірності масиву та порогу обробки, аналіз яких експериментально довів доцільність та ефективність використання методу різницевих зрізів для паралельного та порогового паралельного підсумовування елементів великих масивів даних. Підвищення швидкості процесу порогової паралельної обробки складає в середньому 10-30%.

6. Виконано імплементацію двох варіантів нейрочипів з фрагментом шару мережі на базі ПЛІС XC95288XL-6-BG256, ресурси якої дозволяють реалізувати чотири порогових нейрона на 4 входи або один на 16. Результати імплементації довели можливість реалізації та ефективне використання багатошарових нейромереж чи їх фрагментів з багатовхідними пороговими нейронами, що працюють за методом РЗ, на базі ПЛІС Xilinx великої логічної ємності.

7. Модифіковано метод оцінювання продуктивності конвеєрних процесорів для нейроподібної обробки даних. Він відрізняється від відомих тим, що враховує особливості систолічної обробки у запропонованих конвеєрних процесорах, що дозволяє розраховувати продуктивність структур, алгоритм роботи яких базується на використанні різницевих зрізів. За цим методом оцінено продуктивність модельованих нейрочипів на базі запропонованих конвеєрних процесорів при обробці 16 операндів, яка складає до 500 млн.оп./с, що підтверджує можливість їх використання у системах обробки інформації для розв’язання задач ідентифікації динамічних систем та адаптивного керування ними, класифікації та розпізнавання зображень та сигналів у реальному часі.

8. Запропоновано використання промодельованих нейрочипів на базі конвеєрних процесорів у гібридній оптико-електронній нейронній системі на базі голографічного диска, що дозволяє отримати високу швидкість нейрообчислень порядку 1011 перемикань зв’язків в секунду через розділене виконання операцій векторно-матричного перемноження та порогового підсумовування в оптичній та електронній частинах системи відповідно.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Мартинюк Т.Б., Хом’юк В.В, Куперштейн Л.М., Матвєєв Є.С. Аналіз моделей паралельного підсумовування елементів числового масиву // Вісник Вінницького політехнічного інституту. - 2002. – № 6. – С. 51-56.

2. Мартинюк Т.Б., Кожем’яко А.В., Куперштейн Л.М. Особливості реалізації ітераційних алгоритмів багатооперандної обробки на систолічних масивах // Оптико-електронні інформаційно-енергетичні технології. – 2002. – № 4. – С. 123-133.

3. Куперштейн Л.М., Кожем’яко А.В. Модель формального нейрона з використанням принципу різницевих зрізів // Вісник Вінницького політехнічного інституту. – 2003. – № 6. – С. 284-288.

4. Васюра А.С., Куперштейн Л.М. Реалізація паралельної обробки даних на пороговому підсумовуючому пристрої // Вісник Вінницького політехнічного інституту. - 2004. – № 5. – С. 59-65.

5. Мартынюк Т.Б., Хомюк В.В, Кожемяко А.В., Куперштейн Л.М. Систолические структуры для многооперандной обработки информации // Матеріали VІІ МНПК “Наука і освіта 2004”. Сучасні інформаційні технології. – Дніпропетровськ: Наука і освіта, 2004. – С. 17-21.

6. Мартинюк Т.Б., Буда А.Г., Куперштейн Л.М., Балашов К.А. Особливості багатооперандної обробки векторного масиву чисел за методом різницевих зрізів // Матеріали ІІІ МНПК “Динаміка наукових досліджень - 2004”. Сучасні інформаційні технології. – Дніпропетровськ: Наука і освіта, 2004. – С. 8-12.

7. Мартынюк Т.Б., Буда А.Г., Куперштейн Л.М., Расенко Р.А., Климкина Д.И. Организация конвейерного процессора для порогового суммирования элементов векторного массива // Сборник трудов МНТК “ПРИБОРОСТРОЕНИЕ 2004”.– Винница-Ялта, 2004. – С. 40-44.

8. Мартинюк Т., Буда А., Хом’юк В., Куперштейн Л. Багатофункціональна регулярна структура для обробки векторних даних // Праці VІІ Всеукраїнської міжнародної конференції “УкрОБРАЗ’2004”. Оброблення сигналів та зображень та розпізнавання образів. – Київ, 2004. – С. 33-36.

9. Куперштейн Л.М., Расенко Р.А. Модель паралельного підсумовування як основної операції над даними у нейроструктурі // Тези доповідей ІІ МНТК студентів, аспірантів та молодих вчених “OPTOELECTRONIC INFORMATION-ENERGY TEСHNOLOGIES-2002”. – Вінниця, 2002. – С. 16.

10. Куперштейн Л.М. Конвеєрний пристрій для паралельного порогового підсумовування векторного масиву чисел // Тези студентських доповідей ХХХІІ науково-технічної конференції професорсько-викладацького складу, співробітників та студентів університету. – Вінниця, 2003 . – С.138.

11. Кожем’яко А.В., Куперштейн Л.М. Новий підхід до моделювання формального нейрона // Тези міжнародної науково-практичної конференції студентів, аспірантів та молодих вчених “Комп’ютери. Програми. Інтернет. 2003”.–К.: Політехніка, 2003. – С. 37.

12. Куперштейн Л.М., Кожем’яко А.В. Модель формального нейрона з використанням принципу різницевих зрізів // Тези доповідей VІІ МНТК “Контроль і управління в складних системах (КУСС-2003)”. – Вінниця: УНІВЕРСУМ-Вінниця. – 2003. – С. 78.

13. Васюра А.С., Куперштейн Л.М. Конвеєрний процесор для порогової обробки інформації // Тези доповідей ІІІ МНТК студентів, аспірантів та молодих вчених “PHOTONICS-ODS 2005”. – Вінниця, 2005. – С. 84.

14. Патент № 55862А, МПК 7 G066/14. Підсумовуючий пороговий пристрій / Т.Б.Мартинюк, О.В. Павлюк, Б.С. Барський, Л.М. Куперштейн, І.В. Мисловський.- № 2002075728; Заявлено 11.07.2002; Опубл. 15.04.2003, Бюл.