Харківський національний університет радіоелектроніки

Шамраєв Анатолій Анатолійович

УДК 681.513

НЕЙРОКЕРУВАННЯ НЕЛІНІЙНИМИ ДИНАМІЧНИМИ ОБ’ЄКТАМИ НА ОСНОВІ
БАГАТОШАРОВОГО ПЕРСЕПТРОНУ

05.13.23 – системи та засоби штучного інтелекту

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Харків – 2004

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки
Міністерства освіти і науки України.

Науковий керівник – доктор технічних наук, професор

Руденко Олег Григорійович,

Харківський національний університет
радіоелектроніки, завідувач кафедри ЕОМ

Офіційні опоненти:– 

доктор технічних наук, доцент Машталір Володимир Петрович,
Харківський національний університет радіоелектроніки, декан факультету комп’ютерних наук;– 

кандидат технічних наук, доцент Леонов Сергій Юрійович,
Національний технічний університет "Харківський політехнічний інститут", доцент кафедри обчислювальної техніки та програмування.

Провідна установа

Національний технічний університет України "КПІ" (кафедра технічної кібернетики) Міністерства освіти і науки України, м. Київ.

Захист відбудеться “ 30 ” березня 2005 р. о 13 годині на засіданні спеціалізованої вченої ради Д .052.01 у Харківському національному університеті радіоелектроніки (61166, м. Харків, просп. Леніна, 14).

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки (61166, м. Харків, просп. Леніна, 14).

Автореферат розісланий “ 25 ” лютого 2005 р.

Вчений секретар

спеціалізованої вченої ради ___________________С.Ф. Чалий

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Ефективність систем керування реальними об’єктами значною мірою залежить від якості математичних моделей, що використовуються при цьому, які, з одного боку, повинні найбільш повно відображати властивості об’єктів, а з іншого – бути зручними для реалізації алгоритмів керування. Відсутність достатньо повної інформації щодо умов функціонування, властивостей самих об’єктів і перешкод визначає необхідність застосування при керуванні ними адаптивного підходу, що припускає можливість використання спрощених, зокрема, лінійних моделей. Хоча такий підхід і дозволяє у ряді випадків суттєво зменшити апріорну невизначеність і реалізувати достатньо ефективне керування, проте у такому випадку не завжди забезпечується отримання необхідного результату.

Незважаючи на величезну кількість робіт, обмеження, що накладаються різноманіттям видів нелінійностей, динамічними властивостями об’єктів, їх нестаціонарністю, а також наявність зовнішніх збурень і помилок вимірювань, не дозволяють створити єдиний підхід при побудові систем керування.

Одним з найбільш перспективних напрямків вирішення цієї проблеми є застосування методів теорії штучних нейронних мереж (ШНМ) у системах керування з елементами штучного інтелекту. Здатність ШНМ до навчання (як самостійно, так і за допомогою “вчителя” на основі співвідношень “вхід-вихід”) дозволяє отримати простіші рішення для складних задач керування. Крім того, наявність в структурі ШНМ нейронів з нелінійними функціями активації дозволяє використовувати їх для вирішення задач керування нелінійними об’єктами у той час, коли традиційні методи не забезпечують вирішення подібних задач.

У зв’язку з цим актуальною задачею є розробка методів і алгоритмів побудови нейрорегуляторів, які спроможні функціонувати в умовах апріорної і поточної невизначеності щодо властивостей об’єктів і завад та алгоритмів їх навчання. Впровадження результатів дисертаційної роботи сприятиме підвищенню ефективності використання обчислювальної техніки в задачах керування складними об’єктами. Тому більш ефективним є розробка систем керування на основі адаптивного підходу в поєднанні з методами теорії ШНМ.

Зв’язок роботи з науковими програмами, планами, темами. Тематика дисертаційної роботи відповідає координаційному плану Міністерства освіти і науки України, саму роботу виконано згідно з планом науково-дослідних робіт Харківського національного університету радіоелектроніки в рамках теми №ДР0101U001762 "Розробка теоретичних основ та математичного забезпечення нейро-фаззі-систем ранньої діагностики, прогнозування та моделювання в умовах апріорної і поточної невизначеності", де здобувач брав участь як виконавець.

Мета і задачі дослідження. Метою дисертаційної роботи є розробка нейрорегуляторів для керування нелінійними динамічними об’єктами на основі багатошарового персептрону (БП) в умовах невизначеності щодо структури і параметрів досліджуваних об’єктів. Досягнення поставленої мети здійснюється вирішенням таких основних задач:– 

аналіз існуючих методів опису нелінійних динамічних об’єктів;– 

аналіз існуючих методів керування нелінійними динамічними об’єктами;– 

розробка і дослідження нейромережевих методів ідентифікації нелінійних динамічних об’єктів;– 

синтез алгоритмів навчання нейрорегуляторів;– 

імітаційне моделювання розроблених нейрорегуляторів і алгоритмів їх навчання та вирішення з їхньою допомогою реальних практичних задач.

Об’єкт дослідження – нелінійні динамічні об’єкти, що функціонують в умовах апріорної та поточної невизначеності щодо властивостей об’єктів і діючих на них завад.

Предмет дослідження – нейрорегулятори, побудовані на основі БП.

Методи дослідження: теорія ШНМ, що дозволила синтезувати нейрорегулятори і алгоритми їх навчання; теорія оптимальності, за допомогою якої були синтезовані швидкісні алгоритми навчання; імітаційне моделювання, що підтвердило ефективність отриманих результатів і дозволило розробити рекомендації до їх практичного використання.

Наукова новизна результатів дисертаційної роботи полягає в тому що:– 

вперше запропоновано процедури навчання БП, засновані на методі поточного регресійного аналізу, які забезпечують отримання нейромережевих моделей, що адекватно відображають властивості нестаціонарних динамічних об’єктів; отримано рекурентні форми регуляризованих багатокрокових процедур навчання ШНМ, що забезпечує стійкість процесу корекції параметрів;– 

вперше розроблено процедуру вилучення (дискримінації) моделі із сукупності нейромережевих моделей, які використовуються для опису властивостей об’єктів, що дозволяє прискорити процес керування даними об’єктами;– 

отримали подальший розвиток процедури прямого адаптивного нейрокерування, що дозволяє суттєво зменшити необхідний об’єм обчислень;– 

вперше на основі БП розроблено субоптимальний нейрорегулятор, що забезпечує високу швидкодію і якість керування.

Практичне значення одержаних результатів. Розроблені та досліджені нейрорегулятори та алгоритми їх навчання реалізовані у вигляді пакета програм для вирішення задач керування нелінійними об’єктами у реальному часі. Використання створеного математичного і програмного забезпечення сприяє підвищенню якості керування складними технологічними процесами та нелінійними динамічними об’єктами. Результати дисертаційної роботи впроваджено в Науково-дослідному комплексі “Прискорювач” Національного Наукового Центру “Харківський фізико-технічний інститут” при розробці системи керування прискорювачем електронів КПТ.

Особистий внесок здобувача. Всі основні результати отримано автором самостійно. У роботах, що опубліковано у співавторстві, здобувачу належать: в [1, 8] – синтез структур і алгоритмів навчання нейрорегуляторів; в [2, 6] – розробка та дослідження алгоритмів навчання БП, розробка рекомендацій щодо їх практичного використання; в [3, 4] – вибір архітектури нейронних мереж для побудови нейромережевих моделей нелінійних динамічних об’єктів, дослідження ефективності отриманих моделей при ідентифікації нестаціонарних об’єктів, в [5] – побудова нейрорегулятора для керування технологічними процесами виробництва кальцинованої соди.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на 7-му Міжнародному молодіжному форумі “Радиоэлектроника и молодежь в XXI веке” (Харків, 2003р.), на XI Міжнародній науково-практичній конференції “Інформаційні технології: наука, техніка, технологія, освіта, здоров’я” (Харків, 2003р.), на 8-й і 9-й Міжнародних конференціях “Теорія і техніка передачі, прийому й обробки інформації” (Туапсе-Харків, 2002р., 2003р.), на Всеукраїнській науково-технічній конференції “Інформаційні технології та моделювання” (Кременчук, 2003р.), на VI науково-практичній міжнородній конференції “Інформаційні технології в освіті та управлінні” (Нова Каховка, 2004р.).

Публікації. За темою дисертації видано 9 друкованих робіт: 5 статей в збірниках наукових праць і журналі, які входять до переліків ВАК України, 2 матеріали конференцій, 2 тези доповідей.

Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел, що містить 125 найменувань, додатка. Робота містить 64 ілюстрації, 6 таблиць. Загальний обсяг роботи складає 182 сторінки, у тому числі 145 сторінок основного тексту.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність дисертаційної роботи, сформульовано основну мету і завдання досліджень, наведено відомості щодо зв’язку дисертації з планами організації, де виконана робота. Дано стислу анотацію отриманих у дисертації результатів, відзначено їх практичну цінність, наведено дані щодо використання результатів проведених досліджень.

У першому розділі наводиться огляд існуючих методів математичного опису нелінійних динамічних об’єктів. Розглянуто класичні моделі Урисона, Вінера, Гаммерштейна та їх узагальнені форми; опис нелінійних об’єктів у просторі станів, NARMAX (Nonlinear Auto Regressive Moving Average with eXogenous inputs) і NARX (Nonlinear Auto Regressive with eXogenous inputs) моделі та їх модифікації, пов’язані з принципом формування вихідного сигналу моделі.

Проаналізовано існуючі методи вирішення задач керування нелінійними динамічними об’єктами. Показано необхідність розвитку методів адаптивного керування, основна ідея якого полягає в зміні параметрів регулятора залежно від критерію оптимальності замкненої системи.

При дослідженні багатовимірних нелінійних динамічних об’єктів найчастіше використовується їх опис у вигляді NARMAX моделей

, | (1)

де – вихідний сигнал об’єкта; p(k)=[y(k-1),…, y(k-ky), u(k-1) u(k-ku)] – вектор узагальненого вхідного сигналу, ky, ku – порядки запізнювання по вихідному і вхідному каналах; f()– невідома нелінійна функція; (k)– перешкода виміру вихідного сигналу; k– дискретний час.

Задача ідентифікації полягає в оцінюванні функції f() за вимірами вхідних u(k) і вихідних y(k) змінних.

Нейромережева модель об’єкта (1) має вигляд:

, | (2)

де L– число шарів у мережі; Wi– матриця вагових параметрів нейронів i-го шару мережі; fi()– функція активації i-го шару.

Навчання мережі, до якого зводиться задача ідентифікації, полягає в настроюванні її параметрів на основі порівняння вихідних сигналів об’єкта та моделі і полягає в мінімізації звичайно квадратичного функціонала помилки

. | (3)

За аналогією з традиційним підходом до вирішення задачі ідентифікації, при якому процес побудови моделі розбивається на два етапи – структурну і параметричну ідентифікацію, застосування ШНМ також вимагає вирішення двох задач: визначення структури мережі і настроювання (навчання) її параметрів.

Початкова конфігурація мережі складається звичайно з двох шарів з довільним числом нейронів у шарах. Після проведення ряду експериментів з різними конфігураціями мережі вибирається та, яка дає мінімальне значення функціонала помилки або, при досягненні заданої точності рішення, потребує менших обчислювальних витрат. Якщо якість навчання недостатня, збільшують число нейронів у шарах або число шарів. Якщо ж спостерігається явище перенавчання, то слід зменшити число нейронів у шарі або вилучити один чи декілька шарів.

Позначимо необхідне значення вектора вихідних сигналів об’єкта як d(k). Задача керування полягає у визначенні значень керуючих сигналів u(k), що забезпечують мінімум функціонала

. | (4)

Аналіз властивостей ШНМ свідчить про ефективність використання для вирішення задачі керування ШНМ типу БП. Маючи подібні до радіально-базисних мереж (РБМ) властивості, БП забезпечує більш компактний опис нелінійного об’єкта, оскільки число параметрів в РБМ експоненційно зростає із збільшенням вимірності вхідного простору, тоді як для БП ця залежність лінійна. Важливою є наглядність, яка виражається в тому, що модель у вигляді персептрону є еквівалентною традиційній. Це дозволяє використовувати для визначення параметрів ШНМ добре розвинуті методи оцінювання, які використовуються при традиційному підході.

Показано, що при побудові систем керування на основі нейромережевих технологій також використовуються адаптивні принципи. Нейромережева система керування складається з двох частин: нейрорегулятора та нейромережевої моделі об’єкта (ідентифікатора).

Нейрорегулятор формує сигнали керування, які забезпечують мінімізацію обраного критерію, а ідентифікатор використовується для знаходження Якобіана об’єкта при зворотному розповсюдженні помилки крізь об’єкт керування. Синтез нейромережевої системи керування складається з декількох етапів, а саме: вибору критерію оптимальності, на основі якого будується процедура настроювання параметрів нейрорегулятора; вибору структури нейромережевої моделі об’єкта та нейрорегулятора; вирішення задачі параметричної ідентифікації, для знаходження вагових коефіцієнтів нейромережевої моделі.

На основі проведеного аналізу особливостей побудови нейромережевої системи керування сформульовано задачі наукового дослідження.

Другий розділ присвячено питанням нейромережевої ідентифікації нелінійних динамічних об’єктів. Розглянуто методи параметризації NARMAX і NARX моделей та їх значення при побудові нейромережевих моделей нелінійних динамічних об’єктів.

Найбільше розповсюдження для вирішення задач ідентифікації отримали ШНМ типу БП і РБМ. Та обставина, що обидві ці мережі дозволяють апроксимувати з будь-якою заданою точністю будь-яку неперервну функцію, забезпечила їх широке застосування в задачах ідентифікації нелінійних об’єктів, а поєднання апроксимуючих властивостей із здатністю швидко навчатися дозволяє використовувати їх для керування нелінійними динамічними об’єктами в реальному часі. Обидві мережі використовують апроксимацію нелінійного оператора об’єкта (1) деякою системою базисних функцій {Фi(p)}, яка реалізується нейронами, що складають шари мережі |

(5)

де wi – вагові коефіцієнти мережі.

Розглянуто принципи побудови паралельної, послідовно-паралельної та інверсної нейромережевих моделей об’єктів та алгоритмів їх навчання. Проаналізовано питання вибору критерію якості навчання (функції помилки) БП, досліджено процес навчання БП при виборі квадратичного критерію якості, розглянуто альтернативні функції помилки, такі як функція помилки із взаємною ентропією та показова функція помилки.

Проаналізовано градієнтні алгоритми навчання БП: алгоритм зворотного розповсюдження та різні його модифікації, метод Н’ютона, квазін’ютоновські методи та алгоритм Левенберга-Марквардта. Запропоновано модифікацію квазін’ютонівського методу, що забезпечує скорочення необхідного об’єму пам’яті й обчислювальних витрат.

Розроблено процедури настроювання параметрів БП, засновані на методі поточного регресійного аналізу, які забезпечують отримання нейромережевих моделей, що адекватно відбивають властивості нестаціонарних динамічних об’єктів.

Особливістю цих процедур є використання фіксованної кількості інформації про об’єкт на кожному такті навчання. У зв’язку з тим, що на кожному кроці навчання БП додається інформація про вимірювання, які щойно надійшли, і вилучається інформація про найстаріші вимірювання, можливі дві форми алгоритму навчання (залежно від того, чи додається спочатку нова інформація, а потім вилучається застаріла або ж спочатку вилучається застаріла, а потім додається нова).

Так процес навчання ШНМ при додаванні нової інформації і подальшому вилученні застарілої описується такими співвідношеннями:

; | (6)

; | (7)

; | (8)

(9)

де L=const>N – пам’ять алгоритму або ковзне вікно (кількість тактів урахування інформації); (0,1] – коефіцієнт зважування інформації; f – градієнт функціонала якості навчання ШНМ за її ваговими коефіцієнтами.

Якщо ж під час навчання ШНМ спочатку відбувається вилучення застарілої інформації, а потім уведення інформації, яка щойно надійшла, то відповідна процедура навчання ШНМ має вигляд: |

(10)

; | (11)

(12)

. | (13)

Розроблені алгоритми (6) – (9) і (10) – (13) є рівноцінними, проте, на наш погляд, більш доцільним є використання алгоритму (10) – (13), внаслідок того, що, по-перше, вилучення f(k-L+1) в (11) призводить до меншої кількості арифметичних операцій при обчисленні (13), а по-друге, може виявитися, що вектор f(k+1), який щойно надійшов, буде лінійно залежним з f(k-L+1), що призведе до виродження матриці PL(k).

З метою підвищення обчислювальної стійкості алгоритмів навчання проведено їх регуляризацію шляхом використання в них параметра регуляризації . Отримано відповідні рекурентні форми регуляризованих багатокрокових процедур навчання ШНМ. У зв’язку з тим, що основною метою використання процедур навчання типу (6) – (13) є підвищення ефективності нейромережевих моделей в умовах нестаціонарності досліджуваних об’єктів, розглянуто питання ефективного вибору параметрів отриманих алгоритмів навчання.

При побудові нейромережевої моделі вибір її початкової архітектури визначається досвідом розробника і наявністю апріорної інформації про об’єкт. Як відзначалося вище, початкова конфігурація БП звичайно складається з двох шарів із довільним числом нейронів у шарах і після проведення ряду експериментів з різними конфігураціями мереж вибирається та, яка дає мінімальне значення функціонала помилки. Однак такий метод вирішення супроводжується значними обчислювальними витратами і витратами часу. Тому важливою задачею є розробка процедур вибору найкращої нейромережевої моделі, які забезпечують зменшення обчислювальних витрат і витрат часу. Суть запропонованої процедури вилучення (дискримінації) нейромережевих моделей полягає в наступному. Вибирається N нейромережевих моделей, навчання яких здійснюється на тому самому наборі даних. Задається максимальне число циклів навчання мережі k і період дискримінації m<k. Кожні m циклів навчання порівнюються значення мережевих помилок ea(w1) і eb(w2), а також норми їх градієнтів і , і вилучаються всі ШНМ, для яких виконуються умови ea(w1)>eb(w2) і , де >1, – параметри, що задають швидкість дискримінації моделей і зменшують імовірність помилкового вилучення "гарної" моделі. Алгоритм зупиняється після досягнення максимального числа циклів навчання k. Використання розробленої процедури дозволяє зменшити обчислювальні витрати на 30-40%.

Третій розділ присвячено дослідженню нейромережевих стратегій керування. Розглянуто особливості прямих та непрямих методів нейрокерування. При реалізації непрямих методів, спочатку будується нейромережева модель об’єкта шляхом його ідентифікації за даними про вхідні і вихідні сигнали, а потім вибирається алгоритм навчання нейрорегулятора, заснований на отриманій нейромережевій моделі. В прямих методах регулятор навчається без використання моделі об’єкта шляхом мінімізації деякого критерію якості функціонування системи в цілому.

Настроювання параметрів нейрорегулятора виконується на основі алгоритму зворотного розповсюдження. При цьому задача нейрорегулятора полягає у формуванні керуючої дії, що забезпечує мінімальну розбіжність між виходом об’єкта y(k) і виходом еталонної моделі d(k).

Розглянуто питання оптимального нейрокерування, отримано умови оптимального рішення та розроблено алгоритм оптимального нейрокерування.

На основі безперервної одновходової системи

де xRn – вектор станів; uRn – вхідний сигнал системи; yRm – вихідний вектор; , , – невідомі векторні функції, розроблено нейрорегулятор, який реалізує статичний закон керування

,

де W1 – матриця вагових коефіцієнтів нейронів схованого шару розмірністю (N1xm); w2RN1 – вектор вагових коефіцієнтів вихідного шару; – коефіцієнт, що задає максимальну амплітуду керуючого сигналу; N1 – число нейронів у схованому шарі.

Для розробленого нейрорегулятора отримано умови стабільності поблизу рівноважного стану x=0

, | (14)

які засновано на результатах розробки лінійного регулятора з постійним коефіцієнтом передачі k і аналізі власних чисел матриці Якобі

,

де 0, 0 – матриці похідних [i/xj], (i,j = 1,…,n), [i/xj], (i= 1,…,m, j= 1,…,n), які обчислено при x=0. Показано, що локальна стабільність поблизу x=0 гарантується, якщо власні значення i матриці J(0) лежать у лівій половині комплексної площини.

Умови локальної стабільності (14), які отримано для двошарового пересептрону, поширено на ШНМ із довільним числом шарів.

Показано, що використання нейрорегулятора в області лінеаризації є більш ефективним, оскільки останній має більше ступенів свободи в порівнянні з відповідним лінійним регулятором. Показано, що вилучення обмежень на локальну стабільність призведе до зниження ефективності регулятора в умовах дії перешкод або може викликати осциляцію поблизу рівноважного стану. У разі використання градієнтних методів для мінімізації цільової функції
використовується модель чутливості Нарендри для обчислення похідних
цільової функції за ваговими коефіцієнтами нейрорегулятора. Проте, вилучення обмежень на локальну стабільність призводить до ускладнення процедури
аналітичного обчислення похідних внаслідок необхідності обертання матриць. Показано, що в цьому випадку похідні можуть обчислюватися чисельними методами або за допомогою методів нульового порядку.

Розглянуто п’ять основних схем нейрокерування, а саме: послідовне нейрокерування, паралельне нейрокерування, нейрокерування із самонастроюванням, схема зворотного розповсюдження за часом, пряме адаптивне нейрокерування. Для всіх розглянутих схем нейрокерування розроблено процедури настроювання параметрів нейрорегуляторів. Крім того, для схеми прямого адаптивного нейрокерування розроблено рекурентну процедуру знаходження
Якобіана об’єкта, яка дозволяє суттєво скоротити необхідний об’єм обчислень.

Для класу нелінійних динамічних об’єктів, що описуються NARMAX моделлю y(k+1)=f[p(k)]+g[p(k)]u(k)+(k), синтезовано субоптимальний нейрорегулятор, функціонування якого здійснюється за законом, заснованим на розширеному фільтрі Калмана

,

де ; , а матриця P(k+1) має вигляд:

,

де Pff і Pgg – квадратні субматриці розмірності і відповідно.

Показано, що висока ефективність отриманого нейрорегулятора досягається завдяки відсутності фази ідентифікації.

Четвертий розділ присвячено імітаційному моделюванню та вирішенню практичних задач. Показано, що серед сучасних нейросимуляторів, таких як SNNS .1, Trajan .0, Neuro .25, та MATLAB .1, останній надає найбільш повні можливості щодо дослідження властивостей алгоритмів навчання ШНМ. Тому моделювання ШНМ здійснювалося в середовищі MatLab 6.1, з використанням ПЕОМ на базі процесора Pentіum ІІІ-733.

Проведено імітаційне моделювання алгоритмів навчання БП при вирішенні тестових задач апроксимації тригонометричних функцій sin(x), tan(x), sin(x)cos(2x) і задач порівняння за модулем N. За результатами моделювання розроблено рекомендації щодо практичного використання досліджених алгоритмів.

Проведено дослідження процесу ідентифікації нестаціонарного нелінійного динамічного об’єкта, закон функціонування якого описується рівнянням |

(15)

де (k) – змінний в часі параметр, що характеризує міру нестаціонарності об’єкта.

Вхідний сигнал u(k) є випадковою стаціонарною послідовністю з рівномірним законом розподілу в інтервалі [-1,1]. Навчальний набір містить 5000 пар. Необхідна точність задавалася на рівні =0.0001. Дослідження були проведені як у детермінованому, так і в стохастичному випадках.

На рис.1 наведено результати ідентифікації об’єкта (15) при (k)=1 та за наявності на його виході випадкової перешкоди (k), яка має нормальний закон розподілу в інтервалі [-0.25, 0.25].

Для вирішення цієї задачі використовувалася та сама структура мережі 5-5-1, що і при ідентифікації детермінованого об’єкта ((k)=0). Як видно з рисунка, мережа успішно справилася з поставленою задачею, завдяки своїм гарним фільтруючим властивостям. На перетинах суцільною жирною лінією показана реакція об’єкта, а кружечками – вихід мережі за відсутності перешкоди; реакція об’єкта та мережі за наявності шуму показані суцільною тонкою лінією і хрестиками відповідно. Для навчання мережі знадобилося 8,4 хвилини.

На рис. показано результати ідентифікації об’єкта (15) при (k)=0.1. Підвищення складності форми поверхні викликало збільшення числа нейронів у схованих шарах до 20. При вирішенні цієї задачі було використано мережу 20-20-1, для навчання якої знадобилося 17,3 хвилини.

Показано, що якість вирішення задачі ідентифікації нелінійних нестаціонарних об’єктів за допомогою БП значною мірою залежить від вибору алгоритму його навчання. Використання алгоритму Левенберга-Марквардта, який характеризується гарними фільтруючими і згладжуючими властивостями і тому забезпечує отримання задовільних результатів за наявності перешкод вимірювань, доцільно у випадку, якщо нестаціонарність досліджуваного об’єкта не є істотною.

Дослідження алгоритму керування |

(16)

де e(k)=d(k)-y(k) – функція помилки керування, >0, ue – градієнт функції помилки за сигналами керування u, було виконано під час керування динамічними об’єктами, що описуються різними рівняннями, як у детермінованому, так і в стохастичному випадках.

Результати дослідження динамічного об’єкта, закон функціонування якого описується рівняннями |

(17)

наведено на рис.3. Для побудови нейромережевої моделі об’єкта використовувалася мережа з архітектурою 12-12-2.

Рисунок відображає результати роботи нейрорегулятора, який реалізує алгоритм (16) при =0.0001 та за наявності випадкової перешкоди (k), яка є рівномірно розподіленою в інтервалі [_.3,0.3]. Тут пунктирною лінією показано необхідний вихідний сигнал di(k), суцільною – реальний сигнал на виході об’єкта, а лінією з кружечками – відповідні зміни керуючого сигналу ui(k), (i=1,2). Необхідні значення вихідних сигналів були такими:

Наявність перешкоди не призвела до погіршення якості керування об’єктом, оскільки навчання нейромережевої моделі було здійснено з використанням алгоритму Левенберга-Марквардта, який характеризується гарними фільтруючими властивостями.

На рис.4 наведено результати роботи адаптивного нейрорегулятора під час керування об’єктом, закон функціонування якого описується рівняннями |

(18)

Для керування цим об’єктом було використано ту саму структуру мережі 12-12-2 та алгоритм (16) при =0.1. На рисунку наведено результати керування об’єктом (18) при завданні

Як видно з рисунка, нейрорегулятор забезпечує високу якість керування. Вихідний сигнал об’єкта практично збігається з d1(k). Вигляд необхідного сигналу d1(k) призводить до необхідності формування періодичного сигналу u1(k). Ця періодичність позначається на вигляді як вихідного сигналу y2(k), так і керування u2(k). Різка зміна на 501-му кроці значення необхідного сигналу d2(k) з -1 до +1 (рис.6 б) призводить до виникнення перехідного процесу, що триває приблизно 20 тактів. Після закінчення перехідного процесу якість керування досягає колишнього рівня.

За результатами імітаційного моделювання функціонування нейромережевих структур було розроблено рекомендації щодо їх практичного використання.

В роботі запропоновано методику регулювання і стабілізації енергії електронів в односекційному сильнострумному прискорювачі КПТ (Комплекс Прискорювача Технологічного Національного Наукового Центру "Харківський фізико-технічний інститут"), побудовану на основі нейрорегулятора.

При побудові нейромережевої моделі односекційного прискорювача КПТ як основні параметри було обрано чотири: фаза інжекції 0, струм I інжекції, початкова енергія (енергія інжекції) частиць W0 і потужність зовнішнього джерела P0.

На рис.5 наведено результати керування енергією електронів у прискорювачі КПТ з використанням алгоритму (16). Як видно з рисунка, нейрорегулятор забезпечує високу якість керування при стабілізації енергії пучка електронів, що дозволило поліпшити як короткочасну стабільність вихідної енергії, так і характеристики прискорених пучків.

Результати проведених досліджень було використано в Науково-дослідному комплексі “Прискорювач” ННЦ “ХФТІ” м. Харкова при керуванні енергією електронів в односекційному сильнострумному прискорювачі електронів КПТ.

У висновках сформульовано основні наукові та практичні результати дисертаційної роботи.

У додатку наведено акти про впровадження результатів дисертаційної роботи.

ВИСНОВКИ

У дисертаційній роботі здійснено нове вирішення наукової проблеми керування нелінійними динамічними об’єктами на основі БП за умов апріорної і поточної невизначеностей щодо властивостей об’єктів і діючих завад. Важливість цієї проблеми пов’язана з тим, що застосування нових інформаційних технологій значно підвищує ефективність використання обчислювальної техніки в задачах керування складними об’єктами в реальному часі, а її вирішення є основою для побудови ефективного математичного забезпечення систем керування. Під час проведення дисертаційних досліджень отримано такі основні результати:

1. Розглянуто методи математичного опису нелінійних динамічних об’єктів і проведено аналіз основних принципів побудови NARMAX і NARX моделей. Показано ефективність використання нейронних мереж типу БП для вирішення задач ідентифікації і керування.

2. Проаналізовано задачу вибору критерію якості навчання БП. Проведено аналіз існуючих алгоритмів навчання БП. Запропоновано модифікацю квазін’ютонівського методу, що забезпечує скорочення необхідного об’єму пам’яті й обчислювальних витрат. Розроблено процедури настроювання параметрів БП, засновані на методі поточного регресійного аналізу, які забезпечують отримання нейромережевих моделей, що адекватно відбивають властивості нестаціонарних динамічних об’єктів. Отримано рекурентні форми регуляризованих нелінійних багатокрокових процедур навчання ШНМ, що забезпечує стійкість процесу корекції параметрів. Виконано параметризацію NARX і NARMAX моделей за допомогою БП. Отримано структури нейромережевих моделей в просторі станів. Розроблено процедуру вилучення моделі із сукупності нейромережевих моделей об’єктів, що дозволяє прискорити процес керування цими об’єктами.

3. Розглянуто принципи побудови нейрорегуляторів, проаналізовано переваги і недоліки основних схем нейрорегуляторів. Отримано субоптимальне рішення шляхом параметризації нелінійних функцій за допомогою БП. На основі поширеного фільтра Калмана розроблено оптимальний закон керування для субоптимального дуального нейрорегулятора і показано високу ефективність останнього, яка досягається за рахунок відсутності фази ідентифікації.

4. На основі результатів імітаційного моделювання різних алгоритмів навчання БП виконано аналіз їх надійності і швидкодії, на підставі чого розроблено рекомендації щодо їх практичного використання. Досліджено процес вирішення задач ідентифікації і керування нелінійними динамічними об’єктами за умов дії перешкод. Показано ефективність використання нейрорегуляторів, на основі БП, при побудові систем керування складними технологічними процесами, які є нелінійними динамічними об’єктами.

5. Розроблені в дисертації методи і алгоритми використовуються в Науково-дослідному комплексі “Прискорювач” ННЦ “ХФТІ” при керуванні енергією електронів в односекційному сильнострумному прискорювачі електронів КПТ.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

2.

3.

4.

5.

6.

7.

8.

9.

АНОТАЦІЯ

Шамраєв А.А. Нейрокерування нелінійними динамічними об’єктами на основі багатошарового персептрону. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Харків, 2004.

Дисертаційна робота присвячена вирішенню задач керування нелінійними динамічними об’єктами з використанням нейромережевих стратегій на основі багатошарового персептрону за умов апріорної невизначеності щодо властивостей об’єктів і діючих завад.

У роботі проведено аналіз проблеми створення адаптивних та нейромережевих систем керування, алгоритмів навчання і керування та розроблено ряд нових алгоритмів, які реалізовано на базі ШНМ персептронного типу; запропоновано алгоритми навчання БП, засновані на методі поточного регресійного аналізу; отримано рекурентні форми регуляризованих багатокрокових процедур навчання ШНМ; розроблено процедуру вилучення моделі із сукупності нейромережевих моделей; отримали подальший розвиток процедури прямого адаптивного нейрокерування; на основі БП синтезовано субоптимальний нейрорегулятор, який забезпечує високу швидкодію і якість керування. У середовищі MATLAB .1 проведено імітаційне моделювання різних алгоритмів навчання БП, досліджено процес вирішення задач ідентифікації та керування нелінійними динамічними об’єктами за умов дії перешкод, та показано ефективність використання нейрорегуляторів на основі БП.

Достовірність результатів підтверджується експериментальними дослідженнями та впровадженнями.

Ключові слова: нейрорегулятор, нейромережева модель, багатошаровий персептрон, нейрокерування, ідентифікація, нелінійний динамічний об’єкт.

АННОТАЦИЯ

Шамраев А.А. Нейроуправление нелинейными динамическими объектами на основе многослойного персептрона. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 – системы и средства искусственного интеллекта.– Харьковский национальный университет радиоэлектроники, Харьков, 2004.

Диссертационная работа посвящена решению задачи управления нелинейными динамическими объектами с использованием нейросетевых стратегий на основе многослойного персептрона в условиях априорной неопределенности о свойствах объектов и действующих помехах.

В работе проведен анализ проблем построения адаптивных и нейросетевых систем управления, алгоритмов управления и алгоритмов обучения искусственных нейронных сетей (ИНС), а также разработан ряд новых алгоритмов, которые реализованы на основе ИНС персептронного типа. Рассмотрены методы описания нелинейных динамических объектов и проанализированы принципы построения NARMAX и NARX моделей.

Проанализирована задача выбора критерия качества обучения многослойного персептрона (МП). Проведен анализ градиентных алгоритмов обучения МП: алгоритма обратного распространения и различных его модификаций, метода Ньютона, квазиньютоновских методов, методов сопряженных градиентов и алгоритма Левенберга-Марквардта. Предложена модификация квазиньютоновского метода, обеспечивающая сокращение требуемого объема памяти и вычислительных затрат.

Разработаны процедуры настройки параметров МП, основанные на методе текущего регрессионного анализа, обеспечивающие получение нейросетевых моделей, адекватно отражающих свойства нестационарных динамических объектов. С целью повышения вычислительной устойчивости этих процедур осуществлена их регуляризация и получены рекуррентные формы регуляризованных многошаговых процедур обучения ИНС.

Выполнена параметризация NARX и NARMAX моделей при помощи МП. Получены структуры нейросетевых моделей в пространстве состояний. Разработана процедура удаления модели из множества нейросетевых моделей, служащих для описания свойств исследуемых объектов, что позволяет ускорить процесс управления данными объектами.

Рассмотрены принципы построения нейрорегуляторов, проанализированы достоинства и недостатки основных схем нейроуправления. Для всех рассмотренных схем нейроуправления разработаны алгоритмы настройки параметров нейрорегуляторов. Получено субоптимальное решение путем параметризации нелинейных функций при помощи МП.

Рассмотрена процедура использования результатов разработки линейных регуляторов при построении нейрорегуляторов. Показано, что линеаризация нейросетевой системы управления вблизи равновесного состояния обеспечивает нейрорегулятору больше степеней свободы, что расширяет функциональные возможности нейрорегуляторов.

Условия локальной стабильности, полученные для двухслойного персептрона, расширены на ИНС с произвольным числом слоев. Показано, что исключение ограничений на локальную стабильность приводит к снижению эффективности регулятора в условиях действия помех или может вызвать
осцилляцию вблизи равновесного состояния. Кроме того, исключение ограничений на локальную стабильность приводит к усложнению процедуры аналитического вычисления производных вследствие необходимости обращения матриц, в этом случае для нахождения производных могут использоваться численные методы или методы нулевого порядка. При использовании градиентных методов минимизации целевой функции для вычисления производных целевой функции по весовым коэффициентам нейрорегулятора использовалась модель чувствительности Нарендры.

На основе расширенного фильтра Калмана разработан оптимальный закон управления для субоптимального дуального нейрорегулятора и показана высокая эффективность последнего, достигаемая вследствие отсутствия фазы идентификации, предшествующей фазе управления.

По результатам имитационного моделирования различных алгоритмов обучения МП выполнен анализ их надежности и скорости сходимости, на основании чего разработаны рекомендации по их практическому использованию. Исследован процесс решения задач идентификации и управления нелинейными динамическими объектами при воздействии помех. Показана эффективность использования нейрорегуляторов на основе МП при построении систем управления сложными технологическими процессами, представляющими собой нелинейные динамические объекты.

Разработанные в диссертации методы и алгоритмы используются в Научно-исследовательском комплексе “Ускоритель” ННЦ “ХФТИ” при управлении энергией электронов в односекционном сильноточном ускорителе электронов КУТ.

Достоверность полученных результатов диссертационной работы подтверждается экспериментальными исследованиями и результатами внедрения.

Ключевые слова: нейрорегулятор, нейросетевая модель, многослойный персептрон, нейроуправление, идентификация, нелинейный динамический объект.

ABSTARCT

ShamraevNeural networks control of nonlinear dynamic objects on the multilayer perceptron basis. – Manuscript.

Thesis for a candidate of technical sciences degree by specialty 05.13.23 -systems and methods of artificial intelligence. – Kharkov National University of Radio Electronics, Kharkov, 2004.

The thesis is devoted to the solution of neural network control problems for nonlinear dynamic objects using neural network strategies on the multilayer perceptron (MLP) basis in prior uncertainty conditions concerning properties of objects and influencing noises properties.

In work the problems of construction adaptive and neural network control systems are conducted, and some new control and learning algorithms are realized on the MLP neural network basis. Procedures of MLP parameters tuning based on the method of current regressive analysis are developed. Recurrent forms of regularized multistep learning procedures for ANN are obtained. Neural network pruning algorithm is developed. Direct adaptive neural network control procedures are improved. A suboptimal MLP neural network controller is developed. This controller provided high quality of control and response speed. A simulation of different MLP learning algorithms is carried out with the help MATLAB 6.1. The solution process of identification and control tasks for nonlinear dynamic objects that are subjected to disturbances is research and effectiveness using MLP neural network controllers is demonstrated.

The authenticity of the dissertation outcomes proves out by experimental researches and results of their introduction.

Keywords: neural network controller, neural network model, multilayer perceptron, neural network control, identification, nonlinear dynamic object.