Харківський національний університет радіоелектроніки

Лавриненко Костянтин Анатолійович

УДК 681.513

НЕЙРОМЕРЕЖЕВА ІДЕНТИФІКАЦІЯ НЕЛІНІЙНИХ ДИНАМІЧНИХ ОБ’ЄКТІВ НА ОСНОВІ БАГАТОШАРОВОГО ПЕРСЕПТРОНУ

05.13.23 – системи та засоби штучного інтелекту

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Харків – 2004

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки Міністерства освіти і науки України

Науковий керівник доктор технічних наук, професор

Руденко Олег Григорійович,

Харківський національний університет радіоелектроніки, зав. кафедри ЕОМ

Офіційні опоненти:

- доктор технічних наук, професор Соколов Олександр Юрійович, Національний аерокосмічний університет ім. М.Є. Жуковського "Харківський авіаційний інститут", завідувач кафедри інформатики;

- кандидат технічних наук, ст. наук. співр. Леонов Сергій Юрійович, Національний технічний університет "Харківський політехнічний інститут", доцент кафедри "Обчислювальна техніка та програмування".

Провідна установа

Національний технічний університет України "КПІ" (кафедра технічної кібернетики) Міністерства освіти і науки України, м. Київ.

Захист відбудеться 09.06.2004 р. о 13 годині на засіданні спеціалізованої вченої ради Д .052.01 у Харківському національному університеті радіоелектроніки (61166, м. Харків, пр. Леніна, 14).

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки (61166, м. Харків, пр. Леніна, 14).

Автореферат розісланий 05.05.2004 р.

Вчений секретар

спеціалізованої ради В. І. Саєнко

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Основою синтезу будь-якої системи керування є математична модель об'єкта, яка адекватно відображає його властивості і одержання якої являє собою досить складну задачу. Це обумовлюється тим, що реальні процеси характеризуються, як правило, нелінійними залежностями, високим рівнем завад і їхньою корельованістю. Крім того, умови функціонування часто обумовлюють зміну характеристик досліджуваних об'єктів.

Найбільше поширення одержали параметричні моделі, що вимагають рішення задач структурної і параметричної ідентифікації і використовують обмежене число параметрів. Незважаючи на величезну кількість робіт, різноманіття видів нелінійностей не дозволяє створити єдину теорію ідентифікації нелінійних систем. Класичний підхід, який використовується найчастіше, заснований на апроксимації нелінійностей, наприклад, рядами Вольтерра, Гаммерштейна, Вінера, поліномами Колмогорова-Габора та ін. Однак область застосування таких моделей обмежена. Крім того, додаткові труднощі одержання адекватного математичного опису обумовлює наявність у реальних сигналах завад, що вимагає попередньої фільтрації сигналів.

Досить багатообіцяючою альтернативою класичним методам ідентифікації нелінійних систем є штучні нейронні мережі (ШНМ). Такий підхід для вирішення задач ідентифікації розвивався в роботах Іваненко О.Г., Горбаня А.Н., Круглова В.В., Бодянського Є.В., Руденка О.Г., Billings S.A., Brown M., Harris C.J., Isermann R., Lewis F.L., Liu G.P., Narendra K.S., Nelles O., H. Wang та інших вчених. Серед існуючої на цей час великої кількості мережевих структур для ідентифікації нелінійних динамічних об'єктів, як правило, використовують багатошаровий персептрон, радіально-базисні, узагальнено-регресійні та нейро-фаззі мережі. Усі ці структури засновані на апроксимації нелінійного оператора перетворення вхідних сигналів у вихідний деякою системою базисних функцій. При цьому досліджуваний об'єкт представляється у вигляді нейронної мережі, що містить крім вхідного і вихідного один або кілька схованих шарів. Кожний із шарів складається з визначеної кількості нейронів, що реалізують задану базисну функцію (функцію активації).

Задача ідентифікації зводиться до навчання мережі на основі пред'явлення навчаючих пар, якими служать вимірювані значення вхідних і відповідних вихідних змінних.

У зв'язку з цим актуальною задачею є розробка методів і алгоритмів побудови нейромережевих моделей, що володіють підвищеною швидкістю навчання та здатні функціонувати в умовах апріорної і поточної невизначеності щодо властивостей досліджуваного об'єкта і перешкод. Впровадження результатів дисертаційної роботи буде сприяти підвищенню рівня комп’ютерних інтелектуальних технологій в Україні.

Зв’язок роботи з науковими програмами, планами, темами. Дисертаційну роботу виконано згідно з планом науково-дослідних робіт Харківського національного університету радіоелектроніки в рамках теми №ДР0197U0121130 "Розробка теоретичних основ та математичного забезпечення для адаптивних, нейро- і фаззі-систем керування з урахуванням обмежень на основі регуляторів, що параметрично оптимізуються", що входить до міжвузівської програми №9 "Методи обробки, технології розпізнавання зображень різної фізичної природи і синтезу систем керування в умовах невизначеності" координаційного плану Міністерства освіти і науки України, де пошукач брав участь як виконавець.

Мета і задачі дослідження. Метою дисертаційної роботи є розробка нейромережевих методів ідентифікації нелінійних динамічних об'єктів на основі багатошарового персептрона в умовах невизначеності щодо структури і параметрів досліджуваних об'єктів. Досягнення поставленої мети здійснюється вирішенням наступних основних задач:

- аналіз існуючих методів опису нелінійних динамічних об'єктів;

- розробка і дослідження нейромережевих моделей стаціонарних і нестаціонарних нелінійних динамічних об'єктів;

- розробка і дослідження нейромережевих моделей динамічних об'єктів, що описуються нелінійними рівняннями в просторі станів;

- синтез швидкодіючих алгоритмів навчання нейромережевих моделей з підвищеною швидкістю збіжності;

- дослідження питань підвищення обчислювальної стійкості рекурентних алгоритмів і розробка факторизованих алгоритмів навчання;

- розробка системи експериментального дослідження алгоритмів навчання нейромережевих моделей;

- імітаційне моделювання розроблених моделей і алгоритмів і рішення з їхньою допомогою реальних практичних задач.

Об’єкт дослідження - нелінійні динамічні об'єкти, що функціонують в умовах апріорної і поточної невизначеності про властивості об'єктів і діючих на них завад.

Предмет дослідження - нейромережеві моделі, побудовані на основі багатошарового персептрона.

Методи дослідження: теорія штучних нейронних мереж, що дозволила синтезувати нейромережеві моделі і вибрати алгоритми їхнього навчання; теорія оптимальності, за допомогою якої були синтезовані алгоритми навчання, що мають підвищену швидкість збіжності; теорія фільтрації і теорія оцінювання, що дозволили побудувати нейромережеві моделі в просторі станів на основі фільтра Калмана; теорія стійкості, теорія матриць і методи обчислювальної математики, за допомогою яких була досліджена стійкість алгоритми навчання і синтезовані факторизовані алгоритми; імітаційне моделювання, що підтвердило ефективність отриманих результатів і дозволило виробити рекомендації з їхнього практичного використання.

Наукова новизна результатів дисертаційної роботи полягає в наступному:

- вперше запропоновані рекурентні обчислювальні алгоритми навчання багатошарового персептрона на основі поширеного фільтра Калмана, що забезпечують одержання незміщених оцінок параметрів мережі при наявності завад вимірів;

- отримали подальший розвиток методи навчання градієнтного типу, що забезпечують одержання незміщених оцінок при наявності шумів у вхідному сигналі і характеризуються меншою обчислювальною складністю в порівнянні з відомими алгоритмами нелінійної оптимізації другого порядку;

- отримали подальший розвиток багатокрокові проекційні алгоритми навчання ШНМ, які використовують обмежену кількість інформації, і розроблені їхні факторизовані форми, що забезпечує істотне скорочення і стійкість процесу навчання мереж;

- вперше отримані нейромережеві моделі в просторі станів, що дає можливість застосувати для їхнього навчання добре розвинуті методи оптимізації;

- отримало подальший розвиток алгоритмічне забезпечення моделюючого середовища IntelligentPad, що дозволяє ефективно досліджувати задачі оцінювання.

Практичне значення одержаних результатів. Розроблені та досліджені методи і алгоритми побудови нейромережевих моделей нелінійних динамічних об'єктів і алгоритми навчання реалізовані у виді пакета програм для вирішення задач ідентифікації нелінійних об'єктів у реальному часі. Використання створених елементів математичного і програмного забезпечення дозволяє за рахунок економії часу на одержання адекватних математичних моделей скоротити енергетичні й обчислювальні витрати на дослідження реальних об'єктів, забезпечити підвищення якості керування і прогнозування їхньої поведінки. Результати використовуються у Державному науково-дослідному та проектному інституті основної хімії “НІОХІМ” при оптимізації роботи відділень виробництва кальцинованої соди, у Мерефянській центральній районній лікарні при створенні інформаційно-довідкової системи "Біохімічний і імунологічний аналіз крові", а також у навчальному процесі при підготовці курсів “Нейронні обчислювальні структури” і “Моделювання систем” на кафедрі ЕОМ Харківського національного університету радіоелектроніки

Особистий внесок здобувача. Всі основні результати отримано автором самостійно. В роботах, що опубліковано у співавторстві, здобувачу належать: в [1], [5] - вибір та обґрунтування проекційного алгоритму навчання багатошарового персептрону; в [2], [6] - синтез алгоритмів навчання багатошарового персептрону у середовищі IntelligentPad; в [3] - розробка програмного комплексу для моделювання алгоритмів параметричної ідентифікації у середовищі IntelligentPad; в [4], [11] - вибір архітектури нейронних мереж для аналізу біологічних об’єктів; в [8] - розробка методики моделювання у середовищі IntelligentPad; в [9] - розробка алгоритмів навчання нейро-фаззі мережі; в [10] - вибір алгоритму прийняття рішення у задачі планування ремонтних робіт.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на 4-й Міжнародній конфе-ренції з автоматичного керування “Автоматика-99” (Харків, 1999р.); 5-му Міжнародному молодіжному форумі "Радиоэлектроника и молодежь в XXI веке" (Харків, 2001р.), на Міжнародній науково-практичній конференції "Інформаційні технології: наука, техніка, технологія, освіта, здоров'я" (Харків, 2002р.), на 6-й, 7-й і 8-й Міжнародних конференціях "Теорія і техніка передачі, прийому й обробки інформації" (Туапсе-Харків, 2000р., 2001р., 2002р.).

Публікації. За темою дисертації видано 11 друкованих робіт: 4 статті в збірниках наукових праць, які увійшли до переліку ВАК України, 5 матеріалів конференцій, 2 тези доповідей.

Структура та обсяг роботи. Дисертація складається з вступу, п’яти розділів, висновків, списку використаних джерел, що містить 106 найменувань, 2 додатків. Робота містить 63 ілюстрації, 2 таблиці. Загальний обсяг роботи складає 183 сторінки, у тому числі 149 сторінок основного тексту.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність дисертаційної роботи, сформульовано основну мету і завдання досліджень, наведено відомості про зв’язок обраного напрямку досліджень із планами організації, де виконана робота. Дано стислу анотацію отриманих в дисертації рішень, відзначено їхню практичну цінність, наведено дані про використання результатів проведених досліджень у народному господарстві.

У першому розділі наводиться огляд існуючих методів математичного опису нелінійних динамічних об’єктів та розглядаються загальні принципи вирішення задачі ідентифікації за допомогою штучних нейронних мереж. Розглянуто класичні моделі Урисона, Вінера, Гаммерштейна, нелінійний опис у просторі стану, узагальнені моделі NARMAX (Nonlinear ARMAX), NARX (Nonlinear ARX) та їхні різні модифікації. Проаналізовано особливості побудови нейромережевих моделей, пов’язані з принципом формування вихідного сигналу моделі та вибором відповідної структури нейронної мережі.

Із існуючої у даний час великої кількості мережевих структур для ідентифікації нелінійних динамічних систем в основному використовують три типи статичних штучних нейронних мереж: багатошаровий персептрон, радіально-базисні і стохастичні (узагальнено-регресійні мережі). Усі ці структури засновані на апроксимації нелінійного оператора перетворення вхідних сигналів у вихідний деякою системою базисних функцій |

(1)

де - вагові параметри мережі; - узагальнений вектор вхідних сигналів мережі; n, m – порядки запізнювання по вхідному та вихідному каналах об’єкта відповідно; k = 0, 1, 2, ... – дискретний час.

При цьому досліджуваний об'єкт представляється у вигляді нейронної мережі, що містить крім вхідних і вихідного один або кілька схованих шарів, кожний з яких складається з визначеної кількості нейронів, які реалізують задану базисну функцію (функцію активації).

Ці нейронні мережі, що найбільш часто використовуються в задачах апроксимації та ідентифікації, хоча й мають подібні апроксимуючі властивості, потребують для своєї реалізації різного об’єму апріорної інформації та різних обчислювальних витрат. Аналіз властивостей ШНМ свідчить про ефективність застосування для вирішення задачі ідентифікації мережі персептронного типу. Показана еквівалентність представлення нелінійних моделей, що описуються традиційними співвідношеннями вхід/вихід, багатошаровим персептроном (БШП). Наведення результатів свідчать про те, що використання персептрона тільки з одним схованим шаром дозволяє одержати адекватний математичний опис нелінійного об’єкта, який має будь-яку степінь нелінійності. При цьому структура мережі залишається тією ж, змінюються тільки сигнали, що подаються на її вхід. Еквівалентність традиційних моделей та моделі у вигляді ШНМ обумовлює можливість використання для визначення параметрів мережі добре розвинутих традиційних методів оцінювання.

На підставі проведеного аналізу особливостей побудови математичних моделей за допомогою ШНМ сформульовано задачі наукового дослідження.

Другий розділ присвячено питанням нейромережевої ідентифікації стаціонарних нелінійних динамічних об’єктів.

У зв’язку з тим, що процес навчання персептрону є ітеративним, на кожній ітерації якого корегуються його вагові коефіцієнти на підставі деякого енергетичного функціоналу, виникає важлива задача вибору цього функціоналу. Аналізуються як квадратичний функціонал, який найбільш часто використовується, так і альтернативні (функціонал похибки із взаємною ентропією та експоненційний функціонал), застосування яких дозволяє покращити характеристики збіжності алгоритмів навчання. Розглядаються існуючі алгоритми навчання БШП. Проаналізовано різні алгоритми навчання, які використовують обчислення градієнта енергетичного функціонала (традиційний алгоритм зворотного розповсюдження та його різні модифікації, алгоритм стохастичної апроксимації, алгоритм Уідроу-Хоффа, метод Ньютона, алгоритм Левенберга-Марквардта). В термінах аналізу динаміки навчання і локальні, і “часові” мінімуми тісно пов’язані з наявністю надмірних схованих нейронів. Тому важливою є задача вибору ефективної структури мережі. Наявність локальних мінімумів на поверхні похибки БШП не обов’язково призводить до погіршення процесу навчання. Вивчено особливості процесу навчання при наявності локальних екстремумів, плато та вузьких точок мінімума.

Використання квадратичного функціоналу та наявність інформації щодо властивостей сигналів дозволяє побудувати рекурентні обчислювальні алгоритми навчання багатошарового персептрона на основі поширеного фільтра Калмана. При цьому вагові параметри кожного нейрона корегуються наступним чином: |

(2) | (3) | (4) |

де y*(k) – вихідний сигнал об’єкта; – вихідний сигнал моделі; H(k) – матриця

- L-вимірний вектор параметрів об’єкта; М – вимірність вектора виходів мережі; ; Ki(k) – матриця підсилення Калмана i-го нейрона; ; S – кількість нейронів.

Розглянуто особливості обчислення матриці H(k), а також питання спрощення алгоритму (2) – (4) шляхом лінеаризації структури нейрона, що відповідає зворотному розповсюдженню похибки перед нелінійністю на відміну від (2) – (4), коли зворотно розповсюдженим є загальний вихід мережі. Розглянуто і загальний випадок нелінійних нейронов, коли проводиться лінеаризація нелінійності біля робочої точки.

У зв’язку з тим, що ідентифікація, як правило, виконується в умовах завад, розглянуто випадок, коли сигнали та вагові параметри вимірюються із завадами |

(5) | (6) |

де - завади; , , , ; - символ математичного сподівання.

Одержано алгоритм навчання, який є узагальненням (2) – (4), і доведена його збіжність.

У зв’язку з тим, що фільтр Калмана потребує багато апріорної інформації щодо сигналів та завад, а її відсутність значно знижує ефективність, пропонується підхід до оцінювання, який базується на використанні модифікованого квадратичного функціонала і є ефективним, коли із завадами вимірюються не тільки вихідні, а й вхідні сигнали об’єкта. При цьому вектор параметрів є рішенням задачі оптимізації

, | (7) | де

- похибки вимірювань сигналів y(k) та u(k) відповідно.

Вирішення задачі (7) здійснюється за допомогою наступних методів навчання градієнтного типу: |

(8)

(9)

де .

Використання алгоритмів (8), (9) дозволяє одержати незміщені оцінки при наявності шумів у вхідному сигналі.

У третьому розділі розглядаються питання нейромережевої ідентифікації нестаціонарних нелінійних динамічних систем. Задача побудови математичної моделі значно ускладнюється, якщо об’єкт, що досліджується, є нестаціонарним.

В роботі проаналізовано існуючі рекурентні алгоритми оцінювання нестаціонарних параметрів. У зв’язку з тим, що нейромережеві моделі за своєю структурою відрізняються від традиційних моделей, для їхнього навчання неможливо застосовувати алгоритми, які використовують інформацію про дрейф параметрів або його параметризацію. Розглянуто основні алгоритми навчання, які базуються на методі найменших квадратів (МНК) та мають механізм оцінювання важливості інформації у вигляді параметра експоненційного зважування.

Аналіз існуючих алгоритмів показав, що на цей час не існує формалізованого підходу до вибору оптимального значення параметра зважування, яке б забезпечило максимальну швидкодію та точність алгоритмів в умовах завад. Розглянуто багатокрокові проекційні алгоритми навчання ШНМ, які використовують для корекції оцінок обмежену кількість вимірювань та являють собою багатовимірні екпоненційні фільтри з випадковими параметрами, властивості яких обумовлені випадковістю сигналів та завад

, | (10) |

де – матриця похідних розмірності ;

– вектор неузгодженостей виходів об'єкта і мережевої моделі; – параметр навчання; s – пам’ять алгоритма.

Розглянуто рекурентну форму алгоритма (10), в якій операція обертання матриці замінена операцією її потактового обчислення |

(11) | (12) |

де .

Матриця в свою чергу обчислюється рекурентно наступним чином: |

(13) |

На перших кроках оцінювання глибина пам’яті s є змінною, тому корекція параметрів здійснюється за схемою

, | (14) | (15) |

Однак наявність при рекурентному обчисленні матриць спостережень операції віднімання призводить з ростом кількості вимірювань до чисельної нестійкості алгоритму навчання. З метою підвищення обчислювальної стійкості і усунення незбіжності алгоритмів розроблено їхні факторизовані форми, які використовують ортогональні перетворення Хаусхолдера, Холеського та Грама-Шмідта. Одержано відповідні алгоритми та проведено їх порівняльний аналіз. Показано, що побудова алгоритму (10) відповідає модифікованій процедурі Грама-Шмідта, але більш ефективним з точки зору економії пам’яті є використання перетворення Хаусхолдера.

Четвертий розділ присвячено нейромережевій ідентифікації динамічних об’єктів, які описуються нелінійними рівняннями в просторі станів |

(16) |

де - вхідний вектор; - вихідний вектор; - вектор станів; - завади з властивостями |

(17) |

де - символ Кронекера.

При відсутності завад модель може бути обраною як предиктор, а при їх наявності використовується або поширений фільтр Калмана, або предиктор в породженій формі. Нейромережева параметризація цих моделей при використанні нейронів з активаційними функціями типу гіперболічного тангенсу дозволяє отримати наступні нейромережеві моделі в просторі станів:

для предиктора – |

(18) |

для поширеного фільтра Калмана – |

(19) |

для предиктора у породженій формі –

|

(20) |

де - матриця вагових коефіцієнтів, які отримуються у результаті апроксимації вектора стану; - вектор спостереження; - відповідно матриці стану, керування, спостереження і завад; - матриця помилок; - вектор зсувів відповідних нейронів.

Задача побудови мережевої моделі складається у визначенні її векторних і матричних параметрів W та V і має для моделей (18) – (20) відповідно вигляд

,

де - параметри нейромережевої параметризації матриць .

Слід визначити, що моделі (18)-(20) не є мінімальними. Розглянуто можливості скорочення числа параметрів шляхом використання або нелінійної трансформації моделі у просторі станів або канонічної форми. Крім того, можливо є часткова параметризація моделей. Однак немінімальна параметризація часто використовується на практиці, тому що дозволяє одержати зручні з обчислювальної точки зору алгоритми.

Розглянуто алгоритм навчання нейромережевих моделей як алгоритм ідентифікації детермінованого (18) та стохастичного (19), (20) об’єктів, в яких застосовується одержана в роботі модель чутливості. Цей алгоритм являє собою алгоритм динамічного зворотного розповсюдження. Показано, що значного спрощення обчислень можна досягти, якщо використати лінеаризацію нейромережевої моделі, яка може бути записаною у породженій формі. Одержані основні співвідношення для обчислення параметрів моделі.

Розглянуто питання про послідовне ускладнення структури нейромережевої моделі шляхом введення нових схованих нейронів з метою зменшення похибки ідентифікації.

П’ятий розділ присвячено імітаційному моделюванню та вирішенню практичних задач. Розглянуто особливості побудови та використання основних симуляторів ШНМ (SNNS 4.1, Trajan Neural Network Simulator 3.0, MATLAB 6.1, Neuro Pro 0.25) та проведено імітаційне моделювання алгоритм навчання персептрона за допомогою цих пакетів. В процесі моделювання було виявлено деякі недоліки цих симуляторів, серед яких слід визначити їх незручність при моделюванні процесів у реальному часі та при внесенні змін у процесі моделювання. Цих недоліків не має моделююча система, яка використовує як платформу для реалізації середовище візуального створення додатків IntelligentPad (IP). Механізм асинхронного виконання, простота реалізації обчислювальних алгоритмів за допомогою вбудованих мов програмування, висока продуктивність та сталість роботи, низькі вимоги до об’єму оперативної пам’яті забезпечують широкі можливості для моделювання об’єктів, що функціонують у реальному часі, і роблять IP більш зручною в порівнянні з популярною системою MATLAB/SIMULINK. IP має досить великий набір педів (PAD), які являють собою візуалізовану частину програми, що створюють для вирішення конкретних задач розробки. В роботі було створено алгоритмічне забезпечення IP, яке реалізовано у програмному комплексі PIA (Parametric Identification Algorithms), що є композитним педом, представленим окремим компонентом на панелі композитних педів і який дає можливість користувачу вибрати необхідний алгоритм навчання. Крім того, розроблено ряд педів для поширення математичних і управляючих функцій ШНМ, зокрема педи функцій активацій purelin, hardlim, logsig для масивів даних, генератора масиву випадкових даних для ініціалізації ваг персептрона, пед додавача та модель персептрона (рис. 1).

На рис. 2 показано вікно для моделювання та результати моделювання процесу навчання персептрону за алгоритмом Уідроу-Хоффа.

На основі результатів моделювання проведено порівняльний аналіз запропонованих методів побудови нейромережевих моделей нелінійних динамічних об’єктів з існуючими та зроблено висновок про доцільність застосування розроблених методів та алгоритмів при вирішенні практичних задач.

Результати проведених досліджень були використані у Державному науково-дослідному та проектному інституті основної хімії "НІОХІМ" (м. Харків) при створенні автоматизованої системи управління технологічними процесами виробництва кальцированої соди та у Мерефянській центральній районній лікарні при створенні інформаційно-довідкової системи "Біохімічний і імунологічний аналіз крові".

У висновках стисло сформульовано основні наукові та практичні результати дисертаційної роботи.

У додатку наведені акти про впровадження результатів дисертаційної роботи.

Рис. 1. Розроблені педи

Рис. 2. Вікно моделювання алгоритму Уідроу-Хоффа

ВИСНОВКИ

У дисертаційній роботі наведено результати, які, у відповідності з метою дослідження в сукупності є вирішенням актуальної наукової задачі – створенню нових інтелектуальних обчислювальних засобів і методів ідентифікації нелінійних динамічних об’єктів в умовах апріорної і поточної невизначеності щодо властивостей досліджуваних об’єктів і діючих на нього завад. Вирішення цієї задачі має велике значення для створення ефективного математичного забезпечення систем автоматизованого та автоматичного керування та обробки інформації в реальному часі. У результаті вирішення сформульованої задачі отримані наступні основні результати.

1. Розглянуто методи математичного опису нелінійних динамічних об'єктів і проведено аналіз основних принципів побудови моделей NARMAX, NARX і структур нейромережевих моделей. Вивчено основні типи ШНМ, які використовуються при ідентифікації нелінійних динамічних об'єктів, проаналізовані їхні позитивні якості та недоліки. Показано, що одним з найбільш ефективних є застосування ШНМ персептронного типу, навчання якої є можливим з використанням добре розвинутого математичного апарата вирішення задач оптимізації.

2. Проаналізовано задачу вибору енергетичного функціонала мережі, який мінімізується і на підставі якого відбувається навчання БШП. Вивчено особливості протікання процесу навчання при наявності локальних екстремумів, плато і вузьких точок мінімуму. Проведено аналіз існуючих алгоритмів настроювання параметрів БШП і синтезовано рекурентний алгоритм його навчання на основі поширеного фільтра Калмана, який забезпечує одержання незміщених оцінок параметрів мережі при наявності завад вимірів. Розглянуто способи обчислення матриці градієнтів і запропоновано спрощене її обчислення з використанням лінеарізованої структури нейрона. Отримані рекурентні алгоритми навчання БШП, що враховують нелінійність нейронів.

3. Проведено аналіз алгоритмів навчання БШП при наявності у вимірах завад. Показано, що присутність завад у вихідному сигналі не приводить до зсуву одержуваних оцінок і порушенню збіжності алгоритму. Для побудови алгоритму навчання у випадку наявності перешкод у вхідному сигналі запропоновано модифікований квадратичний функціонал і отримано методи навчання градієнтного типу, які забезпечують одержання незміщених оцінок і характеризуються меншою обчислювальною складністю в порівнянні з відомими алгоритмами нелінійної оптимізації другого порядку.

4. Проведено аналіз алгоритмів навчання БШП, в основі яких лежать різні модифікації МНК, при ідентифікації нестаціонарних динамічних об'єктів. Показано, що основною проблемою, яка виникає при реалізації рекурентного МНК з експонентним зважуванням, який застосовується найбільш часто, є проблема вибору коефіцієнта зважування інформації. Запропоновано здійснювати навчання БШП за допомогою багатокрокових проекційних алгоритмів, які використовують обмежену кількість інформації, що забезпечує істотне скорочення і стійкість процесу навчання мереж. З метою поліпшення обчислювальних властивостей даних алгоритмів і стійкості процесу навчання розроблені їх факторизовані форми, засновані на ортогональних перетвореннях Холеського, Хаусхолдера й ортогоналізації Грамма-Шмідта.

5. Розглянуто опис нелінійного динамічного об'єкта за допомогою предикторів на основі фільтра Калмана. Отримано нейромережеві моделі у просторі станів. У зв'язку з тим, що для навчання цих моделей використовуються алгоритми градієнтного типу, отримані співвідношення для моделей чутливості, що є основою для реалізації динамічного алгоритму зворотного поширення. Здійснено лінеаризацію нелінійних нейромережевих моделей, яка служить початковою апроксимацією і ускладнюється послідовно з одержанням нової інформації. Отримано основні співвідношення для визначення матричних і векторних параметрів, які входять в опис моделі. Розглянуто питання про послідовне ускладнення структури моделі шляхом уведення нових схованих нейронів з метою зменшення помилки ідентифікації.

6. Проведено аналіз основних симуляторів ШНМ, відзначені їхні переваги і недоліки. Показано доцільність розвитку інтегрованого середовища розробки IntelligentPad, що забезпечує новий шлях створення комп'ютерних програм. Отримало подальший розвиток алгоритмічне забезпечення моделюючого середовища IntelligentPad, що дозволяє ефективно досліджувати задачі оцінювання. Розроблено композитний PAD, який являє собою програмний комплекс параметричного оцінювання і значно спрощує процес дослідження рекурентних алгоритмів навчання. Проведено імітаційне моделювання різних алгоритмів навчання БШП за допомогою MATLAB 6.1, Trajan Neural Network Simulator 3.0 і в середовищі IntelligentPad.

Розроблені в дисертації методи й алгоритми були застосовані при побудові математичних моделей технологічних процесів відділення абсорбції-десорбції виробництва кальцинованої соди і при проведенні спробної класифікації біохімічних досліджень крові, що використовується для прогнозування впливу вітамінно-мінерального комплексу на біохімічні процеси в організмі людини.

СПИСОК ПРАЦЬ, ЩО ОПУБЛІКОВАНІ АВТОРОМ

ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

АНОТАЦІЯ

Лавриненко К.А. Нейромережева ідентифікація нелінійних динамічних об’єктів на основі багатошарового персептрону. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Харків, 2004.

Дисертаційна робота присвячена вирішенню проблеми нейромережевої ідентифікації нелінійних динамічних об'єктів на основі багатошарового персептрона в умовах апріорної і поточної невизначеності щодо властивостей досліджуваних об'єктів і діючих на нього завад.

Нейромережеві моделі реалізовано на основі багатошарового персептрона (БШП). Проаналізовано існуючі алгоритми настроювання параметрів БШП і синтезовано алгоритм його навчання на основі поширеного фільтра Калмана. Проведено аналіз алгоритмів навчання БШП при наявності перешкод вимірів. Запропоновано здійснювати навчання БШП за допомогою багатокрокових проекційних алгоритмів, що використовують обмежену кількість інформації. З метою поліпшення обчислювальних властивостей даних алгоритмів і стійкості процесу навчання розроблені їх факторизовані форми. Розглянуто опис нелінійного динамічного об'єкта за допомогою предикторів на основі фільтра Калмана і отримано відповідні структури нейромережевих моделей у просторі станів. Проведено імітаційне моделювання різних алгоритмів навчання БШП за допомогою MATLAB 6.1, Trajan Neural Network Simulator 3.0 і в середовищі IntelligentPad.

Достовірність результатів підтверджується впровадженнями.

Ключові слова: нейромережева модель, багатошаровий персептрон, навчання, ідентифікація, нелінійний динамічний об’єкт, фільтр Калмана.

АННОТАЦИЯ

Лавриненко К.А. Нейросетевая идентификация нелинейных динамических объектов на основе многослойного персептрона. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 – системы и методы искусственного интеллекта. – Харьковский национальный университет радиоэлектроники, Харьков, 2004.

Диссертационная работа посвящена решению проблемы нейросетевой идентификации нелинейных динамических объектов на основе многослойного персептрона в условиях априорной и текущей неопределенности относительно свойств исследуемых объектов и действующих на него помех.

Рассмотрены методы математического описания нелинейных динамических объектов и проведен анализ основных принципов построения моделей NARMAX, NARX и структур нейросетевых моделей. Изучены основные типы искусственных персептронных сетей (ИНС), которые используются при идентификации нелинейных динамических объектов, проанализированы их достоинства и недостатки. Показано, что одним из наиболее эффективных является применение ИНС персептронного типа, обучение которой является возможным при использовании хорошо развитого математического аппарата решения задач оптимизации.

Проанализирована задача выбора минимизируемого энергетического функционала сети, на основании которого происходит обучение МСП. Изучены особенности протекания процесса обучения при наличии локальных экстремумов, плато и узких точек минимума. Проведен анализ существующих алгоритмов настраивания параметров МСП и синтезирован алгоритм его обучения на основе расширенного фильтра Калмана. Рассмотрены способы вычисления матрицы градиентов и предложено упрощенное ее вычисление с использованием линеаризованной структуры нейрона. Получены рекуррентные правила обучения МСП, которые учитывают нелинейность нейронов.

Проанализированы алгоритмы обучения МСП при наличии помех измерений, и показано, что присутствие помех в выходном сигнале не приводит к смещению получаемых оценок и нарушению сходимости алгоритма. Для построения алгоритма обучения в случае наличия помех во входном сигнале предложен модифицированный квадратичный функционал и получены градиентные алгоритмы его минимизации, обеспечивающие несмещенность оценок.

Проведен анализ алгоритмов обучения МСП, в основе которых лежат разные модификации метода наименьших квадратов (МНК), при идентификации нестационарных динамических объектов. Показано, что основной проблемой, возникающей при реализации наиболее часто используемого на практике рекуррентного МНК с экспоненциальным сглаживанием, является проблема выбора коэффициента взвешивания информации. Предложено осуществлять обучение МСП с помощью многошаговых проекционных алгоритмов, которые используют ограниченное количество информации, и рассмотрены их свойства. С целью улучшения вычислительных свойств данных алгоритмов и устойчивости процесса обучения разработаны их факторизованные формы, основанные на ортогональных преобразованиях Холесского, Хаусхолдера и ортогонализации Грамма-Шмидта.

Рассмотрено описание нелинейного динамического объекта с помощью предикторов на основе фильтра Калмана и предложены соответствующие структуры нейросетевых моделей в пространстве состояний. В связи с тем, что для обучения этих моделей используются алгоритмы градиентного типа, получены соотношения для моделей чувствительности, которые служат основой для реализации динамического алгоритма обратного распространения. Осуществлена линеаризация нелинейных нейросетевых моделей, которая является начальной аппроксимацией и усложняется последовательно по мере поступления новой информации. Получены основные соотношения для определения матричных и векторных параметров, используемых в описании модели. Рассмотрен вопрос последовательного усложнения структуры модели путем введения новых скрытых нейронов с целью уменьшения ошибки идентификации.

Проведен анализ основных симуляторов МСП, отмечены их преимущества и недостатки. Показана целесообразность развития интегрированной среды разработки IntelligentPad, предлагающей новый путь создания компьютерных программ. Разработан композитный PAD, представляющий собой программный комплекс параметрического оценивания и значительно упрощающий процесс исследования рекуррентных алгоритмов обучения. Проведено имитационное моделирование различных алгоритмов обучения МСП с помощью MATLAB 6.1, Trajan Neural Network Simulator 3.0 и в среде IntelligentPad.

Разработанные в диссертации методы и алгоритмы были применены при построении математических моделей технологических процессов отделения абсорбции-десорбции производства кальцированной соды (ПКС) и при проведении пробной классификации биохимических исследований крови, которая используется для прогнозирования влияния витаминно-минерального комплекса на биохимические процессы в организме человека.

Достоверность полученных результатов диссертационной работы подтверждается экспериментальными исследованиями и результатами внедрения.

Ключевые слова: нейросетевая модель, многослойный персептрон, идентификация, нелинейный динамический объект, фильтр Калмана.

ABSTARCT

Lavrinenko K.A. Neural network identification of nonlinear dynamic plants on the multilayer perceptron basis. – Manuscript.

Thesis for a candidate of technical sciences degree by specialty 05.13.23 - systems and methods of artificial intelligence. – Kharkiv National University of Radio Electronics, Kharkiv, 2004.

The thesis is devoted to the solution of neural network identification problem for nonlinear dynamic plants. The solution is based on the multilayer perceptron in apriori and flowing indeterminacy conditions concerning researched plants and influencing noises properties.

Neural network models are realized on the multilayer perceptron (MLP) basis. The existing procedures of MLP parameters adjustment are analysed and the algorithm of its learning is synthesized on the basis of the spread Kalman filter. The analysis of MLP learning procedures is effected at presence of measurement noises. Is offered to realize MLP learning with the help of multistage projective procedures, which use a circumscribed amount of the information. With the purpose of improving computing properties of the given procedures and resistance of learning process are developed them factorized form. The exposition of nonlinear dynamic plant with the predictors help is considered on the basis of a Kalman filter and the appropriate neural network models in spacious condition are obtained. Is carried out a simulation of different learning MLP algorithms with the help MATLAB 6.1, Trajan Neural Network Simulator 3.0 and IntelligentPad.

The reliability of outcomes proves to be true by introductions.

Keywords: neural network model, multilayer perceptron, learning, identification, nonlinear dynamic plant, Kalman filter.