НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ

НАЦІОНАЛЬНЕ КОСМІЧНЕ АГЕНТСТВО УКРАЇНИ

ІНСТИТУТ КОСМІЧНИХ ДОСЛІДЖЕНЬ

БЕРАДЗЕ Майя Сашураївна

УДК 519.853.+517.977.5

ОПТИМАЛЬНЕ КЕРУВАННЯ ДЛЯ ДЕЯКИХ СИСТЕМ

НЕЙРОМЕРЕЖНОГО ТИПУ

01.05.04 - "Системний аналіз і теорія оптимальних рішень"

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата фізико-математичних наук

Київ-2002

Дисертацією є рукопис.

Робота виконана в Навчально-науковому комплексі "Інститут прикладного системного аналізу" Міністерства освіти і науки України та НАН України.

Науковий керівник доктор фізико-математичних наук МАКАРЕНКО Олександр Сергійович професор кафедри Математичних методів системного аналізу Навчально науковий комплекс "Інститут прикладного системного аналізу" НАН та Міносввіти України

Офіційні опоненти:

доктор фізико-математичних наук, професор ЛАДІКОВ-РОЄВ Юрій Павлович, провідний науковий співробітник Інституту космічних досліджень НАН та НКА України

кандидат фізико-математичних наук ОХРІМЕНКО Михайло Гаврилович, доцент кафедри Математичного моделювання економічних систем НТУУ "КПІ"

Провідна установа:

Інститут кібернетики імені В.М. Глушкова, м. Київ, НАНУ

Захист відбудеться 13.03.2002 р. о 15 годині на засіданні

спеціалізованої вченої ради Д 26.205.01 при Інституті космічних досліджень НАНУ та НКА, 03187, Київ-187, проспект Академіка Глушкова, 40.

З дисертацією можна ознайомитись у бібліотеці Інституту космічних досліджень НАНУ та НКАУ проспект Академіка Глушкова, 40.

Автореферат розісланий 12.02.2002р.

Вчений секретар спеціалізованої вченої ради Зєлик Я.І.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА ДИСЕРТАЦІЙНОЇ РОБОТИ

Актуальність теми. На сучасному етапі велика увага приділяється розв’язанню складних економічних та екологічних проблем, проблем перенаселення, вичерпання природних ресурсів, стабілізації політичних та економічних відносин та ін. Розв’язання таких проблем вимагає розвитку нових математичних підходів і відповідних моделей. Тому, останнім часом, все більш актуальними стають питання моделювання, дослідження та керування великими системами, в тому числі соціальними.

Соціальні системи, як відомо з робіт М.З. Згуровского, С.В. Левкова, О.С. Макаренка, А.В. Доброногова, можуть бути описани моделями нейромережного типу (спінова модель Ізінга, нейромережна модель Хопфілда).

У численних роботах закордонних авторів по дослідженню нейронних мереж, наприклад, Haykin S., Kьhn R., Bцs S., Hemmen J.L., Markus C.M., Waugh F.R., Feng J., Hadeler K.P. у різних аспектах розглядалися дискретні нейромережі і відповідні неперервні континуальні аналоги. Зокрема, шляхом їхнього паралельного розгляду проводилися якісні дослідження деяких найпростіших нейронних мереж, аналітично і чисельно вивчався і проводився статистично механічний аналіз нейронних мереж із сигмоїдальною та кусково-лінійними активаційними функціям і ін.

Нові нейромережні моделі з асоціативною памяттю були застосовані до дослідження суспільних процесів та прогнозування міжнародних відносин. При дослідженні великих суспільних систем, зокрема геополітичних чи економічних відносин, виникають задачі прийняття оптимальних рішень та обробка інформації. Необхідність прийняття оптимальних рішень в таких системах з метою поліпшення їх функціонування вимагає вибору оптимальних варіантів керування серед різних можливих. Тому актуальною є постановка та розвя’зання задач оптимізації та системного аналізу для систем, що описуються моделями нейромережного типу. Така постановка задач важлива також з точки зору подальшого розвитку загальної теорії нейронних мереж.

У роботі використовується, метод В.Ф.Кротова, застосований та формалізований на основі алгоритму методу Гамільтона-Якобі-Беллмана, що дає можливість отримання аналітичних розв'язків задач оптимального керування для нелінійних систем нейромережного типу. Це забезпечує дослідження оптимальних процесів для вибраних систем в залежності від часової змінної та від деяких параметрів.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась згідно з планами наукових досліджень ННК "ІПСА" в рамках держбюджетної теми 22.15 "Геоінформаційні і нейромережні методи в прямих та обернених задачах екологічного моніторингу", номер держ. реєстр. №0100U004494.

Мета і задачі дослідження. Метою роботи є аналітичний розв`язок класу задач оптимізації для систем нейромережного типу з нелінійною динамікою з різними критеріями якості та дослідження поведінки оптимального керування та оптимальної траєкторії, в залежності від різних параметрів та часової змінної.

Для досягнення мети в роботі розв'язується наступні задачі.

Постановка загальних задач оптимального керування для складних систем з ієрархічною структурою, однорівневих нелінійних та одновимірних кусково-лінійних динамічних систем;

Розв'язання задач оптимального керування для нейромережних систем, доведення існування оптимального процесу та отримання аналітичних виразів для нього.

Дослідження систем з обмеженням на керуючі впливи.

Розв'язання задач оптимального керування для кусково-лінійних систем з одним та декількома параметрами. Доведення існування оптимального процесу та отримання аналітичних виразів для нього.

Наукова новизна одержаних результатів. Розглянуті можливі постановки оптимізаційних задач для нових предметних областей — для систем нейромережного типу.

Вперше запропоновано постановку оптимізаційних задач для нової предметної області — систем нейромережного типу.

Для нейромережних систем вперше застосовано метод Кротова.

Вперше доводяться теореми існування оптимальних процесів для нелінійних систем нейромережного типу.

Вперше отримано аналітичні вирази оптимальних процесів для нелінійних систем нейромережного типу, що дає змогу дослідити оптимальну поведінку систем.

Наведені результати вказують шлях до дослідження загальних багатовимірних лінійних та кусково-лінійних систем та дозволяють розглядати оптимальне керування для систем з хаотичною поведінкою.

Практична цінність результатів роботи. Отримані результати можуть бути використані при розробці наближених моделей для отримання оцінок в геополітичних системах; дають можливість розглядати питання керування соціо-економічними процесами на макрорівні і можуть бути використані в задачах по дослідженню систем, які мають властивості асоціативної пам'яті, для прогнозування оптимального стану системи.

Особистий внесок здобувача. Основні результати дисертаційної роботи отримані автором самостійно. В роботах, опублікованих з співавторами здобувачем поставлені оптимізаційні задачі для моделей нейромережного типу [1]; в [2] — описано динаміку моделі та проведено інтерпретацію деяких результатів; в [3] — поставлено задачу оптимального керування для ієрархічно побудованої системи, з властивістю асоціативної пам`яті; в [4] — для -елементної керованої динамічної системи поставлено задачу оптимального керування та доведено теорему про існування оптимального процесу, отримано аналітичний вираз для оптимального процесу; в [5] — поставлено загальну задачу оптимального керування та проведено інтерпретацію деяких результатів.

Апробація результатів дисертації. Основний матеріал роботи пройшов апробацію на семінарах, міжнародних конференціях та симпозіумах: науковий семінар ІПСА НАН України "Системний аналіз та інформаційні технології", 2001р.; семінар кафедри "Математичного моделювання економічних систем" (НТУУ "КПІ"), 2001р.; міжнародна конференція "Автоматика-99", Харків, 1999р.; міжнародна конференція "Автоматика-2000", Львів, 2000р.; міжнародна конференція "Моделювання та оптимізація складних систем" (МОСС-2001), Київ, 2001р.; третя міжнародна конференція студентів, аспірантів та молодих вчених "Системний аналіз та інформаційні технології", Київ, 2001р.; міжнародний симпозіум “Питання оптимізації обчислень”, Кацівелі, 2001р.; IFAC conference SWIIS 2000: "Instability resolution in regions of long confronted nations'', Ohrid, Republic of Macedonia, 2000y.

Публікації. Результати роботи опубліковані в 10 роботах, в тому числі в 6 статтях фахових виданнях та в 4 збірниках тез конференцій.

Структура та обсяг роботи. Дисертаційна робота складається із вступу, чотирьох розділів, загальних висновків, списку використаної літератури та додатку. Обсяг основною змісту дисертації — 149 сторінок, та містить 9 малюнків. Список використаної літератури складається з 140 найменувань.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи. Зазначено мету, задачу дослідження й основні напрямки її досягнення, наукову новизну, практичне значення та апробацію результатів.

У першому розділі проводиться огляд наукових праць, пов'язаних з темою дисертації, та аналіз переваг обраного методу, з яким проводиться досягнення мети роботи.

У другому розділі роз'ясняється нейромережна природа великих суспільних систем та приводяться підходи системного аналізу для дослідження їх. Поставлено загальні задачі оптимального керування для систем нейромережного типу, до яких приводять проблеми, що виникають при оптимізації процесів у великих суспільних системах.

Беручи за основу роботи по ієрархічним нейромережним моделям, описується структура -рівневої ієрархічної організованої динамічної системи і ставиться задача оптимального керування. Для однорівневої -елементної динамічної системи (яка є базовою для ієрархічних систем) і для одновимірної кусково-лінійної динамічної системи поставлені загальні задачі оптимального керування.

Розглядається багаторівнева ієрархічна система та ставиться задача оптимального керування для ієрархічно побудованої динамічної системи нейромережного типу, в дискретному часі та для континуальних аналогів в неперервному часі.

Нехай динаміка системи описується системою рівнянь

,

, , , , ,

де —часовий крок; , — кількість кластерів на -му рівні; , — число елементів -ого рівня, у -ому кластері -ого рівня; , — стан -ого елемента -ого рівня, що знаходить у -му кластері -ого рівня, у момент часу ; — сукупність станів елементів -ого рівня, у момент ; — вектор керованих зв'язків -ого елемента, із всіма іншими в -ому кластері -ого рівня, у момент ; — фіксований граничний потенціал -ого елемента -ого рівня, у момент часу , що приймає значення в множині ; — деякий неконтрольований фактор, що діє на -ому елементі (-й елемент -ого рівня з -рівневого -ого кластера); — нелінійна функція; — лінійний функціонал;

з початковими умовами: , і обмеженнями: , , , .

Ставиться задача: знайти оптимальний процес , де , що мінімізує функціонал якості . Для розглянутого класу задач, зокрема, досить загальним видом функціонала є

,

, — функціонал, визначений для кожного -ого рівня:

, ,

; .

Далі розглядається система, що функціонує в неперервному часі:

,

, , , , ,

з початковими умовами: , і обмеженнями: , , . Потрібно знайти оптимальний процес , де , що мінімізує функціонал якості

, , .

Поставлено задачі оптимізації для багатовимірної системи, при наявності монопольного керування і загальна задача оптимального керування для одновимірної системи з кусково-лінійною динамікою.

У третьому розділі поставлені і розв`язані задачі оптимального керування симетричними міжелементними зв'язками для -елементної монопольно керованої системи нейромережного типу, що еволюціонує з нелінійністю типу гіперболічного тангенса та сигмоідальної, з різними критеріями якості. Доводяться існування оптимального процесу на основі достатніх умов оптимальності В.Ф. Кротова. Отримано аналітичні вирази оптимального процесу. Поставлена і розв'язана задача оптимального керування для тривимірної сигмоідальної динамічної системи, з додаванням умов на зв'язки між елементами. Доводиться існування оптимального процесу з керуванням зв'язками між всіма елементами системи. Доводиться існування оптимального процесу для багатовимірної системи нейромережного типу з ненульовими пороговими потенціалами. Розв`язані задачі оптимального керування для одновимірних систем. Поставлено задачу оптимального керування для - вимірної сигмоідної дискретної динамічної системи, з обмеженнями на керовані зв'язки між елементами в системі. Отримано аналітичний вираз градієнта функціонала якості для цієї задачі та сформульовані необхідні умови оптимальності.

Розглядаються задачі оптимального керування для системи із сигмоідальною динамікою.

Теорема 1. Для задачі (1)-(3), при фіксованому номері елементу системи , існує оптимальний процес .

Розв'язується задача оптимального керування зв'язками в тривимірній динамічній системі.

Вимога врахування зовнішніх збурень приводить до необхідності включення в рівняння динаміки зовнішніх гальмуючих факторів. При побудові моделей таких ефектів звичайно використовують включення тих чи інших граничних членів у законах динаміки. У випадку нейромережних моделей з динамікою Хопфілдівського типу найбільш часто використовують два способи введення порога: шляхом введення адитивного члена або адитивної добавки у нелінійну частину динамічних рівнянь. Тому в роботі представлені результати дослідження оптимізаційних задач у системах із сигмоїдальною динамікою при наявності порогів двох типів. Ставиться задача оптимального керування:

Поставлені і розв`язані багатовимірна та одновимірна задачі для систем з динамікою нелінійності типу гіперболічного тангенса.

Поставлено задачу оптимального керування з обмеженнями на керування та визначається градієнт функціоналу. Сформульовані необхідні умови оптимальності.

У четвертому розділі поставлені та розв`язані задачі оптимального керування для одновимірної кусково-лінійної динамічної системи, з одним і з двома параметрами в моделі та для системи, яка керується мультиплікативно.

Отримано аналітичні вирази оптимального керування та оптимальної траєкторії.

Розглянуто задачу оптимального керування для однопараметричної моделі.

Доведена теорема про існування оптимального процесу для цієї задачі. Отримані аналітичні вирази оптимального керування та оптимальної траєкторії.

Розглянуто задачу для мультиплікативно керованої динамічної системи

Доводиться теорема про існування оптимального процесу та отриманні аналітичного виразу.

Доведено теорему про існування оптимального процесу для цієї задачі.

Проведено численні розрахунки і одержано графічні відображення оптимальних процесів.

ВИСНОВКИ

Робота присвячена постановці та розв'язанню задач оптимального керування для систем нейромережного типу на основі методу Кротова, який дає можливість отримання аналітичних рішень класу задач для нелінійних нейромережних систем.

1. У роботі розглянуто задачі оптимального керування для нових предметних областей, зокрема, для систем нейромережного типу. Поставлено загальні задачі оптимального керування для -рівневої і однорівневої -елементної динамічних систем, для -вимірної системи при монопольному керуванні і загальні задачі оптимального керування для одновимірної кусково-лінійної динамічної системи.

2. Вперше застосований метод В.Ф. Кротова до систем нейромережного типу. Для -елементної системи, що еволюціонує з сигмоідною і тангенс-гіперболічною динаміками, поставлені та розв'язані задачі оптимального керування зі зв'язками між елементами системи, з фіксованим номером керуючого елемента в системі; поставлена та розв'язується задача оптимального керування для тривимірної сигмоідної динамічної системи з додаванням умови на зв'язки між елементами; поставлені і зважуються задачі оптимального керування для одновимірної кусочно-лінійної динамічної системи, з одним та з двома параметрами в моделі і для системи, яка керується мультиплікативно.

3. Доводяться теореми існування оптимальних процесів для перерахованих задач, на основі достатніх умові оптимальності В.Ф. Кротова.

4. Отримано аналітичні вирази оптимальних процесів для динамічних систем Хопфілдівського типу, що дозволяють аналізувати поводження розглянутих оптимальних процесів в залежності від параметрів, початкових умов, структури системи та часової змінної. Вони можуть бути тестовими для задач оптимального керування при рішенні іншими методами.

5. Поставлено і розв'язані задачі оптимального керування для систем з ненульовими пороговими потенціалами, що дає можливість дослідження оптимального процесу нейромережних систем, з порогами.

6. Поставлено задачу оптимального керування для -вимірної сигмоідної динамічної системи, з обмеженнями на керовані зв'язки між елементами в системі. Отримано аналітичний вираз градієнта функціонала якості для цієї задачі. Сформульовано необхідні умови оптимальності.

ПЕРЕЛІК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Берадзе М.С., Макаренко А.С., Мнацаканян М.Р., Чикрий А.А. Задачи оптимального управления в региональной геополитике // Вестник Харьковского политехнического университета. -1999. -№72. - С. 8-12.

2. Берадзе М.С., Мнацаканян М.Р. Якісне дослідження одного класу математичних моделей регіональної геополітики // Наукові вісті НТУУ “КПІ”. -2000. -№1(9). - С. 107-110.

3. Берадзе М.С., Макаренко А.С., Мнацаканян М.Р. Новые задачи в моделировании больших иерархически построенных систем // Труды Междунар. конф. "Автоматика -2000". -Том. 1. -Львов. -2000. - С. 58-61.

4. Берадзе М.С., Мнацаканян М.Р. Керування в моделях нейромережного типу // Наукові вісті НТУУ “КПІ”. -2001. -№2. - С. 25-30.

5. Берадзе М.С., Мнацаканян М.Р. Свойства управляемых систем с многозначностью, описываемых оператором типа Гаммерштейна // Проблемы управления и информатики. -2001. -№3. - С. 76-85.

6. Берадзе М.С. Задачі управління в системах нейромережного типу з кусково-лінійною динамікою //Наукові вісті НТУУ “КПІ”. -2001. -№4. - С. 39-43.

7. Берадзе М.С. Задачі керування в системах нейромережевого типу з кусково-лінійною динамікою // Комп'ютерна математика. Оптимізація обчислень. Сбірник наукових праць НАН України. Інститут кібернетики ім. В.М.Глушкова. -Київ, 2001. -Т.2. - С. 50-57.

8. Берадзе М.С., Мнацаканян М.Р Некоторые задачи управления в моделях нейросетевого типа // Праці Міжнар.конф "Моделювання та оптимізація складних систем". -Т.1. -Київ, -2001. - С. 147-148.

9. Макаренко А.С., Берадзе М.С. Задачі управління в системах з кусково-лінійною динамікою з двома параметрами, що допускають хаотичну поведінку // Збірка тез доповідей учасників III міжнародної науково-практичної конференції студентів, аспірантів та молодих вчених - “Системний аналіз та інформаційні технології”. Київ. -2001. - С. 86-89.

10. Beradze M., Laskovenko K., Levkov S., Makarenko A., Mnatsakaniani M., Samorodov E. Some approaches to instability consideration and resolutions in global and regional problems // Preprints IFAC International Workshop SWIIS 2000: "Instability resolution in regions of long confronted nations". Ohrid (Macedonia). -2000. - P. 71-71.

АНОТАЦІЇ

Берадзе М.С. Оптимальне керування для деяких систем нейромережного типу. — Рукопис.

Дисертація на здобуття наукового ступеня кандидата фізико-математичних наук за спеціальністю 01.05.04 — Системний аналіз та теорія оптимальних рішень. — Інститут космічних досліджень НАНУ та НКАУ, Київ, 2002р.

Дисертаційна робота присвячена дослідженню класу задач оптимального керування для нових моделей нейромережного типу. Для динамічних систем, еволюція яких описується за допомогою нелінійних функцій (сигмоідна функція, функція гіперболічного тангенса, кусочно-лінійні функції) поставлені і вирішені задачі оптимального керування. Доводиться існування оптимальних процесів для динамічних систем нейромережнего типу, з нульовими і ненульовими пороговими потенціалами, на основі достатніх умові оптимальності В.Ф. Кротова. Розглядається задача оптимального керування з обмеженнями на керування і сформульовані необхідні умови оптимальності. Доводиться існування оптимальних процесів для одновимірних кусочно-лінійних систем і отримані аналітичні вирази оптимальних процесів. Проведено чисельні розрахунки і отримані графічні ілюстрації з порівняннями неоптимальних і оптимальних траєкторій.

Ключові слова: системи нейромережнего типу, оптимальне керування, достатні умови оптимальності Кротова, сигмоідальная функція, функція гіперболічного тангенса.

Берадзе М.С. Оптимальное управление для некоторых систем нейросетевого типа. — Рукопись.

Диссертация на соискание учёной степени кандидата физико-математических наук по специальности 01.05.04 —Системный анализ и теория оптимальных решении. — Институт космических исследований НАНУ и НКАУ, Киев, 2002.

Диссертационная работа посвящена исследованию класса задач оптимального управления для новых моделей нейросетевого типа. Для динамических систем, эволюция которых описывается с помощью нелинейных функций (сигмоидная функция, функция гиперболического тангенса, кусочно-линейные функции) поставлены и решены задачи оптимального управления. Доказывается существование оптимальных процессов для динамических систем нейросетевого типа с нулевыми и ненулевыми пороговыми потенциалами, на основе достаточных условий оптимальности В.Ф. Кротова. Рассматривается задача оптимального управления с ограничениями на управление и сформулированы необходимые условия оптимальности. Доказывается существование оптимальных процессов для одномерных кусочно-линейных систем и получены аналитические выражения оптимальных процессов.

В первом разделе проводиться обзор научных трудов, связанных с темой диссертации и анализ преимущества выбранного метода, которым проводиться достижение цели работы.

Во втором разделе разъясняется нейросетевая природа больших общественных систем и приводятся подходы системного анализа для их исследования. Поставлены общие задачи оптимального управления для -уровневой и одноуровневой -элементной динамических систем, для -мерной системы при монопольном управлении и общая задача оптимального управления для одномерной кусочно-линейной динамической системы.

В третьем разделе для -элементных систем нейросетевого типа, динамика которой задаётся с помощью нелинейных функций типа гиперболического тангенса и сигмоидального, поставлены задачи оптимального управления со связями между элементами системы, с фиксированным номером управляющего элемента в системе. Доказывается существование оптимального процесса на основе достаточных условий оптимальности В.Ф. Кротова. Получены аналитические выражения оптимального процесса. Поставлена и решена задача оптимального управления для трёхмерной сигмоидальной динамической системы с добавлением условий на связи между элементами. Доказывается существование оптимального процесса с управлением со связями между всеми элементами системы. Решены задачи оптимального управления для одномерных систем. Рассматриваются задачи с ненулевыми пороговыми потенциалами. Поставлена задача оптимального управления для -мерной сигмоидной динамической системы с ограничениями на управляемые связи между элементами в системе. Получено аналитическое выражение градиента функционала качества для этой задачи.

В четвёртом разделе поставлены задачи оптимального управления для одномерной кусочно-линейной динамической системы, с одним и с двумя параметрами в модели и для системы, которое управляется мультипликативно. Получены аналитические выражения оптимального управления и оптимальной траектории.

Проведены численные расчёты и получены графические иллюстрации оптимальных процессов для некоторых задач.

Ключевые слова: системы нейросетевого типа, оптимальное управление, достаточные условия оптимальности Кротова, сигмоидная функция, функция гиперболического тангенса.

Beradze M.S. Optimal control for some neuronal type systems. —Manuscript.

Thesis for the Candidate degree by specialty 01.05.04 — The system analysis and theory of optimal decisions. — Space Research Institute of the National Space Agency of Ukraine and National Academy of Science of Ukraine, Kyiv, 2002.

The dissertation is devoted to research the class of optimal control problems for neural models. The problems of optimal control for dynamical systems described by nonlinear functions (sigmoid function, function of hyperbolic tangent, piecewise-linear function) are stated and resolved. The existence of optimal processes for neural dynamical systems, with and without threshold are proved on the base of Krotov sufficient conditions of optimality. The problem of optimal control with restrictions on the controlling parameter is considered and necessary conditions are formulated. The existence of optimal processes for the one-dimensional piecewise-linear systems, are proofed and analytical expressions of optimal processes are given. The numerical calculations have been made and graphical illustrations of optimal and nonoptimal processes are given.

Keywords: neural systems, optimal control, Krotov sufficient conditions of optimality, sigmoid function, function of hyperbolic tangent.