ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

ОЛЕШКО Дмитро Миколайович

УДК 004.832:004.032.26

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ПРИСКОРЕННЯ СИНТЕЗУ НЕЙРОННИХ МЕРЕЖ ДЛЯ ВИРІШЕННЯ ЗАДАЧ ПРОГНОЗУВАННЯ
ПРИ ПРИЙНЯТТІ РІШЕНЬ

05.13.06 – Автоматизовані системи управління

та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Одеса – 2005

Дисертацією є рукопис.

Робота виконана в Одеському національному політехнічному університеті Міністерства освіти і науки України на кафедрі системного програмного забезпечення.

Науковий керівник: доктор технічних наук, професор
Крісілов Віктор Анатолійович, Одеський національний політехнічний університет,
завідувач кафедри системного програмного забезпечення.

Офіційні опоненти: доктор технічних наук, професор
Становський Олександр Леонідович, Одеський національний політехнічний університет, завідувач кафедри нафтогазового та хімічного машинобудування;

кандидат технічних наук, доцент
Кондратенко Галина Володимирівна,
Національний університет кораблебудування ім. адмірала Макарова, доцент кафедри “Комп’ютеризовані системи управління”.

Провідна установа: Міжнародний науково-навчальний центр інформаційних технологій і систем,
відділ нейромережевих технологій обробки інформації, НАН України та МОН України,
м. Київ.

Захист відбудеться 22 грудня 2005 р. о 1330 на засіданні спеціалізованої вченої ради Д 41.052.01 в Одеському національному політехнічному університеті за адресою: 65044, м. Одеса, пр. Шевченка, 1, ауд. 400-А.

З дисертацією можна ознайомитись у бібліотеці Одеського національного політехнічного університету за адресою: м. Одеса, пр. Шевченка, 1.

Автореферат розісланий “ 21 ” листопада 2005 р.

Вчений секретар

спеціалізованої вченої ради Д 41.052.01,

кандидат технічних наук, професор Ю.С. Ямпольський

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність роботи. В області розробки автоматизованих систем обробки інформації та управління, які забезпечують підтримку прийняття рішень, існує задача прогнозування процесу, що управляється або аналізується. Це обумовлено тим, що ефективне управління при розв’язанні задач електрон-ного бізнесу (ЕБ) та економічного моніторингу (ЕМ) неможливе без вірогідного та оперативного прогнозування поведінки процесу. Рішення цієї задачі передбачає побудову інформаційних моделей об'єктів автоматизації і моніторингу, проведення їх аналітичного й імітаційного моделювання.

У рамках розвитку сучасних інформаційних технологій найбільше поширення для побудови прогнозуючих моделей набув апарат штучних нейронних мереж (ШНМ). Широке застосування ШНМ для рішення розглянутих задач обумовлено їх високою апроксимуючою здатністю, здатністю до узагальнення інформації і стійкістю до перешкод. Використання їх у системах обробки інформації для підтримки прийняття рішень дозволило істотно підвищити надійність і вірогідність таких інформаційних систем.

В процесі синтезу ШНМ існує три основних етапи: 1 – формування навча-льної вибірки (НВ); 2 – структурний синтез (СС) ШНМ; 3 – параметричний синтез (ПС) або навчання ШНМ. Аналіз відомих підходів до синтезу прогнозу-ючих нейромережевих (НМ) моделей дозволив виділити їх основні недоліки:

­ відсутність єдиної технології побудови прогнозуючих ШНМ, наслідком чого є розгляд етапів синтезу в якості окремих незв'язаних задач, що часто призводить до непогодженості очікуваних та отриманих результатів, а також збільшує витрати часу розроблювача на "творчий пошук";

­ відсутність критеріїв, які б давали конструктивну кількісну оцінку якості побудованої НВ, що призводить до додаткових ітерацій синтезу, які витрачаються на пошук задовільної, якісної ОВ, що відповідає вимогам та умо-вам конкретної задачі;

­ висока евристичність або трудомісткість методів та механізмів, роз-роблених для прискорення етапів СС та ПС, що для кожної нової задачі також стає причиною додаткових витрат часу.

Вимоги ж сучасних задач управління в ЕБ й ЕМ такі, що витрати часу на синтез та актуалізацію (донавчання) прогнозуючої моделі повинні бути мінімальні при достатній якості прогнозу.

Можливості для розв’язання цих проблем криються у поглибленому інтелектуальному аналізі характеристик, що описують кожен з зазначених етапів. Такий аналіз дозволив би знайти такі характеристики та параметри процесу синтезу прогнозуючих ШНМ, які є суттєвими та достатніми для отримання якісного та оперативного результату. Це, в свою чергу, дозволить формалізувати процес синтезу на якісно новому рівні, зробить його більш придатним до автоматизації і дозволить скоротити витрати часу на синтез.

Таким чином, дослідження, спрямовані на розробку й впровадження інформаційної технології прискорення синтезу автоматизованих комп'ютерних систем обробки інформації та управління для підтримки прийняття рішень на базі прогнозуючих НМ моделей, є актуальними.

Зв’язок роботи з науковими програмами, планами, темами. Дисертація виконувалася відповідно до завдань НДР Одеського національного політехніч-ного університету № 329-73 "Розробка інформаційного та програмного забезпечення сучасних автоматизованих систем" (номер державної реєстрації 01000001400), № 393-73 "Інформаційні системи в проектуванні та керуванні" та № 434-73 “Дослідження та проектування засобів інтелектуальної обробки даних” (номер державної реєстрації 0103U000036).

Метою дисертаційної роботи є зменшення часу синтезу прогнозуючих нейромережевих моделей у системах обробки інформації і управління для підтримки прийняття рішень та підвищення вірогідності прогнозу шляхом інтелектуалізації процесів формування навчальної вибірки, параметричного та структурного синтезу ШНМ.

Для досягнення зазначеної мети були розв’язані такі задачі:

­ проаналізовані існуючі методи і алгоритми, спрямовані на прискорення та підвищення якості структурного та параметричного синтезу прогнозуючих ШНМ зі зворотним поширенням помилки, виявлені їхні достоїнства та недолі-ки з боку прискорення процедури синтезу при збереженні якості навчання та рішення головної задачі мережі;

­ запропоновано ряд характеристик НВ, які дозволяють оцінити міру її якості;

­ виявлені залежності якості та швидкості параметричного синтезу від встановлених характеристик НВ;

­ розроблено комплексний критерій оцінки НВ, заснований на цих характеристиках та залежностях, який дозволяє автоматизувати процес побудо-ви якісної НВ;

­ запропонований підхід до формалізації структурного синтезу ШНМ, заснований на аналізі характеристик ПС, що дозволяє в процесі навчання нейронної мережі робити реструктуризацію її прихованого шару;

­ розроблені механізми, що дозволяють істотно прискорити процес пара-метричного синтезу при збереженні якості навчання й функціонування ШНМ;

­ розроблена інформаційна технологія прискорення синтезу прогнозую-чих НМ моделей для систем обробки інформації та управління в задачах ЕБ і ЕМ, яка поєднує розроблені методи та механізми в єдиний формалізований процес;

­ розроблена автоматизована комп'ютерна система, що реалізує розроб-лені методи й механізми, яка орієнтована на використання, як у корпоративних мережах, так й у мережі Internet.

Об'єктом дослідження є процес синтезу прогнозуючих моделей в системах підтримки прийняття рішень (СППР) для вирішення задач управління в електронному бізнесі та економічному моніторингу.

Предметом дослідження є методи та засоби побудови якісних НВ, автоматизації структурного і прискорення параметричного синтезу прогнозуючих моделей, а також методи та засоби одержання кількісних характеристик якості НВ.

Методи дослідження. Для оцінки якості побудованої НВ і синтезованої прогнозуючої моделі використовувалися методи математичної статистики та математичного аналізу, для формалізації і прискорення етапів структурного та параметричного синтезів використовувалися методи теорії оптимізації та теорії штучних нейронних мереж.

Наукова новизна отриманих результатів полягає в розвитку і поглиб-ленні методологічних основ побудови автоматизованих комп'ютерних систем для підтримки прийняття рішень, що використовують НМ моделі зі зворотним поширенням помилки для побудови прогнозу. У дисертаційному дослідженні отримані наступні такі наукові результати:

­ вперше розроблений комплексний критерій, заснований на супереч-ливості, нерівномірності, середньоквадратичній помилці перетворення вхідних даних, кількості розпізнаваних класів НВ;

­ вперше розроблений автоматизований метод побудови якісної НВ для СППР, який базується на комплексній кількісній оцінці якості НВ;

­ одержав подальший розвиток метод навчання ШНМ зі зворотним поширенням помилки, який полягає у застосуванні: нового критерію оцінки розпізнавання навчальних наборів (НН) нейронною мережею, заснований на аналізі глобальної, локальної і елементарної помилок; нових правил відновлен-ня вагових коефіцієнтів (ВК); формального механізму ініціалізації та динаміч-ного коректування величини кроку зміни ВК;

­ вперше розроблена інформаційна технологія прискорення синтезу нейромережевих моделей для рішення задач прогнозування в СППР, яка міс-тить формалізацію етапів побудови навчальної вибірки, структурного та параметричного синтезу, і поєднує всі етапи в єдиний формалізований процес.

Практична цінність отриманих результатів. Запропонований критерій оцінки НВ дає можливість оцінити якість побудованої НВ без проведення трудомісткого ПС. Розроблений метод побудови якісної НВ дозволив у 5 – 7 разів скоротити витрати часу на формування вибірки. Побудована за допомо-гою розробленого методу НВ забезпечує зниження витрат часу на навчання ШНМ і зниження помилки прогнозу в 1,5 – 2 рази.

Розвиток методу навчання ШНМ на основі зворотного поширення помилки дозволив скоротити час навчання нейронної мережі в 2 – 3 рази, а також робити донавчання на нових даних, використовуючи тільки нову частину НВ і вносячи зміни тільки у зв'язки, що вимагають коректування.

Запропонований механізм пакетного навчання нейронних мереж і правила додавання та виключення нейрона з прихованого шару дозволили об’єднати етапи структурного та параметричного синтезу і тим самим скоротити час, що витрачається на синтез прогнозуючої моделі в цілому.

Розроблена технологія синтезу прогнозуючих НМ моделей, що поєднує всі етапи синтезу ШНМ, дозволила скоротити загальний час синтезу у 7 – 10 разів.

За результатами дисертаційної роботи була розроблена автоматизована прогнозуюча комп'ютерна система "FORECAST", орієнтована як на роботу в корпоративних мережах, так й у мережі Internet.

Система була впроваджена для рішення задач прогнозування залишків на банківських рахунках (вірогідність прогнозу склала 94 %), а також, для вирішення задач прогнозування змін денного темпу продаж та формування оптимального товарного залишку (віро-гідність прогнозу склала 96 %).

Програмний продукт і методологічні розробки використані в навчальному процесі на кафедрі системного програмного забезпечення у рамках НДРС, дипломного проектування та дисципліни "Засоби інтелектуальної обробки інформації".

Особистий внесок здобувача полягає в аналізі існуючих [1, 2, 9], виборі та удосконаленні найбільш перспективних методів синтезу прогнозуючих ШНМ для СППР у задачах управління в ЕБ і ЕМ.

Запропоновані шляхи використання і формалізація Принципу достатності в задачі синтезу прогнозуючих НМ моделей [4, 8]. Досліджено процеси побудо-ви НВ і синтезу прогнозуючих ШНМ. Запропоновані характеристики для оцін-ки якості побудованої НВ і способи їх поліпшення [2]. Розроблений комплекс-ний критерій оцінки якості НВ, а також, метод автоматизованої побудови НВ, яка відповідає умовам та вимогам поставленої задачі [6]. Розроблені формалізо-вані ефективні і нетрудомісткі методики для прискорення параметричного синтезу ШНМ [3, 10, 11]. Розроблена інформаційна технологія прискорення синтезу прогнозуючих НМ моделей [12]. Розроблена програмна система "FORECAST", за допомогою якої вирішений ряд задач прогнозування [5, 7].

Апробація результатів роботи. Результати роботи доповідалися й обговорювалися на першій міжнародній конференції "ИНФОТЕХ–2000" (Севастополь, 2000), на другій міжнародній науково-практичній конференції "СИЭТ–2001" (Одеса, 2001), на другій міжнародній конференції по індуктив-ному моделюванню "МКІМ–2002" (Львів, 2002), на міжнародному науковому семінарі "Інтелектуальний Аналіз Інформації" (Київ, 2003, 2004), на між народ-ній науково-практичній конференції "Искусственный интеллект" (Кацивелі, 2002, 2004), на міжнародному семінарі по індуктивному моделюванню "МСIM–2005" (Київ, 2005), а також на щорічних конференціях студентів і молодих дослідників ОНПУ (Одеса, 1999 – 2005).

Програмні продукти, що реалізують розроблені в дисертації методи і механізми, демонструвалися на міжнародній виставці-симпозіумі "Комп'ютер, банк, офіс" (Одеса, 2000), на виставках-симпозіумах "Hi–Tech" (Одеса, 2000, 2001, 2005), на міжнародній виставці "CEBIT 2000" (Німеччина, 2000), на міжнародних виставках навчальних установ "Сучасна освіта в Україні" (Київ, 1999, 2000, 2002), на ювілейній виставці "Україна. Десять років незалежності" (Київ, 2001), на міжнародній спеціалізованій виставці "Інформатизація України" (Одеса, 2002) і на виставках-конференціях "Наука – Регіону" (Одеса, 2003, 2005).

Публікації. Матеріали дисертації викладені в 12 публікаціях, 7 з яких опубліковані в журналах зі списку спеціальних видань ВАК України.

Структура дисертації. Дисертація складається із вступу, чотирьох розділів та чотирьох додатків. Обсяг дисертації – 165 стор., додатків – 33 стор. Дисертація містить 26 рисунків, 24 таблиці (з них 10 рисунків та 15 таблиць – у додатках) та посилання до 72 літературних джерел.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі наведена загальна характеристика роботи, яка підкреслює її актуальність, відповідність державним науковим програмам, наукову новизну та практичну значимість, визначені об'єкт та предмет дослідження, сформульо-вані мета і задачі дисертації.

У першому розділі розглядається проблема синтезу прогнозуючих інфор-маційних моделей на базі ШНМ для вирішення задач управління в ЕБ та ЕМ.

Наведено основні поняття та визначення, пов'язані з теорією штучних нейронних мереж. Розглянуто основні етапи синтезу прогнозуючих НМ моделей: 1) формування НВ; 2) структурний синтез; 3) параметричний синтез. Розглянуто цілі й основні задачі цих етапів. Як приклад навчального алгоритму розглянутий алгоритм зі зворотним поширенням помилки – як най поширені-ший алгоритм навчання ШНМ.

У зв’язку із тим, що у задачах прогнозування економічних процесів майже неможливо виявити усі фактори, що впливають на ці процеси, запропоновано використовувати методику аналізу часових рядів замість причинних моделей. Для ШНМ задача прогнозування часових рядів сформульована, як задача класифікації. У цьому випадку весь проміжок, у якому відбувалися зміни величини, що прогнозується, розбивається на ділянки із кроком, рівним припустимій помилці прогнозування. Кожна з таких ділянок розглядається як клас поводження величини, що прогнозується, у певний момент часу. Таким чином утворюється часовий ряд:

(1)

де – відліки часу, причому ; – значення величини, що прогнозується, у ці моменти часу; – кількість моментів, складаючих часовий ряд.

За допомогою метода "Ковзних вікон", що базується на теоремі Такенса, для ряду (1) формується НВ:

,

де – кількість НН, – вектор вхідних значень, – ідентифікатор -го класу, що визначає належність даного об’єкту до одного з класів.

Якщо деякі класи об’єднуються між собою, то вони утворюють новий клас , центроїд якого обчислюється за формулою , де – кількість початкових класів , що утворили . У дисертації прийнято вважати, що ідентифікатором класу є чисельне значення його центроїда.

Задачею прогнозування часового ряду є обчислення для (1) значень , , … , , де – горизонт прогнозу. У випадку рішення її як задачі класифікації для , це є задача віднесення певної ситуації (об’єкту), , до певного класу з множини чи .

Наведено огляд основних методів та алгоритмів, спрямованих на прискорення й підвищення точності процесу параметричного синтезу ШНМ, які також припускають автоматизацію процесу структурного синтезу. Зазначе-но переваги та недоліки цих методів:

­ висока евристичність та трудомісткість методів структурного синтезу при низькому рівні формалізації (конструктивні алгоритми та алгоритми скорочення);

­ повільна швидкість збіжності процесу навчання (метод найшвидшого спуску);

­ висока трудомісткість методів при високій точності одержуваного результату навчання (метод змінної метрики, метод Левенберга – Марквардта, метод сполучених градієнтів);

­ низка формалізація та висока доля евристичності (алгоритми "Quick Prop", "RProp" и "Delta-bar-Delta")

Зроблено висновки про необхідність розробки:

1) підходів, що дозволяють дати кількісну оцінку якості побудованої НВ до навчання на ній ШНМ;

2) формальних методик структурного синтезу ШНМ;

3) методів і механізмів, що дозволяють провести швидкий й якісний параметричний синтез нейронної мережі;

4) інформаційної технології прискорення синтезу прогнозуючих ШНМ, яка б поєднувала всі етапи в єдиний технологічний процес.

У другому розділі представлена методологічна база, що дозволяє формалізувати синтез ШНМ моделей та знизити витрати часу на побудову і актуалізацію моделей.

Поняття достатності в процесі синтезу ШНМ. Всі розроблені в даній роботі підходи до прискорення процесу синтезу ШНМ моделей на різних його етапах, так або інакше, базуються на понятті Принципу достатності (ПД). ПД у цьому випадку полягає у деякому огрубінні умов і, можливо, деякому ослабленні обмежень задачі. Така операція дозволяє формалізувати процес управління якістю рішення задач прогнозування шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності.

Побудова якісної навчальної вибірки. Для оцінки якості НВ у роботі запропоновані наступні характеристики:

1. Нерівномірність НВ (). Для оцінки нерівномірності була розглянута випадкова величина – “кількість НН у класі”. В якості величини, що характеризує нерівномірність побудованої НВ, пропонується середньоквадратичне відхилення :

.

Для того щоб модель змогла будувати вірогідний прогноз, необхідно дотримуватись до того, щоб кількість НН у класах була сумірна, тобто необхідно знижувати нерівномірність.

2. Суперечливість НВ (). Якщо НВ містить у собі однакові об'єкти, що належать різним класам, то дані об'єкти називають суперечливими, і чим більше таких об'єктів, тим вище суперечливість всієї НВ. Суперечливість навчальних даних є серйозним недоліком для будь-якої системи, що навчається.

На відміну від існуючих, у даній роботі запропонований підхід, що дозволяє оцінити міру суперечливості всієї НВ у цілому.

Нехай є два навчальних набора та . Тоді – відстань між центроїдами, відповідно, -го й -го класів, а відстань між об'єктами цих класів буде обчислюватися по наступній формулі:

,

де , – дисперсія властивості-го виміру по НВ.

Нехай величина – суперечливість двох навчальних наборів. Тоді очевидно, що зростає, якщо зростає та, при цьому, убуває . На підставі цього запропонована наступна формула для обчислення :

.

Таким чином, суперечливість двох об'єктів лежить у діапазоні [0; 1] і досягає максимуму при збігу характеристик об'єктів, що належать різним класам.

Суперечливістю всієї НВ – буде середнє арифметичне всіх :

3. Середньоквадратична помилка перетворення вхідних даних (). Нехай для первинної НВ НН мають вигляд , а для перетвореної НВ, після розбивки множини значень на класи, НН мають вигляд . Тоді помилкою перетворення на -му наборі буде величина , а середньоквадратична помилка перетворення буде обчислюватися в такий спосіб:

,

де – кількість НН.

Для визначення міри якості отриманої розбивки важливим є те, що величина дозволяє оцінити компактність розбивки об'єктів по класах.

4. Кількість розпізнаваних класів () служить чинником, що обмежує зниження , а також оптимізує розмір нейронної мережі.

Нехай – показник, що дозволяє оцінити міру якості НВ на кожній окремій ітерації і обчислюється за формулою:

(2)

де – показники, що характеризують важливість відповідної характеристики для розроблювача в рамках поточної задачі.

Очевидно, що НВ тим краще, чим менше величина кожної з характеристик в (2). Тоді якісна НВ вибирається з побудованих вибірок відповідно до наступного критерію:

(3)

Автоматизація структурного синтезу нейронних мереж. Запропоно-ваний метод автоматизації СС поєднує в собі принципи конструктивних алгоритмів та алгоритмів скорочення, які використовуються для побудови прихованого шару ШНМ. Початкову кількість нейронів у прихованому шарі можна визначити, виходячи з наступних формул:

;

; , (4)

де Ny – розмірність вихідного сигналу, Np – число елементів навчальної вибірки, Nx – розмірність вхідного сигналу, і – відповідно, мінімальна та максимальна кількості нейронів у прихованому шарі.

Рішення задач прогнозування курсів валют і цінних паперів, об'єму грошової маси в банкоматах банку, залишків на банківських рахунках показало, що для подібних процесів, оптимальна кількість нейронів у прихованому шарі знаходиться в околиці кількості нейронів у вихідному шарі: .

Основою для прийняття рішення про зміну кількості нейронів у прихованому шарі служать результати аналізу рівнів активацій нейронів та їхніх помилок. Статистика за даними характеристиками накопичується протягом обробки нейронною мережею НВ у пакетному режимі: значення ВК не змінюються, на кожній ітерації обчислюються тільки значення помилок нейронів мережі. Накопичена статистика використовується для аналізу повноти структури нейронної мережі.

Для реструктуризації прихованого шару мережі запропоновано наступні правила.

1. Якщо протягом епохи навчання значення помилки деякого нейрона прихованого шару носить виражений коливальний характер, то в прихованому шарі ШНМ недостатньо нейронів, а даний нейрон підлягає розщепленню.

2. Якщо протягом епохи навчання рівень активації деякого нейрона прихованого шару наближається до нуля, то даний нейрон є надлишковим для мережі і підлягає видаленню.

Інтелектуалізація параметричного синтезу нейронних мереж. Наступ-ним етапом синтезу НМ моделі є параметричний синтез – навчання ШНМ. Для підвищення формалізації механізмів ПС з величин, що характеризують даний етап, були виділені три види помилок: елементарна (), локальна () та глобальна ():

(5)

де – еталонне значення виходу, – рівень активації k-го нейрона вихідного шару ШНМ.

Елементарна помилка – це помилка одного нейрона на одній ітерації навчання. Локальна помилка – помилка нейронної мережі на одному навчальному наборі, яка є усередненим значенням елементарних помилок нейронів вихідного шару. Глобальна помилка – помилка нейронної мережі на всієї НВ – усереднене значення локальних помилок на наборах НВ.

У (5) наведена формула обчислення для нейрона вихідного шару. Для нейронів прихованих шарів обчислюється за формулами алгоритму навчання.

Визначення моменту зупинки процесу ПС. Для формування критерію зупинки процесу навчання використовуються глобальна та локальні помилки. Моментом зупинки навчання запропоновано вважати момент, коли успішно розпізнані всі НН з НВ.

У випадку рішення задачі прогнозування в якості задачі класифікації у області значень нейронів вихідного шару запропоновано розрізняти 3 зони (рис. 1).

Успішно розпізнаним вважається той НН, на якому у вихідному шарі найбільшу активність має нейрон, який відповідає потрібному класу. Значення й задають довірчі інтервали для значень виходів активного нейрона й неактивних відповідно. Розміри цих інтервалів регулюють надійність розпізнавання НН, а також здатність мережі виявляти закономірності в аналізованому часовому ряді, оскільки, чим ці інтервали вужче, тим вище ризик одержати перенавчену ШНМ. Виходячи із заданих значень і , розрахо-вується граничне значення для :

,

де n – кількість нейронів у вихідному шарі ШНМ.

Таким чином, i-й НН вважається успішно розпізнаним нейронною мережею тоді, коли

. (6)

Спираючись на наведені вище міркування, в якості критерію зупинки навчання ШНМ прийняте виконання нерівності (6) для всіх НН.

Значення границь і встановлюються, виходячи з міркувань достат-ності, з огляду на витрати часу на навчання, надійність розпізнавання й вірогід-ність прогнозу.

Обчислення нових значень ВК нейронної мережі. Аналіз значень помилок і поводження реальних біологічних систем, що навчаються, дозволив запропонувати такі правила, що управляють оновленням ВК мережі, які забезпечують скорочення витрат часу як на навчання НМ моделі, так і на актуалізацію вже навченої ШНМ.

1. Оновлення ВК ведеться доти, доки не досягне значення якогось , обумовленого вимогами до задачі, або поки не виконається нерівність (6).

2. Якщо на i-й ітерації виконується нерівність (6), то оновлення ВК не відбувається.

3. Якщо , або, для активного нейрона, , тоді або , відповідно, прирівнюється до 0 і, відбувається обчислення нових ВК із цим значенням елементарної помилки. Це забезпечує внесення змін тільки в ті зв'язки, які вимагають коректування. Такий підхід істотно знижує трудомісткість процесу донавчання ШНМ на нових даних.

Управління величиною кроку зміни ВК. В оригінальному варіанті методу навчання зі зворотним поширенням помилки формула зміни вагових коефіцієн-тів, для пари нейронів i та j виглядає таким чином:

(7)

де – елементарна помилка j-го нейрона, – рівень активації i-го нейрона, а – крок зміни ваги.

В (7) – величина постійна, однак аналіз роботи градієнтних методів оптимізації приводить до очевидного факту – у процесі оптимізації величина кроку повинна динамічно мінятися.

При розв’язанні практичних задач прогнозування було проведено низку експериментів, які показали, що навчальний алгоритм швидше досягає точки оптимуму, якщо у процедурі управління величиною присутня тільки операція декрементування. Цей факт пов'язаний з тим, що збільшення кроку зміни вагових коефіцієнтів при послідовному зменшенні глобальної помилки призводить до високої інерційності алгоритму.

У роботі запропоновані наступні правила обчислення кроку зміни вагових коефіцієнтів:

1) якщо , то ;

2) якщо , то ;

3) якщо та , то ,

де й – значення кроку зміни вагових коефіцієнтів у моменти часу й відповідно, – величина декременту .

У третьому розділі представлена інформаційна технологія (табл. 1), спрямована на прискорення синтезу прогнозуючих НМ моделей.

Етап постановки задачі. Мета даного етапу визначити умови та обмежен-ня, а також методику рішення поставленої задачі прогнозування. Виходячи з поставленої задачі, розроблювач визначає значення наступних параметрів алгоритмів синтезу НМ моделі:

­ для етапу побудови НВ – значення показників , що характеризують важливість кожної характеристики в критерії оцінки якості НВ (3), а також параметри алгоритму побудови НВ;

­ для етапу структурного синтезу – граничне значення середнього квадратичного рівня активації нейрона прихованого шару за епоху навчання;

­ для етапу параметричного синтезу – значення параметрів й , відповідальних за надійність розпізнавання НН.

Етап формування навчальної вибірки. Вхідними даними для даного етапу служить часовий ряд (1), або заданий текстовим файлом, або який одержується шляхом SQL-запиту з деякої бази даних.

За допомогою метода "Ковзних вікон" формується попередня НВ. Далі до неї застосовується метод побудови якісної навчальної вибірки. Розроблений метод став результатом об'єднання підходів, що розглядають можливість реорганізації множини розпізнаваних класів, і обмежень, що накладаються вимогами до точності подання даних та якості побудованої НВ. Задача методу – побудувати оптимальну розбивку на класи () множини еталонних значень НВ (), виходячи із запропонованого критерію (3).

При формуванні критерію та заданні показників, що характеризують ступінь важливості запропонованих характеристик НВ, розроблювач повинен керуватися досвідом й особливостями рішення конкретної задачі.

Після того, як НВ побудована, із множини НН вибираються ті, які надалі не будуть брати участь у параметричному синтезі й складуть тестову вибірку (ТВ).

Етап структурного синтезу НМ моделі. В основу методики структурного синтезу прогнозуючої НМ моделі була покладена методика розщеплення нейронів. Для пошуку нейронів, які підлягають розщепленню, у прихованому шарі мережі використовуються спрощені алгоритми, які не вимагають обчислення коваріаціоних матриць.

На першому кроці необхідно визначити початкову кількість нейронів у прихованому шарі мережі , виходячи із формул (4).

Таблиця 1

Інформаційна технологія синтезу прогнозуючих НМ моделей

Етап | Вхідні
дані | Методи, методки, механізми | Результат | Виконавець

I. Постановка задачі | Інформація про процес, що прогнозується.

Вимоги до
точності подання даних в НВ, вірогідності прогнозу | Дослідження предметної області

Методи аналізу
часових рядів | Параметри алгоритмів синтезу прогнозуючої НМ
моделі | Замовник,

Особа яка приймає
рішення,

Розроблювач НМ моделей

II. Формування
НВ | Текстовий файл

База даних | Метод "Ковзних
вікон"

(*) Метод побудови якісної НВ | Навчальна
вибірка

Тестова вибір-ка | Система „FORECAST” (блок попередньої підготовки даних)

Розроблювач НМ моделей

III. Структурний синтез НМ моделі | Навчальна
вибірка

Характеристики побудованої НВ | (*) Модифікована методика розщеплення нейронів | Структура НМ
моделі | Система „FORECAST” (блок
структурного
синтезу)

Розроблювач НМ моделей

IV. Параметричний синтез НМ моделі | Навчальна
вибірка

Структура НМ
моделі | (*) Модифікований метод навчання зі зворотним
поширенням
помилки

(*) Спрощена
методика пакетного навчання | Навчена НМ модель | Система „FORECAST” (блок
параметричного синтезу)

Розроблювач НМ моделей

V. Верифікація | Навчена НМ
модель

Тестова вибірка | Обчислення
середньо
квадратичної
помилки | Величина
помилки навченої НМ моделі на
тестовій
вибірці | Система „FORECAST” (блок
верифікації)

Розроблювач НМ моделей

(*) – розроблено автором

Далі, після завдання значення , нейронна мережа переводиться в режим пакетного навчання. Для здійснення реконфігурації нейронної мережі використовується модифікована методика розщеплення нейронів.

Етап параметричного синтезу НМ моделі. Пропонована методика параметричного синтезу прогнозуючої НМ моделі ґрунтується на відомому методі навчання багатошарових нейронних мереж зі зворотним поширенням помилки.

Вхідними даними для даного етапу є:

­ побудована на першому етапі НВ, що відповідає заданому критерію якості;

­ сформована за допомогою методики структурного синтезу архітектура багатошарової нейронної мережі.

Перед проведенням параметричного синтезу розроблювачеві необхідно визначити початкове значення кроку зміни ВК . Для цього запропоновано використати принцип методу “Модельного загартування”. Для декілька значень (наприклад, 0.5, 1, 1.5) виконується по одній епосі навчання. Те значення , що дасть найменшу величину , буде обрано в якості початкового.

Для проведення параметричного синтезу прогнозуючої моделі передбачені наступні підходи:

­ модифікований алгоритм пакетного навчання – коректування ВК виконується тільки один раз – наприкінці епохи навчання – на основі накопиче-них значень помилок й активацій нейронів;

­ модифікований метод навчання зі зворотним поширенням помилки – метод базується на запропонованих правилах обчислення ВК, а також на механізмі ініціалізації та динамічного коректування шага зміни ВК.

Етап верифікації синтезованої НМ моделі. На даному етапі виконується оцінка якості побудованої прогнозуючої моделі. В якості характеристики прогнозу використовували квадратичну помилку:

(8)

де – дисперсія значень ТВ, – помилка прогнозу в -й точці.

Залежно від того, як була сформована ТВ, користувач може в різних режимах виконати тестування побудованої прогнозуючої НМ моделі. Тестуван-ня може проводитися у двох режимах.

1. Оцінка якості узагальнення знань отриманих з НВ. У цьому випадку користувач, в якості результату процесу верифікації, одержує значення квадратичної помилки (8) синтезованої моделі на множині тестових наборів.

2. Тестування мережі в режимі побудови прогнозів з горизонтом більше 1. У цьому випадку, починаючи від моменту часу, позначеного першим набором ТВ, будується прогноз із довжиною горизонту рівної кількості наборів ТВ. Далі, для побудованого таким чином прогнозу, також обчислюється квадратична помилка (8).

Таким чином, у розділі представлений комплекс розроблених методів і механізмів, спрямованих на зниження витрат часу, підвищення якості синтезу прогнозуючих ШНМ та об'єднаних у рамках розробленої інформаційної технології в єдиний формалізований процес.

У четвертому розділі представлено опис розробленої для СППР прогно-зуючої програмної системи "FORECAST". Дано опис основних блоків і описані режими функціонування.

Блоки даної системи розроблялися таким чином, щоб була можливість їхнього використання з будь-яким інтерфейсом для зручності інтеграції їх у СППР. Прикладом використання блоків системи є демонстраційна версія WEB-орієнтованого клієнтського робочого місця прогнозуючої системи "FORECAST" для рішення задач електронного бізнесу на ринку "FOREX".

Також у розділі наведений аналіз впровадження системи для рішення задачі прогнозування залишків на банківському рахунку та застосування її для прогнозування пунктів англійського фунта на ринку "FOREX".

Проведено порівняльний тест рішення задач класичним методом та з використанням розробленої інформаційної технології. В обох випадках відзначено:

­ поліпшення характеристик НВ;

­ скорочення часу навчання моделі в 2 – 3 рази;

­ зниження помилки прогнозу в 1,5 – 2 рази;

­ підвищення вірогідності прогнозу при збільшенні його горизонту;

­ зменшення часу загального синтезу прогнозуючої моделі у 7 – 10 разів.

Одержані результати, щодо витрат часу на навчання та актуалізацію прогнозуючих моделей, дають можливість ще більше наблизитися до розв’язан-ня задач управління в ЕМ та ЕБ, пов'язаних з побудовою прогнозів поведінки складних процесів в умовах реального часу.

ВИСНОВКИ

1. Аналіз існуючого підходу до синтезу прогнозуючих НМ моделей виявив ряд істотних недоліків, пов'язаних з відсутністю конструктивних кількісних критеріїв оцінки якості побудованої НВ, значною евристичністю або трудоміст-кістю підходів, розроблених для прискорення етапів структурного та параметричного синтезу, відсутністю формальної єдиної технології синтезу прогнозуючих НМ моделей.

2. Розглянуто ПД, в якості механізму, що дозволяє управляти якістю рішення задачі прогнозування на всіх етапах синтезу прогнозуючих ШНМ шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності.

3. Запропоновано ряд характеристик НВ, на основі яких розроблений комплексний критерій оцінки якості побудованої НВ. Даний критерій дозволив формалізувати процедуру побудови НВ, врахувати умови конкретної задачі, дати кількісну оцінку якості НВ і зробив евристичність процесу побудови НВ виявленою та вираженою показниками ступенів важливості кожної з характеристик.

4. На основі розробленого комплексного критерію оцінки якості НВ запропоновано метод автоматизованої побудови якісної НВ. Використання даного методу дозволяє автоматизувати процес побудови НВ, знизити ймовірність одержання неякісної вибірки, скоротити витрати часу на синтез НМ моделей в цілому та підвищити вірогідність прогнозу.

5. Запропоновано формалізацію процесу структурного синтезу НМ моделей для рішення задач прогнозування. Дано рекомендації з вибору початкової кількості нейронів у прихованому шарі мережі та запропоновані правила для коректування цієї кількості, засновані на принципах конструктивних алгоритмів та алгоритмів скорочення.

6. Подальший розвиток у рамках навчання ШНМ одержав метод навчання зі зворотним поширенням помилки. На основі розглянутих у роботі типів помилок, що виникають при навчанні ШНМ, запропонований критерій розпізнання НН і ряд правил обчислення ВК нейронної мережі, які дозволяють:

­ визначити момент зупинки процесу параметричного синтезу ШНМ, задаючи значення границь і , виходячи із ПД;

­ скоротити обчислювальні витрати алгоритму навчання в середньому
на 50 %;

­ збільшити швидкість збіжності методу в 2 – 3 рази;

­ донавчити навчену НМ модель, використовуючи тільки нові дані з НВ, і вносити мінімально-достатні зміни в навчену мережу.

7. Розроблено інформаційну технологію прискорення синтезу прогнозуючих НМ моделей, яка об'єднала окремі етапи синтезу в єдиний формалізований процес. Скорочення витрат часу фактично на порядок досягається:

­ за рахунок формалізації послідовності дій, які необхідно виконати для одержання ШНМ, здатної прогнозувати;

­ за рахунок формалізації раніше неформалізованого етапу побудови НВ, що дозволяє в автоматизованому режимі сформувати якісну НВ, яка відповідає умовам поставленої задачі;

­ за рахунок формалізації етапів структурного та параметричного синтезу, що дозволило автоматизувати процес структурного синтезу і знизити трудомісткість навчання.

8. На основі розробленої інформаційної технології створена програмна прогнозуюча система "FORECAST". Система була використана для розв’язання задачі прогнозування залишків на банківських рахунках (вірогідність прогнозу склала 94 %) і прогнозування курсів валют на міжнародному ринку електронної торгівлі валютами "FOREX" (вірогідність прогнозу 97 %).

9. Отримані в роботі наукові розробки й програмні засоби впроваджені в навчальний процес кафедри системного програмного забезпечення Одеського національного політехнічного університету.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Крисилов В.А. Применение нейронных сетей в задачах интеллектуального анализа информации / Крисилов В.А., Олешко Д.Н., Трутнев А.В. // Тр. Одес. политехн. ун-та. – Одесса: 1999. – Вып. 2 (8). – С. 134 – 140.

2. Крисилов В.А. Методы ускорения обучения нейронных сетей / Крисилов В.А., Олешко Д.Н., Лобода А.В. // Вест. СевГТУ. Информатика, электроника, связь. – Севастополь, 2001. – Вып. 32. – С. 19 – 26.

3. Крисилов В.А. Двухэтапное обучение нейронных сетей в задачах прогнозирования временных рядов / Крисилов В.А., Олешко Д.Н. // Искусств. интеллект. – 2002. – № 4. – С. 742 – 746.

4. Krissilov V.A. Acceleration of neural-network model training by application of sufficiency principle / Krissilov V.A., Oleshko D. N. // Тр. Одес. политехн. ун-та. – Одесса: 2002. – Спецвыпуск. – С. 89 – 90.

5. Decision Making rules for situations with dependent features / Krissilov V.A., Krissilov A.D., Blyukher B., Оleshko D.N // Вестник Херсонского ГТУ. – Херсон: 2003. – Вып. 3(19). – С. 190 – 193.

6. Олешко Д.Н. Построение качественной обучающей выборки для прогнозирующих нейросетевых моделей / Олешко Д.Н., Крисилов В.А., Блажко А.А. // Искусств. интеллект. – 2004. – № 3. – С.567 – 573.

7. Экономико–экологическое прогнозирование: методология, методы, приложения / Степанов В.М., Крисилов А.Д., Крисилов В.А., Олешко Д.М. др. – Одеса, ИПРЭЭИ НАН Украины, 2004. – 238 с.

8. Krissilov V.A. Application of the sufficiency principle in acceleration of neural networks training / Krissilov V.A., Krissilov A.D., Oleshko D.N. // Information Theories & applications. – 2003. – Vol.10. – № 2. – P. 179 – 183.

9. Крисилов В.А. Система прогнозирования поведения сложных процессов "FORECAST" / Крисилов В.А., Олешко Д.Н. // Тр. второй МНПК СИЭТ – 2001. – Одесса. – 2001. – С.90 – 91.

10. Крисилов В.А. Повышение качества и скорости обучения нейронных сетей в задаче прогнозирования поведения временных рядов / Крисилов В.А., Олешко Д.Н. // Міжнар. конф. з індуктивного моделювання. – Львів, 2002. – Т. 2. – С. 76 – 80.

11. Ускорение синтеза прогнозирующих нейронных сетей / Крисилов В.А., Олешко Д.Н., Кондратюк А.В., Чумичкин К.В. // Сб. тр. рос.-укр. науч. семинара "Интеллектуальный анализ информации" (ИАИ–2003). – Киев: КПИ, 2004. – С. 12.

12. Олешко Д.Н. Информационная технология синтеза прогнозирующих нейросетевых моделей // Зб. пр. міжнар. семінару з індуктивного моделювання. – Київ: Міжнар. наук.-навч. центр інформ. технологій та систем НАН та МОН України, 2005. – С. 242-249.

Олешко Д.М. Інформаційна технологія прискорення синтезу нейронних мереж для вирішення задач прогнозування при прийнятті рішень. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за фахом 05.13.06 – Автоматизовані системи управління та прогресивні інформа-ційні технологій – Одеський національний політехнічний університет, Одеса, 2005.

У роботі запропоновано ряд характеристик НВ, які дозволяють оцінити міру її якості. Виявлені залежності якості та швидкості параметричного синтезу від встановлених характеристик НВ. Розроблено комплексний критерій оцінки НВ, заснований на цих характеристиках та залежностях, який дозволяє автоматизувати процес побудови якісної НВ. Запропонований підхід до формалізації структурного синтезу ШНМ, заснований на аналізі характеристик ПС, який дозволяє в процесі навчання нейронної мережі робити реструктуриза-цію її прихованого шару. Розроблені механізми, які дозволяють істотно прискорити процес параметричного синтезу при збереженні якості навчання й функціонування ШНМ. Розроблена інформаційна технологія прискорення синтезу прогнозуючих НМ моделей для систем обробки інформації та управління в задачах ЕБ і ЕМ, яка поєднує розроблені методи та механізми в єдиний формалізований процес. Розроблена автоматизована комп'ютерна система, що реалізує розроблені методи й механізми, яка орієнтована на використання, як у корпоративних мережах, так й