Національний технічний університет України

“Київський політехнічний інститут”

ДЕМКІВСЬКИЙ ЄВГЕН ОЛЕКСАНДРОВИЧ

УДК 681.51

ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ АНАЛІЗУ І ПРОГНОЗУВАННЯ

НЕСТАЦІОНАРНИХ ПРОЦЕСІВ

05.13.06 – Автоматизовані системи управління та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

КИЇВ-2007

Дисертацією є рукопис.

Роботу виконано в навчально-науковому комплексі “Інститут прикладного системного аналізу” Національного технічного університету України “Київський політехнічний інститут” та на кафедрі інформаційних технологій проектування Київського національного університету технологій та дизайну Міністерства освіти і науки України.

Науковий керівник: | доктор технічних наук, професор

Бідюк Петро Іванович,

ННК “ІПСА” Національного технічного університету України “Київський політехнічний інститут”, професор кафедри математичних методів системного аналізу.

Офіційні опоненти: | доктор технічних наук, професор

Теленик Сергій Федорович,

Національний технічний університет України “Київський політехнічний інститут”, завідувач кафедри автоматики і управління в технічних системах.

кандидат технічних наук, доцент

Литвиненко Володимир Іванович,

Херсонський національний технічний університет, доцент кафедри інформаційних технологій.

Захист відбудеться “ 28” вересня 2007 р. о 1500 годині на засіданні спеціалізованої вченої ради Д 26.002.03 в Національному технічному університеті України “Київський політехнічний інститут” за адресою: 03056 м. Київ, пр. Перемоги, 37, корпус № 35, аудиторія № 006.

3 дисертацією можна ознайомитись у бібліотеці Національного технічного університету України “Київський політехнічний інститут” за адресою: 03056 м. Київ, пр. Перемоги, 37.

Автореферат розісланий “ 23 ” серпня 2007 р.

Вчений секретар спеціалізованої

вченої ради Д 26.002.03, д.т.н., професор О.М. Новіков

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Задачі математичного моделювання і прогнозування технічних, технологічних, фінансово-економічних та процесів іншої природи виникають при створенні систем керування та менеджменту в різних галузях діяльності. Оскільки більшість досліджуваних процесів є нестаціонарними, то особливу актуальність має розв’язання задач моделювання та прогнозування нестаціонарних процесів. Частіше за все це короткострокове та середньострокове прогнозування. Основними типами нестаціонарностей, що зустрічаються на практиці, є наявність детермінованих і стохастичних трендів, а також зміна в часі дисперсії. Зустрічаються випадки, коли необхідно розглядати нестаціонарні процеси зі змінною в часі коваріацією.

Актуальними є також проблеми моделювання та прогнозування нестаціонарних процесів в рамках створюваних автоматизованих інформаційно-аналітичних систем та інформаційних систем підтримки прийняття рішень (СППР).

Математичному моделюванню та прогнозуванню процесів різної природи приділена велика увага в роботах М.З. Згуровського, В.М. Кунцевича, О.А. Павлова, О.Г. Івахненка, В.І. Скуріхіна, Н.Д. Панкратової, Г. Крамера, Ю.П. Лукашина, В.С. Степашка, Бокса Дж., Дженкінса Г., Ю.П. Зайченка та багатьох інших вітчизняних і зарубіжних вчених. Зокрема, в роботах Івахненка О.Г. запропонована методологія моделювання процесів з невідомою структурою, яка ефективно використовується вже на протязі декількох десятків років. Методика моделювання, запропонована в роботах Бокса Дж. і Дженкінса Г., є хорошою надійною основою для моделювання і прогнозування лінійних процесів. Професор Романенко В.Д. розробив методику прогнозування рівня та дисперсії різнотемпових процесів, які часто зустрічаються в техніці, технологіях та економіці.

Однак, на сьогоднішній день залишаються відкритими проблеми, пов’язані з моделюванням та прогнозуванням нестаціонарних процесів спеціальної структури, наприклад, процесів зі змінною в часі дисперсією, процесів з випадковими змінами окремих параметрів внаслідок впливу стохастичних збурень різної природи. Основною проблемою при цьому є те, що більшість випадкових збурень не спостерігаються, що значно ускладнює процес побудови моделей високого ступеня адекватності. Тобто, необхідно шукати шляхи адекватного математичного описання процесів із збуреннями та побудови функцій прогнозування для них.

Оскільки розвиток нестаціонарних процесів представляють, як правило, часовими рядами, в дисертаційній роботі основну увагу приділено проблемам моделювання і прогнозування фактичних часових рядів за допомогою моделей авторегресії з інтегрованим ковзним середнім (АРІКС), а також моделі гетероскедастичних процесів різних модифікацій. Такі моделі застосовують в автоматизованих інформаційно-аналітичних системах та системах підтримки прийняття рішень для прогнозування динаміки технічних систем і технологічних процесів, вартості акцій та інших біржових активів, курсів валют, рівня інфляції, цін на товари та ін. Моделі такого класу можна застосовувати для аналізу сезонності змін статистичних характеристик, в тому числі для прогнозування процесів на макрорівні. Узагальнюючи, можна сказати, що вищеозначені моделі ефективно застосовують там, де основною інформацією для аналізу процесу та прогнозування його розвитку є часовий ряд.

Зв’язок з науковими програмами, планами, темами. Розглянуті в роботі задачі відповідають державним науково-технічним програмам, що сформульовані в Законах України “Про наукову і науково-технічну діяльність”, “Про національну програму інформатизації”, а також планам найважливіших науково-технічних програм Міністерства освіти і науки України: 6 – Інформатика, автоматизація і приладобудування; 6.2.1 – Інтелектуалізація процесів прийняття рішень; 6.2.2 – Перспективні інформаційні технології і системи.

Робота виконувалась згідно з планами наукових досліджень Інституту прикладного системного аналізу НТУУ “КПІ” в рамках держбюджетних тем:

ѕ “Розробка кількісно-якісних методів ситуаційного аналізу на основі байєсових мереж”, номер державної реєстрації 0103U000528, (2003-2005 рр.);

ѕ “Розробка та впровадження автоматизованої інформаційної системи підтримки прийняття рішень в управлінні проектами”, номер державної реєстрації 0102U000245, (2003-2004 рр.).

ѕ “Розроблення системного підходу до оцінки і прогнозування динаміки водонебезпечних процесів та процесів забруднення атмосфери на основі єдиної стратегії узгодження моніторингу і прогнозування екологічних процесів”, номер державної реєстрації 0103U000528, (2002-2004 рр.).

У КНУТД у відповідності з науково-дослідною темою: Н/н 3-07 “Перспективні інформаційні технології виробництва товарів народного вжитку”.

Мета і задачі дослідження. Метою дисертаційного дослідження є підвищення якості прогнозів випадкових трендів та умовної дисперсії нестаціонарних процесів за рахунок розробки нових моделей трендів та дисперсії і методів їх оцінювання, а також створення інформаційної системи підтримки прийняття рішень (СППР) на основі запропонованих методів і моделей.

При цьому розв’язуються такі задачі:

1.

2.

3.

4.

5.

6.

7.

Об’єктом дослідження є нестаціонарні процеси з нелінійностями відносно змінних в різних прикладних областях – технічних системах, економіці, фінансах, соціальних системах та ін.

Предметом дослідження є методи математичного моделювання і прогнозування, математичні і статистичні моделі часових рядів, а також інформаційна комп’ютерна система підтримки прийняття рішень на їх основі.

Методи дослідження ґрунтуються на теорії математичного моделювання і прогнозування, системному аналізі процесів різної природи, теорії ймовірностей та математичній статистиці, теорії проектування та реалізації комп’ютерних інформаційних систем.

Наукова новизна одержаних результатів. Наукова новизна роботи визначається такими теоретичними і практичними результатами, отриманими автором:

ѕ Запропоновано нові математичні моделі для описання випадкових трендів, які відрізняються удосконаленою структурою, що формується у вигляді лінійних комбінацій випадкових процесів. На основі розв’язків моделей випадкових трендів побудовано функції короткострокового та середньострокового прогнозування і розроблено інформаційну технологію виділення стохастичного тренду.

ѕ Запропоновано процедуру декомпозиції тренду на його складові – випадковий крок, шум і дрейф, яка забезпечує виконання аналізу процесів із стохастичними трендами і побудову функцій високоякісного прогнозування на довільне число кроків. Розроблено метод виділення стохастичного тренду і формування оцінки його прогнозу.

ѕ Запропоновано нову модель для описання умовної дисперсії – порогову стохастичну модель волатильності та розроблено технологію оцінювання зазначеної моделі на основі методу Монте Карло для марковських ланцюгів. Створена модель відрізняється від відомих врахуванням ефекту левериджу.

ѕ Розроблено метод виявлення та обробки екстремальних значень з використанням теорії прийняття статистичних рішень, який забезпечує гарантоване виявлення та згладжування екстремальних значень і відрізняється від існуючих простотою використання, в тому числі в реальному часі.

ѕ На основі розроблених моделей, інформаційних технологій і алгоритмів створена оригінальна інформаційна комп’ютерна система підтримки прийняття рішень з відкритою архітектурою, яка відрізняється від відомих можливістю автоматизації процедури вибору моделі для описання та прогнозування випадкових трендів, випадкових коливань процесів, а також нестаціонарної дисперсії процесів, представлених часовими рядами.

Практична значимість одержаних результатів. Розроблено інформаційну технологію визначення типу та методу описання і вилучення стохастичних та детермінованих трендів, яка дозволяє користувачу оперативно визначити структуру моделі, вибрати кращу модель за допомогою множини критеріїв адекватності, а також визначити прийнятні оцінки прогнозів на її основі.

Запропоновано інформаційну технологію описання та оцінки динаміки дисперсії на основі стохастичної моделі волатильності яка забезпечує адекватне описання ефекту левериджу – зменшення доходності інвестицій із збільшенням дисперсії цін на продукцію, акції і т. ін. Побудовано нові математичні моделі процесів формування цін на біржі та оцінки ризиків фінансових процесів. Виконано порівняльний аналіз методів прогнозування з метою вибору кращого методу для математичного описання та прогнозування конкретних процесів за допомогою множини критеріїв якості прогнозу.

На основі розроблених технологій і запропонованих алгоритмів створено інформаційну комп’ютерну систему підтримки прийняття рішень при моделюванні та прогнозуванні нестаціонарних процесів, зокрема, фінансових процесів на підприємстві, біржових цін та коливання курсу валют. СППР використовується для підтримки прийняття рішень на підприємстві „Український інноваційний банк”, закритому акціонерному товаристві виробничо-торговому підприємстві швейній фірмі „Дана” та в навчальному процесі КНУТД.

Особистий внесок здобувача. Основні результати дисертаційної роботи автор отримав самостійно. Особистий вклад в роботах, що надруковані у співавторстві: в [2] сформульовано критерії розробки підсистеми взаємодії система-користувач; в [3] розробка алгоритму побудови нових моделей гетероскедастичних процесів; в [5] особистий внесок полягає в проектуванні СППР та визначенні обмежень щодо процесу прийняття рішень; в [6] принципи застосування моделей і даних в СППР; в [11] розроблено алгоритм побудови природно-мовного інтерфейсу користувача; в [12] розробка узагальненого алгоритму побудови моделей з трендом; в [13] розробка і реалізація алгоритму аналізу та обробки екстремальних значень.

Апробація результатів роботи. Основні положення роботи доповідались і обговорювались на VI-й Міжнародній науково-практичній конференції студентів, аспірантів та молодих вчених "Системний аналіз та інформаційні технології", м. Київ, 2004 р.; на Другій міжнародній школі-семінарі "Теорія прийняття рішень", м. Ужгород, 2004р.; на Міжнародній науковій конференції "Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій", м. Євпаторія, 2005 р.; на VII-й Міжнародній науково-технічній конференції "Системний аналіз та інформаційні технології", м. Київ, 2005 р.; на IX-й Міжнародній науково-технічній конференції "Системний аналіз та інформаційні технології", м. Київ, 2007 р.

Публікації. За матеріалами дисертаційної роботи опубліковано 14 друкованих робіт, з них 1 – монографія, 8 – у фахових виданнях, список яких затверджений ВАК України, та 5 у тезах доповідей.

Структура та обсяг роботи. Дисертаційна робота складається із вступу, чотирьох розділів з висновками, загальних висновків, списку використаних джерел з 93 найменувань і 11 додатків. Робота викладена на 231 сторінках, основний зміст на 190 сторінках, містить 72 рисунки, 15 таблиць.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми та доцільність роботи, визначені мета і задачі дослідження, обєкти, предмет та методи дослідження, достовірність отриманих результатів, зв’язок з науковими програмами, планами, темами, наведено наукову новизну роботи та практичне значення одержаних результатів, кількість публікацій за темою роботи, виділено особистий внесок здобувача.

У першому розділі „Аналіз, моделювання і прогнозування нестаціонарних процесів” виконано аналіз особливостей протікання нестаціонарних процесів різної природи, зокрема встановлено, що зазначені процеси характеризуються наявністю нестаціонарностей двох типів - детерміновані або стохастичні тренди, а також залежність величини дисперсії від часу (гетероскедастичність). Це вимагає модифікації існуючих структур математичних і стохастичних моделей, які можуть бути використані для описання нестаціонарних процесів. Отримані необхідні та достатні умови стаціонарності процесів авторегресії та авторегресії з ковзним середнім довільного порядку, що необхідно для визначення класів стаціонарних та нестаціонарних процесів. Наведені аналітичні умови є зручними для використання в системі підтримки прийняття рішень. Виконано аналіз можливостей створення і використання СППР при моделюванні та прогнозуванні нестаціонарних процесів. Виділено основні проблеми, що виникають при проектуванні та реалізації таких систем. Показано, що СППР – зручний та перспективний інструмент для моделювання і прогнозування нестаціонарних процесів. Наведено огляд існуючих СППР для аналізу процесів різної природи. Основним недоліком існуючих СППР є відсутність можливості вдосконалення їх роботи за рахунок введення нових, сучасних методів моделювання, оцінювання та прогнозування. Існуючі системи не надають можливості моделювати та прогнозувати стохастичний тренд та моделювати волатильність з урахуванням ефекту левериджу і знакоперемінних збурень. Встановлено, що на ринку інформаційних послуг відсутні вітчизняні розробки систем для моделювання та прогнозування нестаціонарних процесів довільної природи.

У другому розділі „Моделювання випадкових трендів нестаціонарних процесів”, для описання динаміки процесів з трендами пропонується розглядати її у вигляді рівняння авторегресії з ковзним середнім наступної структури:

y(k)=дрейф + детермінований тренд + авторегресія + сезонна компонента +

+ ковзне середнє.

Для визначення типу тренду (детермінований чи стохастичний) пропонується порівнювати статистичні параметри якості моделей стаціонарної частини часового ряду, отриманих двома способами: шляхом вилучення тренду за допомогою поліному, та шляхом знаходження різниць першого або вищого порядку.

Для описання стохастичного тренду на основі моделі випадкового кроку запропоновані наступні моделі:

- Модель випадкового кроку плюс дрейф (зміщення або перетин). В даному випадку до моделі випадкового кроку додається константа : , де - адитивний білий шум.

- Модель випадкового кроку з додатковою шумовою складовою. В цій моделі залежна змінна визначається сумою стохастичного тренду та випадкової компоненти, тобто, , , де - незалежні процеси білого шуму з дисперсіями та відповідно; .

- Випадковий крок + шум + дрейф, яка має вигляд: , , де константа; незалежні процеси білого шуму. В даному випадку тренд містить випадкову складову та детерміновану .

- Модель локального лінійного тренду, яка поєднує в собі кілька процесів випадкового кроку з шумом: , , , де незалежні процеси білого шуму. В даному випадку зміни тренду спричиняються процесом випадкового кроку та шумовою складовою, тобто, складається з процесу випадкового кроку та білого шуму .

Наведені розв’язки запропонованих рівнянь, на основі яких будуються функції прогнозування. Наведені конкретні приклади застосування означених моделей і виконано їх аналіз на ефективність прогнозування часових рядів.

В розділі також запропоновано технологію виділення стохастичного тренду із узагальненого процесу АРІКС(p,1,q), яка складається з наступних кроків:

Крок 1. Використовуючи ряд вимірів , обчислити послідовність перших різниць і побудувати модель АРКС для даного процесу.

Крок 2. Для кожного моменту часу обчислити за допомогою отриманої на попередньому кроці моделі, прогнози , для .

Використовуючи спрогнозовані значення, для кожного обчислити суму: . Наприклад, при для необхідно обчислити суму: . Також, можна записати: .

Звідси можна записати, що стохастична частина тренду буде представлена в момент наступним виразом: , де детермінована частина тренду. Аналогічно можна записати суму для моменту : . Для ряду, що складається з спостережень, компонента випадкового тренду в момент часу визначається сумою: . В результаті отримаємо послідовність значень сум: .

Крок 3. Формування нерегулярної компоненти ряду: .

Для більшості рядів значення можна брати невеликим, наприклад, для процесу, що описується рівнянням: . Якщо модель АРКС, що побудована на першому кроці, містить коефіцієнти авторегресії, які повільно спадають, то необхідно брати відносно великим, таким щоб .

На основі вищезазначеного пропонується моделювати і прогнозувати значення часового ряду в три етапи:

1. Моделювання, виділення та прогнозування тренду.

2. Моделювання та прогнозування коливальної складової.

3. Побудова прогнозу ряду як суми прогнозів знайдених на першому та другому етапах.

Запропонована методика забезпечує формування високоякісних оцінок короткострокових прогнозів процесів з випадковими трендами.

Загальна схема моделювання та прогнозування часових рядів з трендом наведена на рис. 1.

Рис. 1. Схема методу моделювання та прогнозування часових рядів

У третьому розділі „Аналіз і моделювання стохастичної волатильності з використанням байєсового підходу” розглянута стохастична модель волатильності:

,

,

,

де - часовий ряд статистичних даних, на основі яких будується модель; , , , - параметри моделі; - умовна дисперсія процесу; і - стохастичні незалежні процеси білого шуму, та запропоновано її вдосконалення - порогову модель стохастичної волатильності, яка має наступний вигляд:

,

,

,

де - випадкова змінна Бернуллі:

Як і в початковому формулюванні, та є стохастично незалежними. В момент часу , коли має місце несподіване пониження ціни внаслідок надходження невтішних новин, та . Навпаки, якщо є хороші новини в момент часу , то і . Тому значення визначається знаком величини . В пороговій моделі стохастичної волатильності значення параметрів та переключаються між цими двома режимами, які відповідають, наприклад, підвищенню та падінню цін активів.

Задачу оцінювання параметрів моделі стохастичної волатильності можна розв’язати завдяки розвитку сучасних комп’ютерних технологій, які надали можливість реалізувати метод Монте Карло для марковських ланцюгів (МКМЛ).

Алгоритм генерування даних та обчислення параметрів запропонованої моделі складається з наступних кроків:

(1)

(2)

(3)

(4)

Насамкінець, необхідно обчислити . Це може бути виконано з умови, що повна умовна щільність є пропорційною до

.

Сформульовано алгоритм формування вибірки за методом МКМЛ та обчислення параметрів розподілу:

(1)

(2)

(3)

(4)

(5)

(6)

Закінчення ітерації алгоритму за методом МКМЛ.

Після виконання ітерацій, необхідних для дискретизації за Гіббсом, отримуємо наближення (апроксимацію) вибірки зі спільного апостеріорного розподілу , позначеного як . Згладжені оцінки , () є оцінками , отриманими з маржинального апостеріорного розподілу . Природним вибором є маржинальне апостеріорне очікування, , яке може бути оцінене як вибіркове середнє: .

Щоб спрогнозувати майбутню дисперсію, використовуючи наявну поточну інформацію, необхідно згенерувати вибірки з при . Це може бути ефективно виконано методом композиції. Так, при j = 1 можна записати:

Даний підхід узагальнено для обчислення багатокрокового прогнозу. Наприклад, оскільки

то для прогнозування необхідно додати ще два кроки:

(1) Обчислити з .

(2) Обчислити з

для , де .

Виконано дослідження моделі та аналіз чутливості моделі до припущень. Наведено приклади застосування методу до реальних даних та умови застосування імітаційного моделювання. Розглянуто багатовимірну стохастичну модель на прикладі двовимірної моделі волатильності.

У четвертому розділі „СППР на основі часових рядів при аналізі моделюванні та прогнозуванні нестаціонарних процесів” розроблено архітектуру системи підтримки прийняття рішень при моделюванні та прогнозуванні нестаціонарних процесів довільної природи. Створено комп’ютерну систему обробки даних, побудови математичних моделей та прогнозування розвитку процесів. Система має гнучку архітектуру, яка передбачає введення нових алгоритмічних модулів оцінювання моделей, прогнозування та визначення кращого прогнозу. Структурна схема СППР зображена на рис. 2.

Розроблено інтерфейс користувача, який поєднує елементи природномовного та адаптивного інтерфейсів і дає можливість:

· прямого доступу до будь-яких аналітичних розрізів інформації, що зберігається в базі;

· швидко отримувати необхідну інформацію, що потрібна в поточний момент часу;

· зосереджуватися на тому, що треба одержати з бази, а не на тому, як це зробити;

· вчасно контролювати правильність занесення інформації в базу;

· доповнити інформаційну систему інтелектуальною технологією, що дозволить в остаточному підсумку скоротити витрати на її експлуатацію і підвищити ефективність роботи з нею в цілому.

Таким чином, програмне забезпечення інтерфейсного модуля забезпечує наступні можливості:

· введення запитів до бази знань на внутрішній формальній мові системи;

· редагування запитів користувача;

· виконання запитів до бази експертних знань і вивід результатів на екран;

· перегляд проміжних результатів роботи;

· поповнення і корегування бази експертних знань у режимі діалогу;

· верифікацію відповідей на запити.

Інтерфейс СППР також відповідає загальним принципам побудови інформаційних систем:

ѕ відповідність призначення і структури інтерфейсу поставленим цілям і задачам;

ѕ мінімізація затрат ресурсів користувача;

ѕ максимальне взаєморозуміння та непротиріччя;

ѕ незбитковості, користувач вводить тільки необхідну інформацію та не допускається повторення інформації, отриманої системою раніше;

ѕ безпосередній доступ до системи підказок;

ѕ гнучкість - інтерфейс дозволяє спілкуватися з системою користувачам з різними рівнями підготовки;

ѕ максимальна концентрація користувача на задачі, що розв’язуються, і локалізації повідомлень про помилки;

ѕ легкість користування і простота навчання;

ѕ надійність - система надійна з точки зору користувача. Тобто, вона готова до роботи завжди, коли в цьому виникає необхідність, перебої трапляються рідко, час відповідей системи не перевищує встановленої границі. В системі реалізуються можливості автоматичного збереження інформації;

ѕ врахування людського фактору.

Рис. 2. Структурна схема СППР

Побудовано дерево прийняття рішень при аналізі часових рядів, представлене на рис. 3.

Рис. 3. Дерево прийняття рішень при аналізі часових рядів

Технологія застосування дерева рішень складається з наступних кроків:

1. Попередня обробка та аналіз даних, що включає в себе: нормування, логарифмування, згладжування імпульсних адитивних значень. Перехід на крок 2.

2. Перевірка наявності нелінійностей визначається за допомогою тесту Фішера або кореляційних функцій вищих порядків. Якщо процес містить нелінійності, то переходимо до кроку 3, інакше - до кроку 4.

3. Визначення порядку нелінійності, побудова моделі за МГВА і лінійна апроксимація процесу з метою порівняння з нелінійною моделлю. Перехід на крок 9.

4. Перевірка процесу на стаціонарність за допомогою тесту Дікі-Фуллера (додаток В). Якщо процес стаціонарний, переходимо до кроку 9, інакше - до кроку 5.

5. Для перевірки наявності гетероскедастичноті застосовуються тести: Уайта, Бройша-Пагана/Годфрі, Голдфельда-Квандта. Наявність тренду визначається за допомогою тесту Дікі-Фуллера. Аналіз коінтегрованості процесів виконується за методикою Інгла-Грейнджера або Йохансена. Якщо процес гетероскедастичний, то переходимо до пункту 6, якщо містить тренд, то до кроку 7, інакше - до кроку 8.

6. Визначення типу моделі для описання гетероскедастичності: УАРУГ(p,q), експоненційна УАРУГ(p,q), УАРУГ-M або інша. Після вибору найбільш підходящої моделі переходимо до кроку 9.

7. Визначення способу вилучення або моделювання тренду включає в себе визначення порядку інтегрованості процесу або можливість описання тренду поліноміальною функцією, експоненціальною, логарифмічною або іншими функціями. Після вилучення тренду переходимо до кроку 9.

8. Для коінтегрованих процесів будується модель корекції похибок і переходимо до кроку 10.

9. Будується модель часового ряду та обчислюються критерії адекватності отриманої моделі і переходимо до кроку 10.

10. На основі обраної моделі, будується функція прогнозування. Обчислюється прогноз поведінки ряду, та визначаються оцінки точності прогнозу.

Для згладжування екстремальних адитивних значень запропоновано метод виявлення та обробки екстремальних значень, суть якого полягає в наступному:

1.

2.

Визначити раціональне число спостережень, необхідних для апроксимації, за виразом: , де – довжина вибірки.

3.

Обчислити: , , , ; . ; та .

4.

5.

Запропонована система представляє собою прототип СППР універсального типу, яка проектується на основі технічного завдання конкретного замовника. Створений прототип містить всі основні функції, необхідні для підтримки прийняття рішень при прогнозуванні динаміки змінних процесу, що моделюється, та дисперсії змінних, яка може розглядатися як міра ризику. Подальший розвиток СППР планується за рахунок використання нових математичних моделей руху фінансів та методів прогнозування. Зокрема, розробляється алгоритм прогнозування на основі використання теорії нечітких множин, що дозволить врахувати змінні якісного характеру, а також алгоритм на основі квантильної регресії, за допомогою якого отримано прийнятні оцінки прогнозів для нестаціонарних процесів з високою динамікою.

Інформаційна СППР впроваджена для підтримки прийняття рішень на підприємстві „Український інноваційний банк”, закритому акціонерному товаристві виробничо-торговому підприємстві швейній фірмі „Дана” та в навчальному процесі КНУТД.

ВИСНОВКИ

1. Виконано аналіз сучасних методів моделювання і прогнозування стаціонарних і нестаціонарних процесів з нелінійностями відносно змінних. Встановлена необхідність створення інформаційних СППР для підтримки прийняття рішень при моделюванні і прогнозуванні.

2. Запропоновано моделі описання стохастичних трендів у вигляді лінійних комбінацій випадкових процесів. Зокрема, модель випадкового кроку плюс дрейф плюс шум та модель лінійного локального тренду. Наведено конкретні приклади застосування моделей такого типу до нестаціонарних процесів і виконано аналіз отриманих математичних моделей з метою їх застосування до розв’язку задачі прогнозування.

3. Запропоновано процедуру декомпозиції тренду на складові – випадковий крок, шум і дрейф, яка забезпечує виконання коректного аналізу процесів із стохастичними трендами і отримання функцій прогнозування на довільне число кроків із заданими характеристиками точності.

4. Для описання динаміки дисперсії запропоновано стохастичну порогову модель волатильності, яка не має недоліків відомих моделей АРУГ та УАРУГ, пов’язаних з низькою адекватністю моделі щодо описання випадкових впливів, які мають різні знаки. Зокрема, модель забезпечує адекватне описання ефекту левериджу, який проявляється у від’ємній кореляції доходів з дисперсією нев’язок моделі.

5. Розроблено інформаційну технологію оцінювання стохастичної моделі волатильності на основі Байєсового підходу, який зведено до методу Монте Карло для марковських ланцюгів. Перевагою даного методу є можливість отримання гарантованих оцінок параметрів нелінійної моделі в умовах наявності стохастичних збурень. Виконано комп’ютерне моделювання, яке підтвердило коректність запропонованих математичних основ методу оцінювання.

6. Наведено технологію виділення стохастичного тренду у вигляді послідовності трьох етапів, яка забезпечує формування математичних моделей, що описують нерегулярні компоненти стохастичних процесів з нелінійностями.

7. Розроблено технологію прийняття рішень в СППР, яка ґрунтується на комбінованому застосуванні методів структуризації проблем, попередньої обробки даних, математичних і статистичних моделей процесів, множини методів оцінювання моделей і множини критеріїв аналізу їх адекватності і визначення якості прогнозів. Дана система характеризується новими функціональними можливостями щодо моделювання і прогнозування нестаціонарних процесів з випадковими трендами і волатильністю.

8. Побудовано дерево прийняття рішень при аналізі часових рядів, використання якого дозволяє дослідити властивості даних, визначити наявність нестаціонарностей та коінтегрованості процесів. Застосування дерева прийняття рішень дає можливість структурувати проблему прийняття рішень при моделюванні та прогнозуванні нестаціонарних процесів.

9. На основі розроблених технологій і моделей створена інформаційна система підтримки прийняття рішень при аналізі, моделюванні та прогнозуванні нестаціонарних процесів з трендом і гетероскедастичністю. СППР відрізняється високою якістю інтерфейсу, побудованого із врахуванням вимог людського фактору, функціональною повнотою, гнучкістю структури і її відкритістю для розширення функцій. Система впроваджена в навчальний процес технічного університету, на підприємстві і в банківській системі.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ за темою дисертації

1. Демківський Є. О. Порівняльний аналіз методів моделювання фінансових ризиків // Вісник КНУТД. – 2004. - № 3. – С. 99 – 104.

2. Бідюк П. І., Щербань В.Ю., Демківський Є. О. Проектування адаптивного інтерфейсу користувача систем підтримки прийняття рішень // Вісник КНУТД. – 2004. - № 6. – С. 37 – 43.

3. Демківський О. Б., Демківський Є. О. Метод прогнозування ризиків фінансово-економічних процесів // Зб. наук. пр. Інституту проблем моделювання в енергетиці НАНУ. - Київ: Вип. 26. – 2004.- С. 25 – 32.

4. Демковский Е. А. Методы удаления детерминированных и стохастических трендов // Электронное моделирование. – 2005. – Т. 27. – № 3. – С. 23 – 38.

5. Бідюк П.І., Щербань Ю.Ю., Щербань В.Ю., Демківський Є.О. Системи підтримки прийняття рішень – проектування та реалізація.-Київ: КНУТД, 2004. – 112 с.

6. Бідюк П.І., Демківський Є.О. Розробка технологій побудови інформаційних систем підтримки прийняття рішень. // Зб. наук. пр. Інституту проблем моделювання в енергетиці НАНУ. - К. : вип. 24. – 2004.- С. 117 - 125.

7. Демківський Є.О. Аналіз, моделювання і вилучення стохастичних трендів / Праці міжнародної наукової конф. “Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій”, Т. 1. – Євпаторія – 2005. – С. – 85-88.

8. Демківський Є.О. Методи моделювання детермінованих і стохастичних трендів часових рядів / Праці II-ї міжнародної школи-семінару “Теорія прийняття рішень”. – Ужгород – 2004. – С. 31.

9. Демківський Є.О. Технологія побудови систем підтримки прийняття рішень / Праці VI міжнародної науково-практичної конференції студентів, аспірантів та молодих вчених. – Київ – 2004. – С. 102.

10. Демківський Є.О. Технологія прийняття рішень при моделюванні та прогнозуванні часових рядів. – Київ – 2005. – С. 115.

11. Бідюк П.І., Щербань В.Ю., Демківський Є.О. Проектування природно-мовного інтерфейсу користувача систем підтримки прийняття рішень // Вісник КНУТД. – 2005. - № 2. – С. 38 – 43.

12. Бідюк П.І., Демківський Є.О. Системний підхід до прогнозування динаміки часових рядів // Зб. наук. пр. Інститут комп’ютерних технологій, Інститут електроніки та систем управління НАУ. – Київ: 2006; Вип. 11. С. 71 – 74.

13. Демківський Є.О., Кузьмін В.М. Обробка екстремальних значень в задачі прогнозування якості продукції. // Праці IX Міжнародної науково-технічної конференції. – Київ.: НТУУ “КПІ”, 2007. – С. 180.

14. Демківський Є.О. Побудова моделі часового ряду з детермінованим трендом. // Наукові праці Миколаївського державного університету імені Петра Могили. Вип. 55. Комп’ютерні технології. – Миколаїв: Вид-во МДГУ ім. П. Могили, 2007. – 42-48 с.

АНОТАЦІЯ

Демківський Є.О. Інформаційні технології аналізу і прогнозування нестаціонарних процесів. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – автоматизовані системи управління та прогресивні інформаційні технології – Національний технічний університет України “Київський політехнічний інститут” МОН України, м. Київ, 2007 р.

Дисертацію присвячено проблемі побудови систем підтримки прийняття рішень при моделюванні та прогнозуванні нестаціонарних процесів, що описуються часовими рядами. Досліджено різні підходи до автоматизації вибору класу і структури моделей, які описують часові ряди. Запропоновано технологію виділення, моделювання та прогнозування детермінованих та стохастичних трендів. В роботі запропоновано нові моделі для описання стохастичних трендів, а також умови вибору кращої моделі за множиною статистичних параметрів. Запропонована порогова модель стохастичної волатильності для моделювання та прогнозування змінної у часі дисперсії. Розроблено технологію оцінки параметрів зазначеної моделі, наведені конкретні приклади та умови ефективного застосування запропонованих моделей. Розроблено архітектуру та створено прототип СППР при моделюванні та прогнозуванні нестаціонарних процесів.

Ключові слова: система підтримки прийняття рішень, комп’ютерне моделювання, нестаціонарні процеси, методи прогнозування, регресійні моделі, волатильність, оцінювання параметрів.

АННОТАЦИЯ

Демковский Е.А. Информационные технологии анализа и прогнозирования нестационарных процессов. – Рукопись.

Диссертация на соискание ученной степени кандидата технических наук по специальности 05.13.06 – автоматизированные системы управления и прогрессивные информационные технологии – Национальный технический университет Украины “Киевский политехнический институт” , г. Киев, 2007г.

Диссертация посвящена проблеме построения систем поддержки принятия решений при моделировании и прогнозировании нестационарных процессов, представленных временными рядами. В частности, рассмотрены задачи моделирования стохастических трендов и процессов с переменной во времени дисперсией. Исследованы различные подходы к автоматизации выбора класса и структуры моделей, описывающих эти процессы. Предложена информационная технология выделения, моделирования и прогнозирования детерминированных и стохастических трендов. В работе предложены новые модели стохастических трендов, а также условия выбора лучшей модели с помощью множества статистических параметров качества. Прогноз нерегулярной компоненты тренда формируется с помощью остатков модели АРСС(р,q), построенной для исходного ряда данных. Для каждого момента времени, на котором определен процесс, оцениваются многошаговые прогнозы для первых разностей, которые используются далее для формирования значений нерегулярного тренда. Предложена трехэтапная технология построения функции прогнозирования, а именно: моделирование, выделение и прогнозирование тренда; моделирование и прогнозирование колебательной составляющей; построение прогноза ряда как суммы прогнозов найденных на первом и втором этапах.

Предложена пороговая модель волатильности для математического описания и прогнозирования переменной во времени дисперсии. Отличительной особенностью данной модели является то, что она позволяет учесть в явном виде эффект левериджа и влияние разнознакового возмущения на волатильность процесса. Благодаря этому существенно улучшаются качественные и количественные характеристики модели процесса в целом. В частности, существенно повышается качество прогноза условной изменяющейся дисперсии процесса, которая используется для анализа технических, экономических, финансовых и других рисков. Разработана технология оценивания параметров стохастической модели волатильности на основе байесовского подхода и процедуры Монте Карло. Оценивание параметров стохастической модели волатильности основывается на формировании априорных распределений оценок, применении метода дискретизации Гиббса и оценивании параметров апостериорных распределений. Приведены конкретные примеры применения данного метода оценивания и определены условия его эффективного использования. Проведено исследование чувствительности предложеной модели к допущениям.

Разработана архитектура и реализована система поддержки принятия решений при моделировании и прогнозировании процессов различной природы, представленных временными рядами. СППР имеет открытую архитектуру для расширения ее функциональных возможностей, дополнения новыми методами моделирования, оценивания и принятия решений. Предложено оригинальное дерево принятия решений, реализованное в системе, которое позволяет без получения экспертных оценок автоматически моделировать и прогнозировать временные ряды. Система апробирована на ряде нестационарных процессов различной природы и внедрена в банковской системе, производственной фирме, а также в учебном процессе Киевском национальном университете технологий и дизайна. Постоянно ведутся работы по модификации и улучшению характеристик системы, в частности, расширяются возможности в отношении оценивания рисков на основе прогнозов волатильности, а также построения новых моделей для описания стохастических трендов.

Ключевые слова: система поддержки принятия решений, компьютерное моделирование, нестационарные процессы, методы прогнозирования, регрессионные модели, волатильность, оценивание параметров.

ABSTRACT

Demkivsky Ye.O. The Information technologies for analysis and forecasting of nonstationary processes. – Manuscript.

Thesis for the candidate of sciences degree by the speciality 05.13.06 – Automated control systems and progressive information technologies – Institute for Applied System Analysis at the National Technical University of Ukraine “KPI” MES of Ukraine, Kyiv, 2007.

The problem of modeling and forecasting of nonstationary processes in various areas of human activities is considered as well as computer based decision support system (DSS) that helps to perform the analysis. New information technology based procedures are developed that are used to describe mathematically deterministic and stochastic trends and to generate short term quality forecasts. Also a procedure for describing an irregular part of a trend is proposed. A new threshold stochastic volatility model is proposed for describing conditional variance and a computational Bayesian procedure to evaluate the model parameters.

A decision support system is developed and implemented that is aiming to help with modeling and forecasting of financial and economic variables represented by time series. We studied various approaches to automatic choice of a class and structure of mathematical models that describe the time series selected. The methodology of various regression model construction is proposed that provides a possibility for a user to determine model structure in the process of interaction with DSS. An original methodology for heteroscedastic processes model construction is developed that provides a possibility for adequate model construction using threshold stochastic volatility approach. Several forecasting techniques are studied and the best one selected for a short-term prognosis. A comparative analysis of the techniques had been carried out using as a basis the models constructed. An open architecture DSS was developed that is aiming to generate prognosis for industrial technology, financial and economic processes, more specifically, carbon electrodes production, stock prices, and macroeconomic processes.

Keywords: nonstationary processes, computer simulation, forecasting techniques, regressive models, decision support system, conditional heteroscedasticity, parameter estimation, volatility models.