ТАРАСЕНКО Руслан Олексійович

УДК 681.322:517.444

МЕТОД АНАЛІЗУ І ПІДВИЩЕННЯ ЯКОСТІ НАВЧАЛЬНИХ ВИБІРОК НЕЙРОННИХ МЕРЕЖ ДЛЯ ПРОГНОЗУВАННЯ ЧАСОВИХ РЯДІВ

05.13.06 – Автоматизовані системи управління

та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Одеса – 2002

Дисертацією є рукопис.

Робота виконана на кафедрі системного програмного забезпечення Одеського національного політехнічного університету Міністерства освіти і науки України.

Науковий керівник кандидат технічних наук, доцент

Крісілов Віктор Анатолійович, завідувач кафедри системного програмного забезпечення Одеського національного політехнічного університету

Офіційні опоненти:

- доктор технічних наук, професор Становський Олександр Леонідович, завідувач кафедри нафтогазового та хімічного машинобудування Одеського національного політехнічного університету;

- кандидат технічних наук, доцент Купріянов Андрій Борисович, доцент кафедри прикладної математики та обчислювальної техніки Одеської державної академії харчових технологій.

Провідна установа Інститут проблем реєстрації інформації, відділ цифрових моделюючих систем, НАН України, м. Київ.

Захист відбудеться “ 03 “ липня 2002 року о 1330 на засіданні спеціалізованої вченої ради Д 41.052.01 в Одеському національному політехнічному університеті за адресою: 65044, м. Одеса, проспект Шевченка, 1, ауд. 400 - А.

З дисертацією можна ознайомитись у бібліотеці Одеського національного політехнічного університету за адресою: 65044, м. Одеса, проспект
Шевченка, 1.

Автореферат розісланий “_31_” травня 2002 року.

Вчений секретар спеціалізованої

вченої ради, професор Ямпольський Ю.С.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Від якості прогнозування часових рядів (ЧР) залежить ефективність прийняття рішень у більшості задач управління та економіки. Бурхливий розвиток таких засобів прогнозування як нейронні мережі (НМ) в останні роки дозволив істотно підвищити точність розв’язання задач прогнозування. Однак теорія прогнозування ЧР засобами НМ на сьогоднішній день недостатньо розвинута. Для такого прогнозування часто застосовуються методи, розроблені для інших засобів апроксимації функцій. На жаль, ці методи недостатньо використовують можливості і переваги НМ. Більшість підходів, що застосовуються при прогнозуванні ЧР, не формалізовані, евристичні, і для них не розроблені відповідні методи й алгоритми.

Одним з найбільш складних етапів при прогнозуванні за допомогою НМ є формування навчальної вибірки (НВ). На цьому етапі визначається, яка інформація про поведінку прогнозованої змінної (ПЗ) буде подана на вхід НМ. Від якості одержаної НВ залежить ефективність прогнозування в цілому. На сьогоднішній день відсутні ефективні формальні критерії оцінки якості НВ, на підставі яких можлива розробка методик, орієнтованих на оптимізацію НВ. Відсутні формальні, обґрунтовані з точки зору особливості задачі і засобів її розв’язання, методики підвищення якості НВ. Оскільки від якості розв’язання задачі прогнозування залежить ефективність прийнятих рішень у будь-якій галузі техніки й, особливо, в задачах управління та економіки, можна стверджувати, що дослідження, спрямовані на створення і впровадження сучасних методів аналізу і підвищення якості навчальної вибірки для НМ у задачах прогнозування часових рядів, є актуальними.

Дисертація виконувалася відповідно до завдань НДР Одеського національного політехнічного університету № 329-62 “Апаратно-програмні засоби автоматизованих систем” і № 329-73 “Програмні засоби автоматизованих систем. Розробка і дослідження методів і засобів автоматизованих систем” (держ. рег. № U001400).

Метою дисертаційних досліджень є підвищення вірогідності прогнозу і зменшення часу побудови прогнозуючої моделі шляхом розробки методу й автоматизованих засобів попереднього аналізу і цілеспрямованого підвищення якості навчальної вибірки в задачах прогнозування часових рядів засобами нейрообчислень.

Для досягнення зазначеної мети в роботі були розв’язані такі задачі:

-

-

-

-

-

Об'єктом дослідження є процес прогнозування часових рядів з використанням нейронних мереж.

Предметом дослідження є побудова навчальної вибірки для прогнозування.

Методи дослідження базуються на загальній теорії систем, теорії імовірності, математичній статистиці й аналізі часових рядів, теорії штучних нейронних мереж і нейрообчислень.

Наукова новизна одержаних результатів полягає в розвитку і поглибленні теоретичних і методологічних основ аналізу і підвищення якості навчальної вибірки для нейронних мереж у задачах прогнозування часових рядів. У дисертаційному дослідженні одержані такі нові наукові результати:

-

-

-

-

Практичне значення одержаних результатів. Використання створеного в роботі програмного препроцесора дозволило підвищити ефективність прогнозування в задачах валютного ділінгу: за рахунок застосування запропонованих методик аналізу і підвищення якості НВ для НМ підсумковий прибуток підвищений до 23,6% при зменшенні витрат часу на формування моделі прогнозування, в середньому, в 4,85 рази. Висновки, що одержані в роботі, підтверджуються випробуваннями в ділінговом центрі ТОВ “Острів”.

Програмна реалізація методу аналізу і підвищення якості навчальної вибірки для НМ прийнята до використання в Інституті проблем ринку та економіко-екологічних досліджень НАН України. Запропонований метод використаний в задачах оцінки та аналізу процесів соціально-економічного розвитку приморських міст (робота на замовлення Національної агенції з морських досліджень i технологій), а також в задачах соціально-економічного моніторингу в Одеській області та південному регіоні. Застосування розробленого в дисертаційній роботі програмного препроцесора 4cast підвищило якість аналізу процесів, що оцінюються та прогнозуються, а також зменшило час побудови моделі в 4-5 разів.

Запропоновані методики, а також алгоритми і програми, розроблені для їхньої реалізації, впроваджені в навчальний процес на кафедрі системного програмного забезпечення Одеського національного політехнічного університету та використовуються в дисциплінах, які вивчають системи штучного інтелекту, засоби інтелектуальної обробки інформації, а також у дипломному проектуванні.

Особистий внесок здобувача полягає в аналізі існуючих і розробці нових методів попереднього аналізу і цілеспрямованого підвищення якості НВ в задачах прогнозування ЧР засобами нейрообчислень.

Дисертантом виконаний аналіз літературних джерел за напрямком дослідження, розроблені методики, доведені теореми, які покладені в основу математичного забезпечення методу, розроблена програмна система підвищення якості НВ, що реалізує запропонований метод, розроблені та доведені до практичного використання всі її підсистеми. Автор брав участь у випробуваннях програмної системи та в аналізі результатів прогнозування.

Апробація результатів роботи. Основні результати роботи доповідалися та обговорювалися на Міжнародному семінарі “The economic transition: modeling and reality” (Варшава, Польща, 1995), Міжнародній виставці-симпозіумі “Комп'ютер, банк, офіс” (Одеса, 1996), Сьомій Міжнародній конференції “Information Processing and Management of Uncertainty in Knowledge-based Systems” (IPMU), (Париж, Франція, 1998), а також на розширеному засіданні наукового семінару кафедри системного програмного забезпечення Одеського національного політехнічного університету (Одеса, 2001).

Розроблений програмний препроцесор демонструвався на III і IV Міжнародних виставках-симпозіумах EnterEx’95, EnterEx’96 “Сучасні інформаційні технології” (Київ 1995, 1996), Міжнародній виставці-симпозіумі “Комп'ютер, банк, офіс” (Одеса, 1996), Міжнародній виставці “CEBIT 2000” (Ганновер, Німеччина, 2000).

Публікації. Результати дисертації викладені в 5 публікаціях, у тому числі – у 4 статтях в журналах (з них 3 – у спеціальних) і матеріалах конференції.

Структура дисертації: Дисертація складається з вступу, чотирьох розділів, висновків і додатку. Обсяг дисертації – 121 стор., додатків – 13 стор. Дисертація містить 38 рисунків, 8 таблиць (з них – 4 рисунка та одна таблиця в додатках) і посилання до 106 літературних джерел.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі наведена загальна характеристика роботи, яка підкреслює її актуальність, відповідність державним науковим програмам, наукову новизну і практичну значимість, позначені об'єкт і предмет дослідження, сформульовані його мета і задачі.

В першому розділі розглядається проблема формування НВ для НМ при прогнозуванні ЧР. Описані основні параметри моделі прогнозування. Проаналізовані НМ, як універсальний засіб апроксимації функцій. Розглянуто основні відомі методики і проблеми формування НВ для НМ у задачах прогнозування. Проведено аналіз недоліків відомих критеріїв якості НВ. Обґрунтовано вибір предмета дослідження, сформульовані мета і задачі дослідження.

Другий розділ присвячений розробці методу аналізу і підвищення якості НВ для НМ у задачах прогнозування. Запропоновані два принципи, відповідно до яких проводиться формування НВ.

Принцип інваріантості. Опис ситуації повинен бути інваріантним стосовно моменту часу. Однакові ситуації повинні бути описані однаково, не залежно від моменту часу, в який вони виникли.

Принцип обмеженості кількості розпізнаваних класів. Для практичних задач кількість розпізнаваних класів НВ повинна бути обмеженою. Принцип випливає з властивостей НМ, як універсального засобу апроксимації функцій, і визначення задачі прогнозування як задачі класифікації.

Введено основні поняття і визначення методу формування вибірки. Розглянемо ряд , що генерується деякою динамічною системою. Для формування НВ проводиться перехід від вихідного часового ряду , у якому значення ряду залежать від часу, до ряду , у якому значення залежать від попередніх значень ряду.

Ряд перетворюється в ряд ,

, (1)

де – деяке функціональне перетворення, виконання якого забезпечує відповідність принципу інваріантості;

– ступінь залежності ряду від ряду .

Ряд задає залежність

.

Ряд розглядається як функція

, (2)

де = є описом ситуації, у результаті розвитку якої прогнозована перемінна (ПП) прийняла значення ;

( ) – номер члена ряду , для якого формується залежність (2), і який може розглядатися як номер набору НВ;

– період прогнозування;

– інтервал часу, рівний інтервалу часового ряду;

– розмір опису ситуації;

– номер виміру, що належить ряду , з якого починається опис ситуації:

.

На основі ряду сформуємо НВ , де – навчальний набір;

, – вхідний вектор збудження НМ. Вектор являє собою опис ситуації, у результаті якої ПП прийняла значення ;

– еталонний вихідний вектор збудження, який відповідає .

Значення визначає – номер класу розпізнаваного образа, відповідно до прийнятої розбивки на класи. За значенням , у залежності від обраного методу, формується еталонний вихідний вектор збудження для набору, де

– кількість класів у даній розбивці;

– еталонна енергія збудження j-го нейрона для класу .

При введенні ряду понять більш зручним є наступний вигляд запису навчального набору:

,

де – опис розпізнаваної ситуації;

– номер класу розпізнаваного образа.

Повторюваність і суперечливість НВ. На підставі аналізу, проведеного в розділі 1, введені параметри якості НВ, які показують, наскільки надмірно (повно) і несуперечливо описана функція, що апроксимується. Повнота обумовлюється тим, наскільки компактні класи. Несуперечність – тим, наскільки віддалені класи один від одного. Запропоновано наступні показники якості НВ:

– повторюваність НВ – показник, що характеризує кількість наборів, що описують однакові розпізнавані образи і належать одному класу; даний показник характеризує надмірність (повноту) опису функції, що апроксимується.

– суперечливість НВ – показник, що характеризує кількість наборів, що описують однакові розпізнавані образи, але приналежних різним класам; даний показник характеризує суперечливість опису функції, що апроксимується.

Ці показники наочні, оскільки характеризують розподіл навчальних наборів у багатомірному просторі опису розпізнаваної ситуації. Ці показники конструктивні, оскільки вид цього розподілу в задачі прогнозування ЧР можна змінювати за рахунок зміни мірності простору, змінюючи розмір опису розпізнаваного образа навчальних наборів та за рахунок зміни границь між розпізнаваними класами шляхом зміни їх формулювання.

Для визначення чисельного значення показників необхідно вибрати спосіб визначення міри збігу образів навчальних наборів, оскільки в задачі прогнозування вони, узагалі говорячи, задаються в аналоговій, а не в дискретній формі.

Спосіб дискретизації образів навчальних наборів. Для визначення міри збігу образів, що виконується при обчисленні суперечливості і повторюваності навчальних наборів, пропонується перейти від опису образа у виді значень ЧР до його опису послідовністю номерів класів, до яких належать відповідні значення ЧР.

Сформульована і доведена теорема про властивості запропонованих показників.

Теорема 2.1. Показники повторюваності і суперечливості НВ є незалежними. Доказ теореми базується на визначеннях повторюваності і суперечливості НВ.

Введено поняття якості НВ як функції її повторюваності і суперечливості:

.

Якість вибірки й успішність навчання НМ залежить від сполучення значень повторюваності і суперечливості НВ, що випливає з теореми про їхню незалежність. Узагалі говорячи, чим більше повторюваність і менше суперечливість НВ, тим вище її якість. Однак, у реальних задачах висока повторюваність і низька суперечливість може говорити про неповноту НВ, а не про її високу якість. На основі значень повторюваності і суперечливості по окремості і їхнього комплексу запропонований двокомпонентний критерій якості НВ.

Аналіз повторюваності навчальної вибірки. На підставі уведених визначень і проведеного аналізу процесу прогнозування і навчання НМ повторюваність НВ є характеристикою: повноти (надмірності) опису функції , що апроксимується; виконання принципу інваріантості; якості формулювання класів. В роботі розглянуто характеристики НВ, з точки зору результатів навчання на ній НМ, для слідуючих діапазонів значень повторюваності НВ: ; ;;. Вказані можливі причини та наслідки належності значення повторюваності до кожного з діапазонів.

Запропоновані рекомендовані значення для величин , , в задачах прогнозування складних фінансових ЧР. Рекомендації зроблені на основі експериментів по формуванню НВ і навчанню НМ на основі багатошарового персептрона і прогнозуванню більш ніж 40 фінансових ЧР (курсів валют). Значення не залежить від особливостей розв'язуваної задачі прогнозування і моделі НМ для якій формується НВ. На підставі проведених експериментів його можна оцінити як . Значення залежить від особливостей розв'язуваної задачі і моделі НМ, для якої формується НВ. Рекомендоване значення . Значення залежить від особливостей розв'язуваної задачі прогнозування і практично не залежить від моделі НМ. Рекомендоване значення . Значення і є параметрами запропонованого двохкомпонентного критерію якості НВ.

Аналіз суперечливості навчальної вибірки. З прийнятих визначень, проведеного аналізу процесу прогнозування і навчання НМ витікає, що на підставі аналізу суперечливості НВ можна робити висновок про якість формулювання класів – наскільки вони віддільні друг від друга і давати деякі рекомендації з архітектури НМ.

В роботі розглянуто характеристики НВ з точки зору результатів навчання на ній НМ для слідуючих діапазонів значень суперечливості НВ: , , . Значення і залежать від особливостей розв'язуваної задачі прогнозування і моделі НМ для якій формується НВ. Значення , фактично, визначається максимальною суперечливістю даних, при якій модель НМ здатна стійко навчитися при класичному способі формування архітектури НМ, а значення – при формуванні НМ із надлишковою архітектурою (додаткові нейрони в схованому шарі і/чи додаткові сховані шари). На підставі проведених експериментів у задачах прогнозування фінансових ЧР для моделі на основі багатошарового персептрона ці значення можна оцінити як і . Значення і є параметрами запропонованого двохкомпонентного критерію якості НВ.

Аналіз сполучень повторюваності і суперечливості навчальної вибірки. Оскільки повторюваність і суперечливість є незалежними параметрами, для навчання НМ важливо не стільки співвідношення між ними, скільки їхній комплекс (рис. 1). В роботі розглянуто комплекс значень повторюваності і суперечливості НВ з точки зору її якості і успішності навчання на ній НМ. На підставі аналізу значень повторюваності і суперечливості також робиться висновок про способи підвищення якості НВ з метою забезпечення успішного навчання НМ.

У роботі виявлені та наведені характеристики 9 можливих сполучень значень повторюваності і суперечливості НВ. Для кожної комбінації наведена характеристика НВ і виконана оцінка успішності навчання НМ. Запропоновано способи оптимізації процесу формування НВ. Експериментально виявлено, що комплекс значень 8 є оптимальним з погляду якості навчання НМ на цій вибірці.

Проблема неоднозначності вибору розміру образа навчальних наборів. Одним з основних засобів зниження суперечливості НВ є збільшення розміру опису ситуації. На підставі теореми Такенса для динамічних систем можна стверджувати, що для опису ситуації існує така глибина занурення в минуле , яка забезпечує однозначну залежність значення ряду від його попередніх значень. Однак, для різних ділянок ЧР ця необхідна глибина занурення різна. Для формального опису проблеми вибору глибини занурення (розміру опису ситуації) введене поняття складності ділянки ЧР.

Теорема 2.2. Із збільшенням складності наборів НВ суперечливість НВ падає швидше, ніж її повторюваність.

Доказ теореми базується на аналізі випадкових величин, що описують імовірність зміни повторюваності і суперечливості у класі при зміні розміру опису ситуації. Ці випадкові величини мають гіпергеометричний розподіл. Із дослідження параметрів розподілу цих величин витікає, що при збільшенні складності наборів імовірність зниження суперечливості НВ більше, ніж імовірність зниження повторюваності НВ.

Методика підвищення якості НВ складається із застосування до даних ЧР попереднього перетворення даних (ППД) першого рівня, що забезпечує підвищення повторюваності НВ за рахунок виконання принципу інваріантості, і подальшому застосуванні до даних ЧР ППД другого рівня, що забезпечує однозначність вибору розміру опису образа навчальних наборів. Ці перетворення надають можливість зниження суперечливості за рахунок збільшення розміру опису образа навчальних наборів без істотного зниження повторюваності. Методика пропонує саме таку послідовність виконання ППД, оскільки виконання принципу інваріантості є необхідною умовою успішного навчання НМ.

Попереднє перетворення даних першого рівня. На першому етапі застосування методики підвищення якості НВ над ЧР виконується ППД першого рівня, призначене для забезпечення інваріантості опису розпізнаваного образа навчальних наборів. Виконання принципу інваріантості приводить до підвищення повторюваності НВ, оскільки, по визначенню, повторюваність такої вибірки вище, ніж в НВ для який принцип інваріантості не виконується. Формальним відображенням ППД в описі процесу формування НВ є перехід від початкового ряду до ряду з використанням функціонального перетворення (1). Вид ППД першого рівня, яке забезпечує виконання принципу інваріантості, залежить від конкретної задачі. Для ППД першого рівня у роботі формалізован перехід до опису ЧР у вигляді відносних змін ПП.

Попереднє перетворення даних другого рівня. Для забезпечення несуперечливості вибору розміру розпізнаваного образа, пропонується, за рахунок виконання ППД другого рівня, перетворювати опис ЧР таким чином, щоб він мав однакову складність на всьому протязі ЧР. Після того як знята суперечливість, розмір образа може бути обраний простим перебором. У процесі виконання ППД другого рівня, ЧР розбивається на ділянки, складність яких однакова. Кожна з цих ділянок, узагалі говорячи, має різну довжину. Для кожної з ділянок формується стислий опис, за рахунок завдання її не переліком значень, а коефіцієнтами апроксимуючої функції. Таким чином, вектор стислих описів ділянок ЧР по визначенню має рівномірну складність на усьому своєму протязі. Саме на його основі пропонується проводити формування НВ. Апроксимуюча функція однакова для всіх ділянок і є параметром ППД другого рівня. Рекомендується вибирати апроксимуючу функцію такої ж складності, як у функції, що задає одиницю складності. У цьому випадку складність ділянок, на які розбивається ЧР, задає точність апроксимації ЧР.

Запропоновано модифікований метод формування НВ в задачах прогнозування ЧР, що відрізняється від методу “вікон” тим, що вхідне “вікно” , що задає розпізнаваний образ навчального набору, має перемінний розмір, що залежить від складності ділянки ряду, на якій формується навчальний набір. Модифікований метод дозволяє підвищити якість формованої НВ за рахунок зняття неоднозначності вибору розміру розпізнаваного образа навчальних наборів.

Для досягнення цього пропонується розділити поняття розміру опису образа і розміру вікна , що переміщається по ЧР. Ділянка ЧР, що розглядається через вікно , розбивається на ділянки, складність яких однакова. Кожна з цих ділянок, узагалі говорячи, має різну довжину. Для кожної з ділянок формується стиснутий опис за рахунок завдання її не переліком значень, а коефіцієнтами апроксимуючої функції. Розпізнаваний образ має фіксовану довжину і задається вектором стиснутих описів ділянок однакової складності. Розмір вікна визначається розмірністю цього вектора і довжинами кожної з ділянок. Таким чином, вікно завжди має такий розмір, щоб через нього було видно рівно ділянок однакової складності, де — розмір опису розпізнаваного образа (ситуації). В роботі наведено формальне описання модифікованого методу.

На підставі проведених досліджень і експериментів запропоновано ітеративний метод аналізу і підвищення якості НВ, що базується на: запропонованому в даній роботі двохкомпонентному критерії якості НВ; запропонованої в даній роботі методиці підвищення якості НВ; запропонованому в даній роботі модифікованому методі формування НВ. Метою методу є формування НВ, що задовольняє двохкомпонентному критерію якості. Задача прогнозування описується: параметрами прогнозування; формулюванням класів; даними часового ряду. Вимоги до формованої моделі прогнозування задаються вибором: значень повторюваності і суперечливості для двохкомпонентного критерію; виду апроксимуючої функції; припустимої погрішності апроксимації для ППД другого рівня. Метод задає послідовність застосування критерію якості, методиці підвищення якості НВ і метода формування НВ. В роботі наведено алгоритми методу і результати його застосування. Запропонований метод дозволяє знизити час формування прогнозуючої моделі за рахунок застосування двохкомпонентного критерію якості НВ та підвищити якість прогнозу за рахунок підвищення якості НВ.

Третій розділ присвячений розробці програмного препроцесора 4cast, який реалізує описаний вище метод аналізу і підвищення якості НВ. Програмний препроцесор 4cast призначений для формування й аналізу НВ на основі даних ЧР у задачах прогнозування. Препроцесор 4cast надає засоби для виконання наступних задач: опису задачі прогнозування; імпорту даних ЧР із баз даних більшості стандартних форматів; попереднього перетворення ЧР, відповідно до методу, викладеного у розділі 2; формування НВ на основі даних ЧР; аналізу одержаної НВ; одержання рекомендацій, відповідно до методу, викладеного у розділі 2, по підвищенню якості НВ. Препроцесор складається з:

-

-

-

-

Для користувача блоки програмної системи організовані у виді майстра формування НВ. Вхідними даними для препроцесора 4cast є текстовий файл (або база даних), що містить ЧР значень ПП. Вихідними даними є текстовий файл, що містить НВ для НМ. Препроцесор розроблений на мові програмування Java.

В четвертому розділі описані експерименти по аналізу властивостей НВ. Наведені результати трьох серій експериментів. Перша серія була присвячена дослідженню залежності параметрів НВ від розміру опису ситуації для ЧР різного виду і різних способів опису ситуації. Друга серія експериментів була присвячена дослідженню впливу параметрів НВ на результат навчання НМ. В другій серії використовували НВ, які є результатом першої серії. Третя серія експериментів була присвячена прогнозуванню ЧР на підставі моделей, одержаних у попередніх експериментах. Для завдання параметрів прогнозування і формування НВ на підставі ЧР використовували програмний препроцесор 4cast. Для побудови і навчання НМ застосовували універсальну програмну систему моделювання НМ Statistica–NeuralNets версії .0 і систему Neuro версії .1. Прогнозування ЧР виконували за допомогою систем Neuro і Omegaверсії .0. Експерименти були проведені з ЧР чотирьох видів, які найбільш часто зустрічаються: константний процес з імпульсними переходами; лінійний тренд; періодичний процес; складний процес, який є комбінацією кількох процесів.

У результаті експериментів підтверджена ефективність використання запропонованих у даній роботі показників повторюваності і суперечливості НВ для аналізу її якості. Результати експериментів цілком підтвердили правильність одержаної теоретично залежності повторюваності і суперечливості НВ від складності. На підставі експериментів знайдені межі оптимальних значень для повторюваності і суперечливості НВ. Результати експериментів показали необхідність застосування в задачах прогнозування ППД першого рівня для усіх видів ЧР і необхідність застосування ППД другого рівня для ЧР, які мають різний характер поведінки на різних ділянках. Таким чином, загальні результати експериментів цілком підтверджують теоретичні положення, одержані в даній роботі.

В роботі проведений аналіз ефективності запропонованих методів оцінки і підвищення якості НВ. Виконано порівняння обчислювальних витрат на навчання НМ і на обчислення повторюваності і суперечливості. Аналіз показує, що витрати часу на формування НВ за методом, запропонованим в даній роботі, не менш, ніж у 30 разів нижче, в порівнянні з витратами на навчання НМ. Після формування НВ методом “проб і помилок” одержуємо навчену НМ. Після формування НВ на основі аналізу критеріїв повторюваності і суперечливості необхідні додаткові витрати часу на навчання НМ одержаної НВ. У цілому, зниження витрат на побудову моделі прогнозування залежить від кількості розглянутих варіантів НВ і може бути оцінене як , де – число варіантів НВ, оброблених методом “проб і помилок”. Оскільки, як показує досвід, при прогнозуванні складних ЧР розглядається не менше 4 – 6 варіантів НВ, запропоновані методики забезпечують зниження витрат часу на побудову моделі прогнозування в 4,85 рази. Чим складніше задача прогнозування ЧР, тим ефективніше застосування запропонованих методик.

Застосування методик підвищення якості НВ, запропонованих у даній роботі, і розробленого програмного препроцесора 4cast до прогнозування курсу валют USD/GBP знизило помилку прогнозування до 22,6 %. Найменша помилка прогнозування, одержано при прогнозуванні за допомогою НМ, навченої на НВ, яка сформована стандартними методами дорівнювала 76,8 %. Таким чином, при прогнозуванні складних ЧР досягнуте підвищення точності прогнозування в 3,4 рази. Для задачі прогнозування курсу USD/GBP за рахунок застосуванням запропонованих у даній роботі методик досягнута ефективність 23,6 %. Висновки, одержані в роботі, підтверджені в ділінговом центрі ТОВ “Острів”, який є постачальником послуг міжнародного ринку Internet-торгівлі валютами – “Forex”. Нові наукові розробки впроваджені в навчальний процес в Одеському національному політехнічному університеті.

ВИСНОВКИ

1. Як показує огляд численних джерел інформації, якість НВ, а відповідно, і процес її формування, є суттєвими складовими, які впливають на результати прогнозування часових рядів методами нейрообчислень. Відсутність формалізму, а також критеріїв якості НВ при розв’язанні даної задачі, особливо при прогнозуванні складних часових рядів, істотно знижує точність прогнозу, найчастіше взагалі унеможливлюючи одержання достовірного прогнозу.

2. Запропоновано формальний опис процесу формування НВ в задачах прогнозування часових рядів.

3. Виявлено залежність показників якості навчання НМ від властивостей повторюваності і суперечливості НВ. На підставі цих властивостей запропоновані формальні кількісні показники якості НВ – її повторюваність і суперечливість.

4. Запропонований двохкомпонентний критерій якості НВ, заснований на її повторюваності і суперечливості. Запропоновано механізм оцінки якості навчання НМ до його проведення, що заснований на аналізі комплексу повторюваності і суперечливості НВ. Сформульована і доведена теорема про незалежність повторюваності і суперечливості НВ.

5. Виявлено механізм залежності якості НВ від складності ЧР, на якому вона формується, який полягає в тому що, чим більше відрізняється складність різних ділянок ряду, тим нижче якість НВ. Для складності ЧР дане кількісне визначення, що враховує особливості формування НВ для задачі прогнозування.

6. На підставі базисного принципу інваріантості і механізму залежності якості НВ від складності ЧР розроблена методика підвищення якості НВ, що складається з двох етапів: перший підвищує повторюваність НВ, а другий забезпечує несуперечливість вибору розміру опису розпізнаваного образа навчальних наборів.

7. Доведено теорему про те, що з ростом складності ЧР суперечливість НВ знижується швидше, ніж її повторюваність.

8. Розроблено метод формування НВ в задачах прогнозування ЧР. Метод дозволяє підвищити якість НВ за рахунок зняття неоднозначності вибору розміру розпізнаваного образа навчальних наборів. Від відомого методу “вікон” він відрізняється тим, що вхідне “вікно”, яке задає розпізнаваний образ навчального набору, має змінний розмір, що залежить від складності ділянки ряду, на який формується навчальний набір.

9. Розроблено ітеративний метод аналізу і підвищення якості НВ, що дозволяє знизити час формування прогнозуючої моделі і базується на: запропонованому в даній роботі двохкомпонентному критерії якості НВ; запропонованої в даній роботі методиці підвищення якості НВ; запропонованому в даній роботі методі формування НВ.

10. Застосування розробленого в роботі програмного препроцесора 4cast, який використовує запропоновані методики підвищення якості НВ, до прогнозування курсу валют USD/GBP знизило помилку прогнозування до 22,6 % (у 3,4 рази) в порівнянні з найменшою помилкою прогнозування, одержаною при прогнозуванні за допомогою НМ, навченої на навчаючій вибірці, сформованій стандартними методами. Для задачі прогнозування курсу валют USD/GBP за рахунок застосування запропонованих у даній роботі методик досягнута річна ефективність 23,6 %. В задачах оцінки та аналізу процесів соціально-економічного розвитку приморських міст, а також в задачах соціально-економічного моніторингу в Одеській області та регіоні досягнуто підвищення якості аналізу процесів, що оцінюються та прогнозуються, а також зменшення часу побудови моделі в 4 – 5 разів. Висновки, одержані в роботі, підтверджені в ділінговому центрі ТОВ “Острів”, що є постачальником послуг міжнародного ринку електронної торгівлі валютами – “Forex” та в Інституті проблем ринку та економіко-екологічних досліджень НАН України. Нові наукові розробки впроваджені в навчальний процес в Одеському національному політехнічному університеті.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Крисилов В.А., Побережник С.М., Тарасенко Р.А. Сравнительный анализ моделей представления знаний в интеллектуальных системах // Труды Одесского политехнического университета. – 1998. – Вып. 2. – С. 45 – 49.

2. Тарасенко Р.А., Крисилов В.А. Предварительная оценка качества обучающей выборки для нейронных сетей в задачах прогнозирования временных рядов // Труды Одесского политехнического университета. – 2001. – Вып. 1. – С. 90 – 93.

3. Тарасенко Р.А., Крисилов В.А. Выбор размера описания ситуации при формировании обучающей выборки для нейронных сетей в задачах прогнозирования временных рядов // Труды Одесского политехнического университета. – 2001. – Вып. 2. – С. 101 – 104.

4. Тарасенко Р.А., Крисилов В.А. Прогнозирование курсов валют методами искусственного интеллекта // Банковские технологии. – 1997. – Вып. 1. – С. 64 – 68.

5. Krissilov V.A., Krissilov A.D., Tarasenko R.A. Transformation of object feature space under the goal of evaluation // Proc. of Conf. “IPMU’98”. – Paris. – 1998. – P. 1901 – 1902.

Тарасенко Р.О. Метод аналізу і підвищення якості НВ НМ для прогнозування ЧР. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – Автоматизовані системи управління та прогресивні інформаційні технології. – Одеський національний політехнічний університет, Одеса, 2002.

Дисертація присвячена розробці формалізованих основ формування НВ для НМ в задачах прогнозування ЧР. Досліджено процес прогнозування і виявлені його основні характеристики. Запропоновано формальний опис процесу формування НВ для конкретної задачі прогнозування. Запропоновано спосіб дискретизації опису розпізнаваної ситуації для навчальних наборів. Розроблено методику аналізу якості НВ, яка базується на запропонованих показниках якості НВ. Розроблено методику підвищення якості НВ, що забезпечує виконання принципу інваріантності в часі, та визначеного співвідношення між значеннями повторюваності і суперечливості. Розроблено програмний препроцесор, що реалізує перераховані вище методики. Дані, одержані в роботі, підтверджені при прогнозуванні в задачах валютного ділінгу, а також в задачах аналізу процесів соціально-економічного розвитку приморських міст.

Ключові слова: прогнозування, часові ряди, нейронні мережі, навчаюча вибірка, критерії якості, розміру опису розпізнаваної ситуації.

Tarasenko R.O. Method of the analysis and improvement of quality of learning set for neural nets in time series forecasting. – Manuscript.

The dissertational work for a scientific degree of the candidate of technical science in specialty 05.13.06 – Automatic control systems and progressive information technologies. – Odessa national polytechnic university, Odessa, 2002.

The dissertation is devoted to development of formalization bases of learning set formation for neural net based time series forecasting. The basic methods of neural based forecasting are investigated. The formal description of process of learning set formation is proposed. The technique for recognizing image of learning set discretization is proposed. The technique of the analysis of quality of the learning set, based on the analysis for the first time offered criteria of quality of training sample - repeatability and discrepancy, is developed. The technique of improvement of quality of the learning set is developed. The technique supports learning set invariance principle and defined repeatability and discrepancy correspondence. The software application for learning set construction and the preliminary analysis is developed. The data received in work, are confirmed in field of currency stock forecasting, and social-economics growth of seaside cities analysis.

Key words: forecasting, time series, neural nets, learning set, quality criterions, description size.

Тарасенко Р.А. Метод анализа и повышения качества обучающих выборок (ОВ) нейронных сетей (НС) для прогнозирования временных рядов (ВР). – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 – Автоматизированные системы управления и прогрессивные информационные технологии. – Одесский национальный политехнический университет, Одесса, 2002.

Диссертация посвящена разработке формализованных основ формирования ОВ для НС в задачах прогнозирования ВР.

От качества прогнозирования ВР зависит эффективность принятия решений в большинстве задач управления и экономики. Бурное развитие таких средств прогнозирования как НС в последние годы позволило перейти на качественно более высокий уровень прогнозирования. Одним из наиболее сложных и неформализованных этапов при прогнозировании на НС является этап формирования ОВ. Отсутствуют формальные, обоснованные с точки зрения особенностей задачи и средств ее решения, методики оценки и повышения качества ОВ.

Целью диссертационных исследований является повышение достоверности прогноза и уменьшение времени построения прогнозирующей модели путем разработки метода и автоматизированных средств предварительного анализа и целенаправленного повышения качества ОВ в задачах прогнозирования ВР средствами нейровычислений.

Для достижения указанной цели были решены следующие задачи: исследован процесс прогнозирования и выявлены его основные характеристики, исследованы основные методы решения задач прогнозирования с использованием НС; предложено формальное описание процесса формирования ОВ для конкретной задачи прогнозирования; предложен способ дискретизации описания распознаваемой ситуации обучающих наборов, суть которого состоит в переходе от описания образов в аналоговом пространстве, заданном прогнозируемой величиной, к описанию в дискретном пространстве, заданном разбиением на классы для данной задачи; разработана методика анализа качества ОВ, основанная на анализе впервые предложенных показателей ее качества – повторяемости и противоречивости; разработана методика повышения качества ОВ, состоящая из двух этапов: первый направлен на обеспечение выполнения принципа инвариантности во времени, а второй – на обеспечение оптимального соотношения между значениями повторяемости и противоречивости ОВ путем применения преобразований свертки ВР; разработан программный препроцессор для построения и предварительного анализа ОВ, реализующий перечисленные выше методики.

Объектом исследования является процесс прогнозирования ВР с использованием НС. Предметом исследования является построение ОВ для прогнозирования ВР с использованием НС.

Научная новизна полученных результатов заключается в развитии и углублении теоретических и методологических основ анализа и повышения качества ОВ для НС в задачах прогнозирования ВР. Новыми научными результатами диссертационного исследования являются: механизм зависимости характеристик качества обучения НС от свойств повторяемости и противоречивости ОВ, заключающийся в том, что сочетание значений повторяемости