ХНУРЕ
Харківський національний університет радіоелектроніки
Винокурова Олена Анатоліївна
УДК 519.7:007.52
ПРОГНОЗУВАННЯ ТА ЕМУЛЯЦІЯ НЕСТАЦІОНАРНИХ ПОСЛІДОВНОСТЕЙ ЗА ДОПОМОГОЮ ШТУЧНИХ
ВЕЙВЛЕТ-НЕЙРОННИХ МЕРЕЖ
05.13.23 – системи та засоби штучного інтелекту
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Харків – 2005
Дисертацією є рукопис.
Робота виконана в Харківському національному університеті радіоелектроніки, Міністерство освіти і науки України.
Науковий керівник доктор технічних наук, професор Бодянський Євгеній Володимирович, Харківський національний університет радіоелектроніки, професор кафедри штучного інтелекту.
Офіційні опоненти:
доктор технічних наук, професор Любчик Леонід Михайлович, Національний технічний університет “Харківський політехнічний інститут”, завідувач кафедри комп’ютерної математики і математичного моделювання;
доктор технічних наук, професор Соколов Олександр Юрійович, Національний аерокосмічний університет ім. М.Є. Жуковського “Харківський авіаційний інститут”, завідувач кафедри інформатики.
Провідна установа
Національний технічний університет України “Київський політехнічний інститут”, кафедра технічної кібернетики, Міністерство освіти і науки України, м. Київ.
Захист відбудеться “ 22 ” червня 2005 р. о 13.00 годині на засіданні спеціалізованої вченої ради Д .052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.
З дисертацією можна ознайомитись у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.
Автореферат розісланий “ 20 ” травня 2005 р.
Вчений секретар
спеціалізованої вченої ради Чалий С.Ф.
загальна характеристика роботи
Актуальність теми. Сучасний етап розвитку теоретичних і прикладних досліджень в різних галузях науки характеризується зростанням уваги до задач моделювання нелінійних нестаціонарних послідовностей та сигналів з локальними особливостями довільної природи. До теперішнього часу було розроблено багато типів інтелектуальних систем емуляції і прогнозування, у тому числі і архітектури вейвлет-нейромережевих систем. Однак слід відзначити орієнтацію відомих систем на структуру багатошарового персептрону з великим числом параметрів, що має громіздку побудову. Крім того, процедури навчання вейвлет-нейромережевих систем, що традиційно використовуються, засновані на алгоритмі зворотного поширення похибок, який має низьку швидкість збіжності, що в свою чергу обмежує їх використання, особливо при роботі в реальному часі.
У зв'язку із цим досить актуальною є задача розробки методів прогнозування та емуляції нестаціонарних сигналів та об’єктів на основі вейвлет-нейромережевих моделей, що здатні функціонувати за умов апріорної та поточної невизначеності як щодо структури й параметрів об'єкта, так і діючих на нього збурень, які мають підвищену швидкість навчання.
Зв’язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана відповідно до плану науково-дослідних робіт Харківського національного університету радіоелектроніки в межах держбюджетних тем №132 “Розробка теоретичних основ і математичного забезпечення нейро-фаззі систем ранньої діагностики, прогнозування і моделювання за умов апріорної та поточної невизначеності” (№ДР U001762) та №177 “Інтелектуальний аналіз і обробка даних в реальному часі на основі засобів обчислювального інтелекту” (№ДР U003432), що виконуються згідно наказу Міністерства освіти і науки України за результатами конкурсного відбору проектів наукових досліджень. В межах зазначених тем здобувачкою як виконавцем були розроблені гібридні структури вейвлет-нейронних мереж, нейромережеві методи емуляції та прогнозування нестаціонарних послідовностей довільної природи за умов апріорної та поточної невизначеності в реальному часі. Розроблена універсальна активаційна функція на основі запропонованого генератора аналітичних вейвлетів.
Мета і задачі дослідження. Метою роботи є розробка методів емуляції та прогнозування нестаціонарних послідовностей на основі гібридних вейвлет-нейромережевих моделей за умов апріорної та поточної невизначеності в реальному часі, а також розробка універсальної активаційної функції на основі вейвлетів. Досягнення поставленої мети здійснюється розв'язанням таких основних задач:–
аналіз існуючих методів емуляції і прогнозування нестаціонарних об’єктів і сигналів довільної природи за умов апріорної та поточної невизначеності;–
синтез архітектур гібридних вейвлет-нейромережевих моделей та методів емуляції і прогнозування на основі стохастичної апроксимації для нестаціонарних об'єктів і сигналів довільної природи за умов апріорної та поточної невизначеності, що мають підвищену швидкість збіжності;–
синтез універсальної активаційної функції на основі генератора аналітичних вейвлетів;–
синтез методів навчання гібридних вейвлет-нейромережевих моделей на основі еволюційної оптимізації, що орієнтовані на вирішення задачі прогнозування нелінійних нестаціонарних сигналів;–
імітаційне моделювання розроблених моделей та методів, а також вирішення за їх допомогою реальних практичних задач.
Об’єкт дослідження – нестаціонарні стохастичні послідовності, що описуються, зокрема, нелінійними рівняннями авторегресії-ковзного середнього з невідомими параметрами.
Предмет дослідження – інтелектуальні методи прогнозування та емуляції, вейвлет-нейромережеві моделі та прогнозуючі системи.
Методи дослідження. Дослідження, що проведені в роботі, ґрунтуються на комплексному використанні теорії штучних нейронних мереж, за допомогою якої були синтезовані нові архітектури та методи навчання; теорії вейвлетів, що дозволила синтезувати вейвлет-нейромережеві моделі й універсальну активаційну функцію; теорії прогнозування, за допомогою якої були синтезовані методи прогнозування; теорії випадкових процесів, що дозволила дослідити збіжність запропонованих методів; імітаційного моделювання, за допомогою якого була підтверджена вірогідність отриманих результатів.
Наукова новизна отриманих результатів.
1. Уперше запропоновано архітектуру вейвлет-нейрона і оптимальний за швидкодією градієнтний метод навчання, який забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання і зсуву дочірніх вейвлетів. Метод навчання має як слідкуючі, так і згладжуючі властивості, що дозволяє ефективно використовувати вейвлет-нейрони як самостійно, так і у складі штучних нейронних мереж для вирішення задач емуляції та прогнозування нестаціонарних послідовностей довільної природи, що збурені завадами, за умов апріорної та поточної невизначеності.
2. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, який дозволяє не тільки мінімізувати квадратичну похибку прогнозу, а і ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних послідовностей.
3. Уперше запропоновано генератори аналітичних вейвлетів на основі аналізу відомих вейвлет-функцій за допомогою адаптивної нейронної мережі Фур’є, що дозволяє генерувати широкий клас активаційних функцій та настроювати їх параметри в процесі навчання нейронних мереж.
4. Удосконалено архітектуру гібридної вейвлет-радіально-базисної нейронної мережі та рекурентні методи навчання, що призначені для роботи в реальному часі й орієнтовані на вирішення задачі емуляції та прогнозування нестаціонарних послідовностей за умов апріорної та поточної невизначеності, які відрізняються високою швидкістю збіжності й обчислювальною простотою.
5. Удосконалено метод навчання вейвлет-нейрона на основі еволюційних процедур оптимізації, що орієнтовані на вирішення задач мінімізації багатоекстремальних функцій, які виникають в багатошарових нейронних мережах, а також мають високу швидкість збіжності та обчислювальну простоту, що дозволяє розширити область задач, що вирішуються.
Практичне значення отриманих результатів. Розроблені в дисертаційній роботі методи емуляції та прогнозування нестаціонарних послідовностей довільної природи за умов апріорної та поточної невизначеності, що засновані на штучних вейвлет-нейронних мережах, можуть бути застосовані для вирішення задач прогнозування та емуляції в різних галузях, в яких виникають нелінійні нестаціонарні послідовності та сигнали з локальними особливостями. Синтезовані методи навчання та запропоновані архітектури гібридних вейвлет-нейронних мереж підтвердили свою ефективність при створенні систем біомедичної діагностики, аналізу та прогнозування функціонування центральної нервової та серцево-судинної систем організму й отримання нової інформації про поведінку біологічних об’єктів, що знаходяться в екстремальних умовах (дія низьких температур, знижений вміст кисню, відсутність їжі), а також на тлі патологічних процесів вищої нервової діяльності, що розвиваються. Результати було впроваджено при виконанні договору про наукове співробітництво між Інститутом проблем кріобіології і кріомедицини НАН України та Харківським національним університетом радіоелектроніки №01-01. Наукові положення, висновки і рекомендації, викладені в дисертації, були використанні при підготовці і читанні курсу “Нейронні мережі та еволюційні алгоритми навчання. Методи пошуку і оптимізації” у 2003/2004 навчальному році та “Штучні нейронні мережі: архітектури, навчання і застосування” у 2004/2005 навчальному році на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки.
Особистий внесок здобувача. Усі основні результати, що виносяться на захист, отримані здобувачем особисто. У роботах, опублікованих зі співавторами, здобувачу належать: у [1] – розробка модифікованих методів навчання вейвлет-нейронних мереж при обробці нестаціонарних стохастичних сигналів, у [2] – розробка модифікованого методу навчання прогнозуючого вейвлет-нейрона, у [3] – розробка генератора аналітичних вейвлетів для синтезу універсальної активаційної функції, у [4] – розробка модифікованого методу навчання вейвлет-нейрона на основі вейвлета RASP, у [7] – розробка архітектури вейвлет-нейронної мережі і методів її навчання одночасної дії, у [8] – розробка методу настроювання синаптичних ваг для прогнозуючої вейвлет-нейронної мережі, у [9] – розробка методу навчання на основі еволюційної оптимізації, у [10] – розробка архітектури вейвлет-нейрона для вирішення задач прогнозування нестаціонарних часових рядів за умов апріорної та поточної невизначеності, у [12] – розробка методу навчання на основі генетичних алгоритмів, у [13] – розробка модифікованого методу навчання вейвлет-нейронної мережі на ковзному вікні, у [14] – розробка адаптивної нейронної мережі для синтезу аналітичних вейвлетів, у [15] – розробка методу навчання вейвлет-нейронної мережі для аналізу сигналів біоелектричної активності.
Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися та обговорювалися на: 8-й, 9-й та 10-й Міжнародних конференціях “Теорія і техніка передачі, прийому і обробки інформації” (Харків-Туапсе, 2002, 2003, 2004), 6-му, 7-му та 8-му Міжнародних форумах “Радіоелектроніка і молодь в ХХI столітті” (Харків, 2002, 2003, 2004), 1-му Міжнародному радіоелектронному форумі “Прикладна радіоелектроніка. Стан і перспективи розвитку” (Харків, 2002), Міжнародній науково-практичній конференції “Актуальні проблеми використання інформаційних технологій в діяльності органів внутрішніх справ” (Харків, 2002),
10-й, 11-й Міжнародних конференціях з автоматичного керування “Автоматика 2003”, “Автоматика 2004” (Севастополь, 2003; Київ, 2004), Міжнародній науково-практичній конференції “Інтелектуальні системи прийняття рішень і інформаційні технології” (Чернівці, 2004).
Публікації. Основні результати дисертаційної роботи надруковано у 15 наукових працях, у тому числі 4 статті у виданнях, що входять до переліку ВАК України та 11 публікацій у збірниках праць міжнародних наукових конференцій.
Структура дисертації. Дисертація складається зі вступу, п’яти розділів, висновків, списку використаних джерел та двох додатків. Повний обсяг дисертації становить 197 сторінок; обсяг основного тексту 162 сторінки; 53 рисунка (з яких 13 розміщено на 12 окремих сторінках); 7 таблиць; список використаних джерел, що включає 193 найменування та займає 19 сторінок; два додатки на 4 сторінках.
основний зміст роботи
У вступі обґрунтовано актуальність теми, сформульовано мету та задачі дослідження, розкрито наукову та практичну цінність отриманих результатів.
Перший розділ охоплює питання аналізу існуючих підходів до проблеми прогнозування та емуляції нестаціонарних стохастичних послідовностей за умов апріорної та поточної невизначеності та постановку задачі дослідження. Детально розглянуто різні основні методи прогнозування та емуляції нестаціонарних сигналів та зроблено висновок про доцільність розробки структур гібридних вейвлет-нейронних мереж та їх методів навчання, що поєднують переваги апарату штучних нейронних мереж та теорії вейвлетів.
Для нелінійної нестаціонарної послідовності, що задана у формі часового ряду побудувати його прогноз
(1)
де – прогноз часового ряду ; – невідомий оператор оцінювання; – поточний дискретний час.
Часовий ряд надходить на вхід вейвлет-нейронної мережі, вихід якої описується виразом
(2)
де – вихід вейвлет-нейронної мережі; – деякий оператор, що зв'язує простір входів із простором виходів; – вектор синаптичних ваг, що настроюються; – вектор функцій активації нейронів прихованого шару на основі вейвлетів; – число нейронів прихованого шару.
Завдання дослідження полягає в розробці архітектур вейвлет-нейронних мереж, методів емуляції та прогнозування для знаходження оцінки в момент часу по даним передісторії спостережень у реальному часі в темпі надходження даних (де – горизонт упередження), що забезпечують мінімум критерію якості
(3)
за умов апріорної та поточної невизначеності щодо природи і структури сигналу.
Другий розділ роботи присвячено розробці модифікованої архітектури вейвлет-радіально-базисної нейронної мережі та її методів навчання, що мають підвищену швидкість збіжності, для прогнозування та емуляції нестаціонарних послідовностей у реальному часі.
Вейвлет-нейронна мережа (див. рис. ) реалізує нелінійне відображення вектора входів у скалярний вихід
(4)
де – деякий оператор, що зв'язує простір входів із простором виходів; – – вектор синаптичних ваг, що настроюються; – вектор функцій активації нейронів прихованого шару на основі вейвлетів, – число нейронів прихованого шару.
Рис. 1. Архітектура адаптивної вейвлет-нейронної мережі
Властивості таких вейвлет-нейронних мереж обумовлюються активаційними вейвлет-функціями, які складаються зі зсувів і розтягнень материнського вейвлета. Перевагами вейвлетів є те, що вони мають вигляд локалізованих у часі (або просторі) хвильових пакетів з нульовим значенням інтегралу, мають можливість зсуву по осі часу, здатні до масштабування (стиснення – розтягання), а також мають локальний частотний спектр. Найбільше поширення отримали вейвлети такі, як, наприклад, вейвлет Хаара, вейвлети Добеші, вейвлет Морлета, вейвлети Шеннона, POLYWOG-вейвлети, RASP-вейвлети та інші.
У якості методів навчання синтезованої вейвлет-нейронної мережі пропонуються методи, які мінімізують критерій якості виду
(5)
де – параметр забування застарілої інформації, та мають вигляд:
- модифікований експоненційно зважений метод навчання на основі стохастичної апроксимації
(6)
- модифікований експоненційно зважений метод навчання на основі стохастичної апроксимації зі скалярним параметром
(7)
- експоненційно зважений адаптивний метод навчання одночасної дії
(8)
де – вектор синаптичних ваг; – навчаючий сигнал; – вектор вейвлет-активаційних функцій; ; ; – похибка навчання; .
Для дослідження збіжності запропонованого методу навчання запишемо перше співвідношення (8) щодо вектора відхилень при
(9)
(тут ) і введемо квадрат норми
(10)
Оскільки конструкція завжди невід’ємна, норма відхилень у процесі навчання не може зростати, при цьому при (10) перетворюється в
що збігається з відомим результатом для алгоритму Уідроу-Хофа. Для випадку ж незалежних центрованих входів ( – одинична матриця)
тобто алгоритм (8) за швидкодією завжди не гірше ніж алгоритм Уідроу-Хофа.
Було розглянуто процес навчання в нестаціонарних умовах, що означає дрейф оптимального вектора синаптичних ваг
Тоді або
(11)
Підставляючи (9) в (11), отримуємо умову збіжності у вигляді нерівності
з виконанням якого зв'язане стійке слідкування за характеристиками сигналу, що змінюються.
Коли сигнал похибки навчання спостерігається на тлі збурення з обмеженим другим моментом, тоді, якщо розписати квадрат норми (10) з урахуванням того, що
після перетворень отримуємо умову збіжності у вигляді
(тут – символ математичного сподівання) або з врахуванням некоррельованості й –
(12)
Таким чином, за наявності збурень у каналі навчання метод забезпечує збіжність в область, що обумовлена нерівністю (12), розмір якої визначається співвідношенням сигнал / шум. У ситуації, коли перешкоди проникають у прихований шар із входу мережі, тобто замість вектора обробляється сигнал , умова збіжності може бути записана у вигляді
(13)
де ;
і, нарешті, якщо в мережі присутні завади й , отримуємо
(14)
Оцінки (11)–(14) показують, що процедура навчання (8) за своїми властивостями близька до алгоритму Уідроу-Хофа, однак перевершує його за швидкістю, а крім того, подібно методу найменших квадратів має фільтруючі властивості.
Вибір конкретної вейвлет-активаційної функції в тій або іншій нейронній мережі, як правило, робиться із сугубо емпіричних міркувань і може впливати на якість вирішення розглянутої задачі.
У третьому розділі розглядається синтез універсальної активаційної функції для вейвлет-нейронної мережі на основі генераторів аналітичних вейвлетів. Були розглянуті й проаналізовані існуючі аналітичні вейвлет-активаційні функції. Для аналізу структури та вивчення зв'язку між різними вейвлетами введено структуру адаптивної нейронної мережі Фур'є зі стандартною процедурою навчання.
При надходженні на вхід адаптивної нейронної мережі поточного значення вхідного сигналу на виході нейронної мережі отримуємо розкладання
(15)
де – вектор параметрів, що настроюються; ; – точне значення вейвлета в точках розбивки.
Мінімізувати критерій якості
(16)
можна за допомогою стандартного рекурентного методу найменших квадратів.
Аналітичні вейвлети, що найбільш часто використовуються на практиці, можна розділити на два види: парні й непарні.
На основі аналізу спектрів вейвлетів нескладно бачити, що всі спектри мають: дзвонуватий характер, сума всіх коефіцієнтів для кожного розкладання дорівнює нулю, перший коефіцієнт близький до нуля.
У такому разі розподіл коефіцієнтів розкладання кожного розглянутого вейвлета поводиться в середньому як функція Гауса з різними параметрами зсуву та розтягу
, (17)
де , при цьому необхідно виконання умови .
Таким чином, виходячи з вищесказаного, можна записати в загальному вигляді форму генератора парних аналітичних вейвлетів
(18)
де ; – коефіцієнти розкладання парних вейвлетів і генератора непарних аналітичних вейвлетів –
(19)
де ; – коефіцієнти розкладання непарних вейвлетів.
У такий спосіб запропоновані генератори аналітичних вейвлетів дозволяють одержувати різні види вейвлет-функцій, а також настроювати їх параметри в процесі навчання нейронних мереж. Проведене імітаційне моделювання запропонованих генераторів показує, що за їх допомогою може бути реалізований широкий спектр можливих вейвлетів.
Четвертий розділ присвячено синтезу архітектури прогнозуючого вейвлет-нейрона і його методів навчання з підвищеною швидкістю збіжності для обробки істотно нестаціонарних послідовностей і процесів у реальному часі.
Архітектура вейвлет-нейрона наведена на рис. . При подачі на вхід вейвлет-нейрона векторного сигналу
, (20)
де – поточний дискретний час, на його виході з'являється сигнал
(21)
де – синаптичні ваги; – вейвлет-активаційні функції.
В якості материнських вейвлетів у складі вейвлет-нейрона можуть використовуватися материнські вейвлети будь-яких сімейств, а також універсальна активаційна функція на основі генераторів аналітичних вейвлетів.
Рис. 2. Архітектура вейвлет-нейрона
Синтез методу навчання вейвлет-нейрона розглядається на основі материнського вейвлета POLYWOG 1
(22)
Дочірнім вейвлетом функції (22) є
де ; – параметри, що визначають положення зсуву і розтягання.
Завдання навчання полягає в тім, щоб обирати на кожній ітерації параметри , і , які оптимізують критерій якості
. (23)
Вводячи – вектори змінних , , , та , можна отримати градієнтний метод навчання -го вейвлет-синапса:
(24)
де ; – символ прямого (скоттового) добутку; – вектор, що складається з одиниць.
Підвищити швидкість збіжності процесів навчання можна, переходячи від градієнтних процедур до алгоритмів другого порядку, серед яких для настроювання нейронних мереж найбільше розповсюдження отримав алгоритм Левенберга-Марквардта.
Позначивши
(25)
можна записати метод навчання вейвлет-синапса на основі алгоритму Левенберга-Марквардта у вигляді
(26)
Таким чином, здійснюючи послідовність очевидних перетворень, запропонований метод навчання на основі градієнтних процедур зі згладжуванням набуває вигляду
(27)
де – малі невід’ємні регуляризуючі добавки; – одинична матриця.
З метою забезпечення методу (29) згладжуючих властивостей, можна ввести його експоненційно зважену модифікацію
(28)
де – параметр забування.
У реальних ситуаціях сигнал або процес, що оброблюється, є істотно нестаціонарним (такі часові ряди як медико-біологічні, технічні тощо). Це приводить до появи ефекту зсуву, що знижує точність прогнозування. Для того, щоб вирішити цю проблему, необхідно ввести такий критерій якості, що зміг би враховувати ефект зсуву сигналу прогнозу. На основі відомих критеріїв якості було синтезовано гібридний критерій
(29)
де – сигмоїдальна функція; – параметр крутизни, ; – параметр урахування ефекту запізнювання.
Ввівши – вектори змінних , , можна записати метод навчання на точках повороту для вейвлет-нейрона
(30)
де – фактичне значення сигналу; – прогноз; – вектор вейвлет-активаційних функцій; – параметр кроку навчання.
У ситуаціях, коли цільова функція або вихідна функція мережі є або недиференційованою, або багатоекстремальною, або обчислення похідних з-за якихось причин небажано або важко, на перший план виходять еволюційні алгоритми навчання. Відповідно до процедури випадкового еволюційного планування REVOP рух у просторі параметрів здійснюється за правилом
(31)
де – напрямок руху, що обирається випадковим чином.
У випадку, якщо , подальший рух триває в напрямку , у протилежному випадку обирається новий випадковий напрямок . Нескладно бачити, що випадкове еволюційне планування збігається із стандартним алгоритмом випадкового пошуку.
Введення в REVOP випадкового блукання в сполученні зі самонавчанням дозволяє задетермінувати рух у сприятливих напрямках і захиститися від “застрягання” у локальних екстремумах. Для цього можна використовувати адаптивне випадкове еволюційне планування у формі
(32)
де – оцінка градієнта; – випадкова складова, у якої дисперсія компонентів визначається приростом цільової функції .
Оцінку градієнта в цьому випадку зручніше отримувати за допомогою однокрокового адитивного алгоритму ідентифікації, що набуває при цьому вигляду
(33)
де – параметр регулярізації.
Для керування дисперсією можна використати співвідношення
(34)
При русі в сприятливому напрямку випадковий компонент придушується і рух наближається до антіградієнтного, при застряганні в локальному мінімумі випадковий компонент має дисперсію , у випадку, якщо метод робить невдалий крок , випадкова складова, зростаючи за амплітудою, “збиває” рух з невірного напрямку.
У такий спосіб метод (32) – (34) набуває глобальних властивостей.
П’ятий розділ присвячено імітаційному моделюванню запропонованих методів прогнозування та емуляції та розв’язанню практичних задач. Проведено імітаційне моделювання розроблених архітектур і методів навчання гібридних вейвлет-нейромережевих моделей. Показано їхні переваги перед відомими структурами і методами навчання як за точністю, так і за швидкодією в задачах емуляції та прогнозування нестаціонарних послідовностей та процесів за умов апріорної та поточної невизначеності. Вирішено практичну задачу прогнозування часового ряду погодинного енергоспоживання. Вирішено практичну задачу аналізу нестаціонарних біологічних процесів, що відбуваються у період гібернації теплокровних тварин (а саме пацюків-самців Ratus Norvegius Vistar) і задача аналізу нестаціонарних біологічних процесів, що відбуваються у період зимової сплячки ховрашка Citellius Mayor. Аналіз отриманих результатів дозволяє сподіватися, що розроблений у дисертаційній роботі підхід буде ефективним при одержанні механізмів функціонування центральної нервової системи та інших органів людини і тварин в екстремальних умовах, зокрема, при зниженні температури, що має велике значення для експериментальної біології та медицини у зв'язку з розвитком методів лікування, що використовують штучне охолодження організму.
У додатках наведені документи щодо впровадження отриманих результатів.
висновки
В дисертаційній роботі представлені результати, які у відповідності з поставленою метою є вирішенням актуальної задачі розробки ефективних методів прогнозування та емуляції нестаціонарних послідовностей за умов апріорної та поточної невизначеності в реальному часі, що основані на використанні апарату гібридних вейвлет-нейронних мереж. Отримані результати мають важливе наукове і практичне значення для створення ефективних систем прогнозування, емуляції і діагностики як вже функціонуючих, так і знов створених об’єктів. Проведені дослідження дозволили зробити такі висновки.
1. У результаті аналізу сучасного стану проблеми прогнозування та емуляції нестаціонарних процесів за умов апріорної та поточної невизначеності відзначено ряд недоліків відомих стандартних і вейвлет-нейромережевих систем, які знижують ефективність їх застосування. Так, відомі вейвлет-нейромережеві системи прогнозування та емуляції, що побудовані на архітектурі багатошарового персептрону, мають громіздку структуру. Крім того, методи навчання на основі зворотного поширення похибки, що традиційно використовуються, мають низьку швидкість збіжності та неефективні при роботі у реальному часі, а процедури емуляції на основі рекурентного методу найменших квадратів або не мають адаптивних властивостей, або нестійкі при роботі в реальному часі. В цьому випадку доцільною є розробка методів прогнозування та емуляції на основі гібридних вейвлет-нейромережевих моделей, які мають переваги за рахунок кратномасштабних властивостей вейвлет-активаційних функцій. Це й обумовило вибір напрямку досліджень, формулювання мети та задач дисертаційної роботи.
2. Модифіковано архітектуру гібридної вейвлет-нейронної мережі для вирішення задач прогнозування та емуляції, яка відрізняється обчислювальною простотою й зручністю реалізації за рахунок переваг вейвлет-активаційних функцій, що дозволяє використати її для вирішення задач у реальному часі.
3. Запропоновано адаптивну модифікацію методу стохастичної апроксимації та методу одночасної дії в стаціонарних і нестаціонарних умовах навчання, що відрізняються швидкодією й невисокою обчислювальною складністю. Запропоновані методи навчання гібридної вейвлет-нейронної мережі призначені для настроювання синаптичних ваг за умов нестаціонарності та збуреності оброблюваних сигналів, мають фільтруючі та слідкуючі властивості, прості щодо реалізації та стійкі за будь-яких значень параметра забування. Показано, що варіювання величини пам'яті дозволяє домогтися необхідного компромісу між слідкуючими і фільтруючими властивостями запропонованих методів. Досліджено збіжність методів навчання.
4. Розглянуто та проаналізовано існуючі вейвлет-активаційні функції. Уперше запропоновано генератори аналітичних парних і непарних вейвлетів, які дозволяють одержувати різні види вейвлетів і можливість настроювання їх параметрів при навчанні нейронних мереж. Проведено імітаційне моделювання запропонованих генераторів і показано, що за їх допомогою може бути реалізований широкий спектр можливих вейвлетів.
5. Розроблено архітектуру вейвлет-нейрона для вирішення задачі прогнозування, що відрізняється обчислювальною простотою й зручністю реалізації. Вейвлет-нейрон може використовуватися як самостійно, так й у складі штучних нейронних мереж.
6. Запропоновано новий оптимальний за швидкодією метод навчання вейвлет-нейрона на основі градієнтних методів зі згладжуванням, який відрізняється тим, що забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання й зсуву дочірніх вейвлетів. Метод має як слідкуючі так і згладжуючі властивості та характеризується високою швидкістю збіжності в порівнянні з відомою процедурою зворотного поширення помилок на основі методу найшвидшого спуска й меншою обчислювальною складністю в порівнянні з відомими процедурами нелінійної оптимізації другого порядку.
7. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, що дозволяє мінімізувати не тільки квадратичну похибку прогнозу, а й ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних сигналів.
8. Запропоновано метод навчання на основі алгоритмів еволюційного планування, що відрізняється швидкодією й обчислювальною простотою та має захист від “застрягання” у локальних мінімумах за рахунок введення випадкового блукання в сполученні із самонавчанням.
9. Проведено імітаційне моделювання розроблених структур і методів навчання гібридних вейвлет-нейромережевих моделей. Показано їх переваги перед відомими архітектурами і методами навчання як за точністю, так і за швидкодією в задачах емуляції та прогнозування нестаціонарних послідовностей за умов апріорної та поточної невизначеності. Вирішено практичну задачу прогнозування часового ряду погодинного енергоспоживання.
10. Вирішено практичну задачу аналізу нестаціонарних біологічних процесів, що відбуваються в період гібернації теплокровних тварин (а саме пацюків-самців Ratus Norvegius Vistar) і задачу аналізу нестаціонарних біологічних процесів, що відбуваються у період зимової сплячки ховрашка Citellius Mayor. Аналіз отриманих результатів дозволяє сподіватися, що розроблений у дисертації підхід буде ефективним при отриманні механізмів функціонування центральної нервової системи та інших органів людини і тварин за екстремальних умов, зокрема, при зниженні температури, що має велике значення для експериментальної біології та медицини у зв’язку з розвитком методів лікування, що використовують штучне охолодження організму.
11. Результати досліджень впроваджено в процесі виконання договору про наукове співробітництво між Інститутом проблем кріобіології і кріомедицини НАН України і Харківським національним університетом радіоелектроніки №01-01, що підтверджено відповідним актом про впровадження. Наукові положення, висновки і рекомендації, які викладенні в дисертації, були використанні при підготовці і читанні курсу “Нейронні мережі та еволюційні алгоритми навчання. Методи пошуку і оптимізації” у 2003/2004 навчальному році та “Штучні нейронні мережі: архітектури, навчання і застосування” у 2004/2005 навчальному році на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки, що підтверджено відповідним актом впровадження в навчальний процес.
12. Розроблені в дисертаційній роботі методи і моделі можуть бути використанні для прогнозування та емуляції широкого класу нестаціонарних динамічних стохастичних послідовностей і об’єктів за умов апріорної та поточної невизначеності щодо їх структури і параметрів.
список опублікованих праць за темою дисертації
1. Бодянский Е. В., Винокурова Е. А. Обучение искусственных всплеск-нейронных сетей при обработке нестационарных стохастических сигналов // Радиоэлектроника и информатика. – 2003. _№1 (22). _С. 85-89.
2. BodyanskiyKolodyazhniyPlissVynokurova Learning wavelet neuron based on the RASP-function // Радиоэлектроника. Информатика. Управление. _2004. _№1 (11). _С. 118-122.
3. Бодянский Е. В., Винокурова Е. А. Адаптивный вэйвлет-нейронный предиктор // Проблемы бионики. _2003. _№58. _С. 10-17.
4. Винокурова Е. А., Ламонова Н. С., Плисс И. П. Генератор аналитических вэйвлетов // Проблемы бионики. _2004. _№60. _С. 104-109.
5. Винокурова Е. А. Нейронные сети, реализующие базисы всплесков // 6-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в XXI веке”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2002. _Ч.2. _С. 20-21.
6. Винокурова Е. А. Прогнозирование временных рядов с помощью всплеск-радиально-базисной нейронной сети // 8-я Междунар. конф. “'Теория и техника передачи, приема и обработки информации”: Сб. научн. трудов. _Харьков: ХНУРЭ, 2002. _С. 509-511.
7. Бодянский Е. В., Винокурова Е. А., Плисс И. П. Алгоритм обучения искусственной вcплеск-нейронной сети // 1-й Междунар. радиоэлектронный форум “Прикладная радиоэлектроника. Состояние и перспективы развития”: Сб. научн. трудов. _Харьков: АН ПРЭ, ХНУРЭ, 2002. _Ч.2. _C. .
8. Винокурова Е. А., Галль И. А. Прогнозирующая вэйвлет-нейронная сеть на ядрах Дирихле // 7-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в XXI веке”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2003. _С. 525.
9. Винокурова Е. А., Алексейчев В. С. Алгоритмы обучения нейронных сетей на основе алгоритмов эволюционной оптимизации // 7-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в XXI веке”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2003. _С. 526.
10. Бодянский Е. В., Винокурова Е. А., Плисс И.П. Адаптивный алгоритм обучения полиномиального вэйвлет-нейрона // 10-я Междунар. конф. по автоматическому управлению “Автоматика 2003”: Cб. научн. трудов. _Севастополь: Изд-во СевНТУ, 2003. _Т.3. _С. 32-34.
11. Винокурова Е. А. Вэйвлет-нейрон на основе функции ''MEXICAN HAT'' // 9-я Междунар. научн. конф. “Теория и техника передачи, приема и обработки информации”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2003. _С. 331-332.
12. Винокурова Е. А., Ламонова Н. С. Гибридная вэйвлет-нейросетевая система, обучаемая генетическими алгоритмами // 8-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в ХХI веке”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2004. _Ч.2. _С. 220.
13. Винокурова Е. А., Ламонова Н. С. Обучение вэйвлет-нейронной сети на скользящем окне // Междунар. научно-практическая конф. “Интеллектуальные системы принятия решений и информационные технологи”: Cб. научн. трудов. _Черновцы: ЧФЮИ, 2004. _С. 58-59.
14. Винокурова Е. А., Ламонова Н. С., Шило А. В. Вэйвлет-нейронная сеть для анализа сигналов биоэлектрической активности головного мозга при глубокой искусственной гипотермии // 10-я Междунар. научн. конф. “Теория и техника передачи, приема и обработки информации”: Cб. научн. трудов. _Харьков: ХНУРЭ, 2004. _С. 309-310.
15. Винокурова Е. А., Ламонова Н. С., Плисс И. П. Адаптивная нейронная сеть для синтеза аналитических вэйвлетов // 11-я Междунар. конф. по автоматическому управлению “Автоматика 2004”: Cб. научн. трудов. _Киев: Изд-во НУПТ, 2004. _Т.4. _С. 17.
анотація
Винокурова О. А. Прогнозування та емуляція нестаціонарних послідовностей за допомогою штучних вейвлет-нейронних мереж. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Харків, 2005.
Дисертацію присвячено розробці інтелектуальних методів прогнозування та емуляції нестаціонарних послідовностей за умов апріорної та поточної невизначеності в реальному часі за допомогою штучних вейвлет-нейронних мереж. Розглянуто існуючі моделі нейронних мереж для вирішення задач прогнозування та емуляції та сформульовано їх недоліки. Модифіковано архітектуру гібридної вейвлет-нейронної мережі для вирішення задач прогнозування та емуляції. Запропоновано адаптивну модифікацію методу стохастичної апроксимації та методу одночасної дії за стаціонарних і нестаціонарних умов навчання, що відрізняються швидкодією та невисокою обчислювальною складністю. Уперше запропоновано генератори аналітичних парних і непарних вейвлетів, які дозволяють одержувати різні види вейвлетів і можливість настроювання їх параметрів при навчанні нейронних мереж. Розроблено архітектуру вейвлет-нейрона для рішення задачі прогнозування. Запропоновано новий оптимальний за швидкодією метод навчання вейвлет-нейрона на основі градієнтних методів зі згладжуванням, який відрізняється тим, що забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання й зсуву дочірніх вейвлетів. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, що дозволяє не тільки мінімізувати квадратичну похибку прогнозу, а й ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних сигналів. Запропоновано метод навчання на основі алгоритмів еволюційного планування, що відрізняється швидкодією й обчислювальною простотою та має захист від “застрягання” у локальних мінімумах за рахунок введення випадкового блукання в сполученні із самонавчанням. Розроблено пакет програм для моделювання роботи розроблених спеціалізованих гібридних вейвлет-нейромережевих моделей та їх методів навчання.
Ключові слова: прогнозування, емуляція, нестаціонарні послідовності, штучні нейронні мережі, вейвлети, гібридні вейвлет-нейронні мережі, методи навчання, універсальна активаційна функція, генератор аналітичних вейвлетів.
аннотация
Винокурова Е. А. Прогнозирование и эмуляция нестационарных последовательностей с помощью искусственных вэйвлет-нейронных сетей. – Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 – системы и средства искусственного интеллекта. – Харьковский национальный университет радиоэлектроники, Харьков, 2005.
Диссертация посвящена разработке интеллектуальных методов прогнозирования и эмуляции нестационарных последовательностей в условиях априорной и текущей неопределенности в реальном времени с помощью искусственных гибридных вэйвлет-нейронных сетей.
Рассмотрены существующие современные методы для решения задач прогнозирования и эмуляции нестационарных сигналов и сформулированы их недостатки. Обоснована целесообразность разработки методов прогнозирования и эмуляции на основе гибридных вэйвлет-нейросетевых моделей, которые обладают преимуществом за счет кратномасштабных свойств вэйвлет-активационных функций.
Модифицирована архитектура гибридной вэйвлет-нейронной сети, отличающаяся вычислительной простотой и удобством реализации за счет преимуществ вэйвлет-активационных функций, что позволяет использовать ее для решения задач в реальном времени.
Предложена адаптивная модификация метода обучения на основе стохастической аппроксимации и метода обучения одновременного действия в стационарных и нестационарных условиях, которые обладают следящими и фильтрующими свойствами и отличающиеся быстродействием и невысокой вычислительной сложностью.
Рассмотрены и проанализированы существующие вэйвлет-активационные функции. Впервые предложены генераторы аналитических четных и нечетных вэйвлетов, которые позволяют получать различные виды вэйвлетов и возможность настраивать их параметры при обучении нейронных сетей.
Разработана архитектура вэйвлет-нейрона для решения задачи прогнозирования, отличающаяся вычислительной простотой и удобством реализации.
Предложен новый оптимальный по быстродействию метод обучения вэйвлет-нейрона на основе градиентных методов, отличающийся тем, что обеспечивает настройку в реальном времени не только синаптических весов, но и параметров растяжения и сдвига дочерних вэйвлетов. Метод обладает как следящими, так и сглаживающими свойствами и характеризуется более высокой скоростью сходимости по сравнению с известной процедурой обратного распространения ошибок на основе метода наискорейшего спуска и меньшей вычислительной сложностью по сравнению с известными процедурами нелинейной оптимизации второго порядка.
Впервые предложен метод обучения на точках поворота вэйвлет-нейрона на основе оптимизации гибридного критерия качества, который позволяет минимизировать не только квадратичную ошибку прогноза, а и эффект сдвига, что является существенным в решении задач прогнозирования нестационарных сигналов.
Предложен метод обучения на основе алгоритмов эволюционного планирования, отличающийся быстродействием и вычислительной простотой и обладающий защитой от “застревания” в локальных минимумах за счет введения случайного блуждания в сочетании с самообучением.
Проведено имитационное моделирование разработанных архитектур и методов обучения гибридных вэйвлет-нейросетевых моделей. Показаны их преимущества перед известными архитектурами и методами обучения как по точности, так и по быстродействию в задачах эмуляции и прогнозирования нестационарных последовательностей и процессов в условиях априорной и текущей неопределенности.
Решена практическая задача прогнозирования временного ряда почасового энергопотребления.
Решена практическая задача анализа нестационарных биологических процессов, протекающих в период гибернации теплокровных животных.
Ключевые слова: прогнозирование, эмуляция, нестационарные последовательности, искусственные нейронные сети, вэйвлеты, гибридные вэйвлет нейронные сети, методы обучения, универсальная вэйвлет-активационная функция, генератор аналитических вэйвлетов.
ABSTRACT
VynokurovaNonstationary sequences forecasting and emulation based on artificial wavelet neural networks. – Manuscript.
Dissertation for a candidate of technical science (Ph.D.) degree in specialty 05.13.23 – systems and means of artificial intelligence. – Kharkiv National University of Radio Electronics, Kharkiv, 2005.
The dissertation work is devoted to developing intellectual methods of nonstationary sequences forecasting and emulation under condition of a priori and current uncertainty in the real time using artificial hybrid wavelet neural networks. Existing neural network models for solving forecasting problems are considered and their disadvantages are formulated. Architecture of a hybrid wavelet neural network for forecasting and emulation solving problems is modified. An adaptive modification of a learning method on the basis of stochastic approximation and a learning method of simultaneous action are proposed. For the first time generators of analytic odd and even wavelets are proposed. They enable to obtain different type of wavelets and a possibility to tune their parameters during the neural network learning process. Architecture of wavelet neuron for solving the forecasting task is developed. A new optimal on processing speed learning method of wavelet neuron using gradient methods was proposed. It distinguishes itself from others by providing a tuning in the real time not only synaptic weights but dilation and translation parameters of daughter wavelets as well. For the first time a learning method on the turning-points of wavelet neuron is proposed, which based on optimization of a hybrid criteria of quality. It allows minimizing not only a quadratic error of forecasting but also an effect of shift, that is very important for the solving of a forecasting task for nonstationary signals. A method on the basis of evaluation planning algorithm is proposed. It distinguishes itself by high processing speed and computing simplicity. It has as well a protection for a sticking in the local minimum by means of input of random walking in combination with a self learning process. Simulation of developed structures and methods of learning hybrid wavelet neural models are implemented into practice.
Keywords: forecasting, emulation, nonstationary sequences, artificial neural network, wavelets, hybrid wavelet neural networks, learning procedures, universal wavelet activation function, analytic wavelets generator.
Підп. до друку 21.04.05. Формат 60841/16. Спосіб друку – ризографія.
Умов. друк. арк. 1,2. Облік. вид. арк. 1,0. Тираж 100 прим. Зам. № 2-436.
Україна, 61166 Харків, просп. Леніна, 14, ХНУРЕ.
Надруковано в навчально-науковому видавничо-поліграфічному центрі ХНУРЕ.
Україна, 61166 Харків, просп. Леніна, 14.
