ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ
РАДІОЕЛЕКТРОНІКИ

Горшков Євген Віталійович

УДК 004.8:004.032.26

КЛАСИФІКАЦІЯ ДАНИХ В УМОВАХ НЕВИЗНАЧЕНОСТІ НА ОСНОВІ ГІБРИДНИХ НЕЙРО-ФАЗЗІ АРХІТЕКТУР

05.13.23 – системи та засоби штучного інтелекту

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Харків – 2007

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки.

Науковий керівник – доктор технічних наук, професор

Бодянський Євгеній Володимирович,

професор кафедри штучного інтелекту

Харківського національного університету

радіоелектроніки (м. Харків).

Офіційні опоненти: доктор технічних наук, професор

Любчик Леонід Михайлович,

завідувач кафедри комп’ютерної математики
та математичного моделювання

Національного технічного університету

“Харківський політехнічний інститут” (м. Харків);

доктор технічних наук, професор

Михальов Олександр Ілліч,

завідувач кафедри інформаційних технологій та систем

Національної металургійної академії України

(м. Дніпропетровськ).

Захист відбудеться “27” лютого 2008 р. о 14:00 на засіданні спеціалізованої вченої ради Д64.052.01 в Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися в бібліотеці Харківського національного університету радіоелектроніки, за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий: “23” січня 2008 р.

Вчений секретар
спеціалізованої вченої ради С. Ф. Чалий

Загальна характеристика роботи

Актуальність теми. Сучасний етап розвитку теоретичних і прикладних досліджень в різних галузях науки характеризується зростанням уваги до задач класифікації чисельних даних довільної природи за умов апріорної і поточної невизначеності, що можуть містити інформацію зі значним ступенем перетину класів.

До теперішнього часу було розроблено багато типів інтелектуальних систем класифікації і кластеризації, у тому числі і гібридні архітектури нейро-фаззі систем. Однак слід зазначити, що відомі нейро- і нейро-фаззі методи мають істотні обмеження, серед яких є низька швидкість збіжності (обумовлена використанням процедур навчання, що засновані на алгоритмі зворотного поширення похибок), неможливість функціонування в умовах істотного перетину класів даних, відсутності апріорної інформації (наприклад, заздалегідь невідомій кількості кластерів). Крім того, низка існуючих нейронних мереж не має нейро-фаззі аналогів.

У зв'язку з цим досить актуальною є задача розробки нових гібридних нейро-фаззі мереж і ефективних методів їх навчання і самонавчання, здатних функціонувати за умов апріорної та поточної невизначеності відносно характеру розподілу та значного перетину класів.

Зв’язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана відповідно до плану науково-дослідних робіт Харківського національного університету радіоелектроніки в межах держбюджетних тем №177 “Інтелектуальний аналіз і обробка даних в реальному часі на основі засобів обчислювального інтелекту” (№ ДР U003432) та №214 “Синтез методів обробки інформації за умов невизначеності на основі самонавчання та м’яких обчислень” (№ ДР U003028), що виконуються згідно наказів Міністерства освіти і науки України за результатами конкурсного відбору проектів наукових досліджень. В межах зазначених тем здобувачем як виконавцем були розроблені методи класифікації даних в умовах апріорної та поточної невизначеності відносно характеру розподілу даних за класами та істотному перетині класів, що включають в себе рекурентні робастні процедури кластеризації, гібридні нейро-фаззі моделі, процедури їх навчання і самоорганізації.

Мета і завдання дослідження. Метою роботи є розробка методів класифікації і кластеризації даних на основі гібридних нейро-фаззі моделей, а також розробка методів навчання і самоорганізації для цих моделей, що дозволять підвищити якість класифікації в умовах апріорної і поточної невизначеності відносно характеру розподілу та істотного перетину класів.

Для досягнення цієї мети необхідно:

1. Синтезувати рекурентні і робастні методи кластеризації даних і сегментації часових послідовностей в межах імовірнісного та можливісного підходів.

2. Синтезувати процедури самоорганізації на основі модифікованої мережі Кохонена з можливістю нечіткого виведення і методи попередньої обробки даних.

3. Синтезувати архітектуру імовірнісної нейронної мережі з нечітким виведенням і розробити методи її навчання для задач класифікації даних.

4. Синтезувати рекурентний метод навчання радіально-базисної нейронної мережі на основі еліпсоїдального оцінювання.

5. Синтезувати архітектуру гібридної нейро-фаззі мережі зустрічного розповсюдження і розробити метод її навчання.

6. Розв’язати за допомогою розроблених методів і моделей низку практичних задач нечіткої класифікації даних і сегментації часових послідовностей.

Об’єкт дослідження – процеси класифікації і кластеризації чисельних даних в умовах апріорної і поточної невизначеності відносно характеру розподілу та істотного перетину класів на основі методів обчислювального інтелекту.

Предмет дослідження – нейро-фаззі моделі і методи класифікації, методи нечіткої кластеризації і гібридні самоорганізувальні системи.

Методи дослідження базуються на теорії обчислювального інтелекту, а саме на методах теорії штучних нейронних мереж і теорії нечіткої логіки для побудови архітектур гібридних нейро-фаззі мереж, що дозволяють проводити нечітку класифікацію та кластеризацію; теорії оптимізації і статистичного аналізу для синтезу ефективних методів нечіткої кластеризації та методів навчання і самоорганізації гібридних нейро-фаззі мереж. Імітаційне моделювання використовується для перевірки якості класифікації з використанням синтезованих методів і архітектур.

Наукова новизна одержаних результатів. До нових, одержаних особисто автором, належать такі результати:– 

вперше запропоновано рекурентні і робастні методи кластеризації даних і сегментації часових послідовностей, які характеризуються роботою в послідовному та пакетному режимах в межах імовірнісного та можливісного підходів, що дозволило проводити кластеризацію за наявності аномальних спостережень в класах;– 

вперше запропоновано метод побудови і навчання імовірнісної нейронної мережі з нечітким виведенням, який полягає в знаходженні оптимальної кількості нейронів шару прототипів, що дозволило проводити класифікацію за умов перетину класів та зменшити вимоги до обчислювальних ресурсів;– 

вперше запропоновано рекурентний метод навчання радіально-базисної мережі на основі еліпсоїдального оцінювання, який полягає в знаходженні еліпсоїдів мінімального об’єму, що містять оптимальні значення оцінюваних параметрів, що дозволило ефективне навчання за умов дефіциту інформації про розподіл збурень;– 

вперше запропоновано архітектуру і метод навчання гібридної нейро-фаззі мережі зустрічного розповсюдження, яка є поєднанням шарів конкурентних або радіально-базисних та нео-фаззі нейронів, що дозволило підвищити швидкість навчання та покращити апроксимуючі властивості мережі;– 

вдосконалено метод самоорганізації для модифікованої мережі Кохонена шляхом використання спеціальної функції сусідства та підвищення вимірності вихідного простору на стадії попередньої обробки даних, що дозволило проводити класифікацію за умов перетину класів.

Практичне значення одержаних результатів. Розроблені в дисертаційній роботі методи класифікації чисельних даних довільної природи за умов апріорної та поточної невизначеності, що засновані на гібридних нейро-фаззі методах і мережах, можуть бути застосовані для розв’язання задач класифікації і кластеризації в різних галузях, в яких виникають дані, що можуть бути представлені наборами векторів ознак, та віднесені до декількох класів. Синтезовані методи та запропоновані архітектури гібридних нейро-фаззі мереж підтвердили свою ефективність при створенні систем біомедичної діагностики для сегментації послідовностей інтервалів серцебиття біологічного організму в процесі виходу і пробудження зі штучного гипометаболічного стану, а також системи виявлення зон кровообігу на основі вихідної інформації ультразвукового сканування органів людини, що є важливим для медичного діагностування різноманітних уражень судин людини і застосовується в ранній діагностиці пухлинних захворювань внутрішніх органів з їх диференціюванням за ступенем злоякісності.

Результати дисертаційної роботи впроваджено при виконанні договору про наукове співробітництво між фірмою “РАДМІР”, дочірнім підприємством АТ “Науково-дослідний інститут радіотехнічних вимірювань”, м. Харків та Харківським національним університетом радіоелектроніки, що підтверджено актом від 15.06.2007 р. Наукові положення, висновки і рекомендації, викладені в дисертації, були використанні при підготовці курсу “Нейромережеві методи обчислювального інтелекту”, що читається студентам-магістрантам спеціальності “Інтелектуальні системи прийняття рішень” Харківського національного університету радіоелектроніки, що підтверджено актом від 20.06.2007 р, а також у науково-дослідних роботах Харківського національного університету радіоелектроніки, що підтверджено актом від 29.05.2007 р.

Особистий внесок здобувача. Основні положення і результати дисертаційної роботи одержані автором самостійно. У публікаціях, написаних у співавторстві, авторові належить: [1] – метод навчання синаптичних ваг нео-фаззі нейрона з поліноміальними функціями належності; [2, ] – методи настроювання параметрів і , що забезпечують збіжність процедури навчання мережі; [3] – рекурентний робастний метод кластеризації в межах можливісного підходу; [4] – метод навчання синаптичних ваг нео-фаззі нейрона з поліноміальними функціями належності четвертого порядку; [5] – метод навчання синаптичних ваг нео-фаззі нейрона на основі методів зворотного поширення похибок і алгоритмів оптимізації 2-го порядку; [6] – архітектура вихідного шару імовірнісної нейро-фаззі мережі, метод навчання імовірнісної нейро-фаззі мережі для нестандартних функцій активації; [7, ] – метод самоорганізації мап Кохонена для нестандартної функції активації, що забезпечує нечітке виведення, метод попередньої обробки даних; [8] – метод першого етапу навчання нео-фаззі мережі; [10] – комбінований робастний метод кластеризації; [11, ] – архітектура гібридної нейро-фаззі мережі і метод її навчання для розв’язання задач класифікації; [12] – рекурентний метод кластеризації, що дозволяє знаходити апріорно невідомі кластери; [13] – метод навчання синаптичних ваг вихідного шару сигма-пі мережі на основі методу градієнтного спуска; [17] – метод побудови прихованого шару імовірнісної нейро-фаззі мережі; [19, ] – архітектура гібридної нейро-фаззі мережі з функціями активації змінної форми і метод її навчання; [20] – метод навчання синаптичних ваг нео-фаззі мережі на основі рекурентного методу найменших квадратів; [21] – робастний метод кластеризації в межах можливісного підходу; [22, ] – робастний рекурентний метод сегментації біологічних послідовностей.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися та обговорювалися на 6-му та 7-му Міжнародних форумах “Радіоелектроніка і молодь в ХХI столітті” (Харків, 2002, 2003), 1-му Міжнародному радіоелектронному форумі “Прикладна радіоелектроніка. Стан і перспективи розвитку” (Харків, 2002), Міжнародній конференції “Теорія і техніка передачі, прийому і обробки інформації” (Харків-Туапсе, 2003), Міжнародній конференції з обчислювального інтелекту “CIMCA” (Відень, Австрія, 2003), 7-й Міжнародній конференції “Knowledge-Based Intelligent Information & Engineering Systems” (Оксфорд, Велика Британія, 2003), 3-й Міжнародній конференції Європейського товариства з нечіткої логіки і технології “EUSFLAT” (Циттау, Німеччина, 2003), 11-й Міжнародній конференції з автоматичного керування “Автоматика 2004” (Київ, 2004), Міжнародній конференції з обчислювального інтелекту “8 Fuzzy Days” (Дортмунд, Німеччина, 2004), 7-й Міжнародній конференції “Системний аналіз та інформаційні технології” (Київ, 2005), Міжнародній конференції “Knowledge – Dialog – Solution” (Варна, Болгарія, 2005), 15-й Міжнародній конференції “Artificial Neural Networks: Biological Inspirations” (Варшава, Польща, 2005), 12-й, 13-й Міжнародних конференціях “East West Fuzzy Colloquium” (Циттау/Гьорліц, Німеччина, 2005, 2006), Міжнародному симпозіумі “Evolving Fuzzy Systems” (Емблсайд, Велика Британія, 2006).

Публікації. Результати наукових досліджень викладені в 24 друкованих працях: 5 статей у провідних фахових виданнях (з яких 2 статті в журналах, 3 статі в збірках наукових праць) та 5 статей за кордоном; 14 публікацій в збірках наукових конференцій (у тому числі 8 за кордоном).

Структура та обсяг дисертації. Дисертація складається зі вступу, чотирьох розділів, висновків, що містять основні результати, списку використаних джерел і додатків. Загальний обсяг дисертації складає 150 сторінок (з них 126 – основного тексту), що включає 38 рисунків на 15 сторінках, та 16 таблиць на 5 сторінках. Список використаних джерел складає 123 найменування на 12 сторінках.

Основний зміст роботи

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і задачі досліджень, наукову новизну і практичне значення одержаних результатів. Наведено відомості про впровадження результатів роботи, апробацію, особистий внесок здобувача і публікації.

У першому розділі проаналізовано стан проблеми класифікації даних і розглянуто існуючі підходи до її розв’язання в межах теорії навчальних систем. Розглянуто основні принципи систем нечіткого виведення. Проведено аналіз існуючих архітектур штучних нейронних мереж (ШНМ) і методів їх навчання та самонавчання, що використовуються для розв’язання задач класифікації даних. Розглянуто основні принципи класичних архітектур гібридних нейро-фаззі систем і проаналізовано їх переваги в задачах класифікації даних. Аналіз показав необхідність подальшого розвитку методів класифікації даних в умовах невизначеності на основі гібридних нейро-фаззі архітектур.

В результаті проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного у дисертаційній роботі.

У другому розділі розглянуто методи самоорганізації для конкурентних нейронних мереж, а саме для модифікованої мережі Кохонена з можливістю нечіткого виведення обумовленого використанням нестандартної функції сусідства. Також у розділі розглядаються методи нечіткої кластеризації, що відносяться до методів навчання без учителя. Синтезовано пакетні, адаптивні і робастні процедури нечіткої кластеризації в межах імовірнісного і можливісного підходів. Розглянуто особливості застосування методів нечіткої кластеризації для розв’язання задачі сегментації часових послідовностей біологічного походження.

Одержано узагальнену процедуру самоорганізації для модифікованої мережі Кохонена зі змінним кроком навчання, що дозволяє забезпечити самоорганізацію в умовах відсутності апріорної інформації про вибірку даних:

()

де д[a,b](x) – функція, що обмежує область косинусної функції сусідства до половини періоду (з метою надання їй властивостей ядерної функції), і дорівнює 1, якщо x  [a,b], та 0 інакше.

Доведено, що процедура (1) в процесі самоорганізації мінімізує узагальнений критерій:

,,,. ()

Можливість нечіткого виведення на основі модифікованої мережі Кохонена досягається використанням спеціальної функції сусідства:

, ()

що обмежена інтервалом та задовольняє усім вимогам до функцій належності в системах нечіткого виведення. Ця функція є окремим випадком квадратичної радіально-базисної функції (для уl2 = 4):

. ()

Обмеження процедур самоорганізації, що базуються на правилі Кохонена, на норму вихідного вектора спостереження задовольняється завдяки використанню спеціально синтезованого методу попередньої обробки даних шляхом проекції даних на гіперсферу підвищеної вимірності зі збереженням умови одиничної норми.

Синтезовано процедури нечіткої кластеризації, що мають здатність обробляти спостереження послідовно у міру їх надходження, а також нечутливі до викидів, що часто присутні в реальних даних.

Розглядаються імовірнісний та можливісний підходи до кластеризації, що відрізняються критеріями кластеризації. Вихідною інформацією для обох підходів є вибірка спостережень, що сформована n-вимірними векторами ознак X = x(1),x(2),…,x(N),…}, x(k)  X, k = 1,2,…,N,…. Результатом роботи процедури є розбиття вихідного масиву даних на m кластерів з деяким рівнем wj(k) належності k-го вектора ознак до j-го кластера.

В межах імовірнісного підходу мінімізується критерій кластеризації:

()

за наявності обмежень

, k = 1,…,N, , j = 1,…,m, ()

де wj(k)  [0,1] – рівень належності вектора x(k) до j-го кластера; cj – прототип (центр) j-го кластера; в – невід’ємний параметр – “фаззифікатор” (як правило в = 2); D(x(k),cj) – відстань між x(k) і cj в обраній метриці.

В межах можливісного підходу мінімізується критерій кластеризації:

()

де скалярний параметр мj > 0 визначає відстань, на якій рівень належності приймає значення 0,5, тобто якщо D2(x(k),cj) = мj, то wj(k) = 0,5.

В роботі одержано адаптивні процедури кластеризації для обох підходів, паралельне використання яких призводить до об’єднаної адаптивної процедури нечіткої кластеризації, що має вигляд:

()

Ознакою правильного знаходження прототипів за допомогою (8) є виконання нерівності , де е – допустима точність кластеризації.

Процедура (8) може функціонувати як в пакетному режимі для ітеративної обробки заданої вибірки даних, так і в режимі послідовної обробки, коли кількість спостережень k визначається поточним дискретним часом k = 1,2,…,N,N + 1,…. В останньому випадку процедура послідовно обробляє спостереження, що надходять. Отже, в разі нестаціонарності даних рівні належності і прототипи кластерів перестроюються під змінені умови.

Синтезовано рекурентні процедури робастної нечіткої кластеризації часових послідовностей, що мають адаптивні властивості та можуть застосовуватись для послідовної обробки даних, а також коли властивості системи, що генерує дані, змінюються з часом.

В якості метрики для цільових функцій методів нечіткої кластеризації використовується функція:

, ()

на основі якої одержано процедуру нечіткої кластеризації в межах імовірнісного підходу:

()

а також рекурентну процедуру нечіткої кластеризації в межах можливісного підходу:

()

Параметр відстані мj(k) обчислюється для k < N спостережень за формулою:

()

В роботі також розглядається цільова функція для робастного рекурентного методу нечіткої кластеризації:

()

Відповідна робастна рекурентна процедура нечіткої кластеризації має вигляд:

()

В дисертації розглянуто задачу адаптивної сегментації часових послідовностей біологічного походження, що змінюють властивості з часом в заздалегідь невідомі моменти часу, і запропоновано підхід, що базується на методі непрямої кластеризації послідовності за допомогою робастного рекурентного методу нечіткої кластеризації.

В якості ознак пропонується вибрати кореляційні, регресійні, спектральні та інші характеристики часової послідовності, що у випадку послідовної обробки повинні обчислюватись за допомогою адаптивних процедур. Для цього запропоновано використовувати оцінки математичного сподівання, дисперсії та коефіцієнтів автокореляції, що обчислюються за допомогою процедур експоненціального згладжування.

Результатом застосування процедури нечіткої кластеризації є поділ початкових даних на m кластерів з деяким ступенем належності wj(k) k-го вектора ознак x(k) до j-го кластера. Таким чином, часові послідовності спостережень, що йдуть підряд в часі і належать до однакових кластерів, створюють сегменти початкових даних.

У третьому розділі дисертаційної роботи запропоновано архітектури гібридних нейро-фаззі мереж: імовірнісної нейронної мережі з нечітким виведенням, мережі зустрічного розповсюдження з нечітким виведенням на основі нео-фаззі нейронів; синтезовано ефективні процедури навчання для цих мереж, що забезпечують можливість навчання як у пакетному режимі, так і в режимі послідовної обробки, а також запропоновано процедуру настройки параметрів радіально-базисної мережі на основі еліпсоїдального навчання.

Імовірнісна нейронна мережа з нечітким виведенням, є гібридом імовірнісної і узагальненої регресійної нейронних мереж із застосуванням нестандартних функцій активації та є тришаровою структурою. Вихідною інформацією для синтезу мережі є навчальна вибірка спостережень, що сформована у вигляді пакету з n-вимірних векторів x(1),x(2),…,x(j),…,x(M), де x(j) = (x1(j),…,xi(j),…,xn(j))T. Припускається, що для кожного навчального спостереження x(j) відома його чітка класифікація, при цьому навчальна вибірка повинна містити спостереження з усіх можливих кластерів. Кількість спостережень в навчальній вибірці дорівнює , де Nl > 0– кількість спостережень, що відноситься до l-го кластера.

На нульовий шар мережі (шар образів) надходять n-мірні вектори спостережень x(k), k > M з невідомою класифікацією, що передаються далі в приховані шари для подальшої обробки. Перший прихований шар містить N нейронів з дзвонуватими функціями активації.

В роботі розглядаються два типа функцій: гауссові і фінітні квадратичні, синаптичні ваги яких визначаються значеннями компонент навчальних спостережень, а саме wji = xi(j), i = 1,2,…,n, 1  j  M. Всі нейрони шару образів розбиті на m груп по Nl вузлів в кожній, що відповідають своїм кластерам, а вектор вагових коефіцієнтів p-го нейрона в l-й групі позначимо wl,p = wl+p–1, l = 1,2,…,m, p = 1,2,…,Nl.

При надходженні на нульовий шар вектора x(k) на виходах нейронів першого прихованого шару з’являються наступні сигнали:–

для гауссової функції активації:

()–

для квадратичної функції активації:

()

де l = 1,2,…,m, p = 1,2,…,Nl, k > N + M; wl,p – центр функції активації; уl – радіус її рецепторного поля.

Другий прихований шар містить (m + 1) елементарний суматор, причому на перші m з них подаються сигнали з виходів нейронів шару образів так, що , де vl,p  1 – синаптичні ваги 2-го прихованого шару, що введено с метою більш точної апроксимації форми кластера (розподілу даних). На виході (m + 1)-го суматора обчислюється сума: . Суми ol[2](k) є парзеновськими апроксимаціями невідомих розподілів даних за кластерами.

Вихідний шар нормалізації містить m дільників, що обчислюють вектор рівнів належності y(k) = (y1(k),…,yl(k),…,ym(k))T поточного спостереження у вигляді , . Завдяки цьому шару дана мережа дозволяє проводити класифікацію даних на основі нечіткого виведення про належність конкретного спостереження до того чи іншого класу.

В роботі запропоновано підхід до побудови мережі оптимального розміру, що полягає в тому що, якщо при надходженні навчального спостереження x(u) на вхід мережі вихід кожного нейрона шару прототипів, що належать до того ж класу l = d(u), що і x(u), не перевищує деякого порогового значення и, то до мережі додається новий нейрон з функцією активації з центром в точці і синаптичною вагою 2-го прихованого шару , після чого розмір мережі перераховуються відповідно до співвідношень Nl := Nl + 1, N := N + 1.

Інакше, для нейрона q відповідного класу l з найбільшим значенням виходу , синаптична вага 2-го прихованого шару збільшуються на величину ol,p[1](u) відповідно до співвідношення vl,q := vl,q + ol,p[1](u), після чого виконується один крок настройки уl2 на навчальному спостереженні x(u).

Приріст значення vl,p припиняється, коли надійшла достатня кількість навчальних спостережень, тобто коли щільність розподілу даних за класами може бути апроксимована з достатньою точністю методом ядерної регресії.

Вводячи до розгляду критерій навчання (функцію похибки) у вигляді: де e(u) = (e1(u),…,eh(u),…,em(u))T; dh(u) – навчальний сигнал, що дорівнює 1, якщо вектор x(u), u = 1,2,…,M належить до h-го кластера, та 0 в іншому випадку, одержуємо процедури навчання:–

для гауссіана:

()–

для квадратичної функції:

()

По закінченні процесу навчання, значення уl–2(M + 1), l = 1,2,…,m використовуються в якості оцінок параметрів функцій активації для класифікації спостережень x(k), k > M з невідомою належністю до класів.

Запропонований метод навчання може використовуватись як для пакетної обробки даних, так і для послідовної роботи і навчання у міру надходження навчальних даних.

В роботі запропоновано обчислювально просту робастну процедуру навчання ваг вихідного шару радіально-базисної ШНМ для задач класифікації даних, що синтезована на основі методу еліпсоїдального навчання та забезпечує збіжність ваг, що настроюються, до еліпсоїдів мінімального об’єму, що містять оптимальні параметри. Запропонована процедура не потребує вирішення допоміжних задач оптимізації або пошуку коренів і поступово набуває форми зваженого рекурентного методу найменших квадратів.

Оцінки синаптичних ваг, що одержано за допомогою класичних процедур навчання радіально-базисних ШНМ, таких як процедура Уідроу-Хоффа або метод найменших квадратів, мають зрозуміле статистичне значення та є оптимальними в ситуації, коли і корисна інформація, і діючі збурення є по суті стохастичними сигналами, що породжуються розподілами з обмеженою дисперсією. Процедури навчання, що мають в основі критерії, відмінні від квадратичного, у підсумку все одно “прив’язані” до того чи іншого закону розподілу і дають точкову оцінку в сенсі математичного сподівання.

При обробці інформації, що не має випадкового характеру, наприклад, в задачах динамічної реконструкції хаотичних сигналів, застосування статистичних критеріїв не має сенсу. В цьому випадку можна припустити, що як корисні сигнали x(k), dj(k) (де dj(k) – навчальний сигнал), так і діючі неспостережувані збурення ж(k) знаходяться в деякому обмеженому інтервалі і можуть мати регулярний або хаотичний характер. Очевидно, що навіть оптимальне значення синаптичних ваг wj* в цьому випадку не дозволяє забезпечити на виході нейромережі в режимі навчання виконання умови yj(k) = dj(k), а можуть лише визначати деякий інтервал
dj(k)  r(k)  wj*T(x(k))  dj(k) + r(k) де r(k) – параметр, що визначає межі змін збурень ж(k)  r(k). Слід зазначити, що такий інтервал задає в просторі синаптичних ваг пару гіперповерхонь, між якими лежать параметри wj(k). Послідовність навчальних сигналів dj(1),dj(2),…,dj(N), породжує N пар гіперплощин, що формують у цьому просторі область Qj(N). Всі точки Qj(N) рівноправні в тому сенсі, що серед них неможливо виділити оптимальну, а для зручності можна взяти деякий центр області Qj(N) на зразок того, як це робиться в процедурах дефаззіфікації в системах нечіткого виведення.

Розглядається підхід, що полягає в апроксимації політопа Qj(k), еліпсоїдом Lj(k): (wj*  wj(k))TPj–1(k)(wj*  wj(k))  1, центр якого wj(k) і симетрична додатно визначена матриця P(k) настроюються так, щоб еліпсоїд Lj(k) був якнайближче до Qj(k). Оскільки wj(k) і Pj(k) містять (h + 1) + (h + 2)(h + 1)/2 параметрів, використання еліпсоїдів замість політопів для оцінки оптимальних параметрів є більш обчислювально ефективним. В роботі одержано рекурентну процедуру навчання радіально-базисних ШНМ, що базується на підході еліпсоїдального оцінювання і визначається співвідношенням:

()

Одним із можливих способів вибору поточного значення параметра дj(k) може бути процедура експоненціального згасання з урахуванням обмежень, що визначається співвідношенням:

()

де – нижня границя значень параметра ; ф > 1 – параметр, що визначає швидкість згасання .

В роботі запропоновано архітектуру нової гібридної нейро-фаззі мережі, що має назву РБФ-НФН і поєднує особливості радіально-базисних ШНМ і конкурентних мереж шляхом об’єднання двох шарів радіально-базисних функції і нео-фаззі нейронів (НФН), а також синтезовано просту і обчислювально ефективну процедуру навчання, що базується на методах кластеризації і оптимізації.

Мережа РБФ-НФН складається з двох шарів: прихований шар радіально-базисних функцій і вихідний шар нео-фаззі нейронів. РБФ-НФН містить D входів, Q виходів, що представлені нео-фаззі нейронами, та H нейронів в прихованому шарі.

Вихід прихованого шару обчислюється таким чином:

()

де x = (x1,x2,…,xD)T – вектор входів; Цh(·)– функції активації нейронів прихованого шару; – норма вектора з коваріаційною матрицею Rh–1; c = (c1,c2,…,cH)T – центри функцій активації рецепторних полів.

Виходи uh(x) нейронів прихованого шару подаються на блок функцій належності нео-фаззі нейронів, синапси яких описуються виразом:

()

де mh – кількість ФП в h-ому синапсі; мhj(uh(x)) – ФП вихідного шару; whj[q] – ваги, що настроюються.

Вихід мережі обчислюється у формі:

()

У роботі розглянуто такі типи функцій активації прихованого шару: стандартний гауссіан , квадрат евклідової відстані (квадратична функція) uh(x) = || x  ch ||2 і обернена квадратична функція uh(x) = (1 + || x  ch ||2)–1.

Функції uh(x) можуть розглядатись як радіально-базисні функції і як функції активації шару Кохонена. Функції належності мhj(uh) зазвичай формуються набором функцій, що утворюють розклад одиниці на проміжку , наприклад, набором рівновіддалених трикутних функцій.

Архітектура мережі РБФ-НФН функціонально еквівалентна класичній радіально-базисній ШНМ. Різниця полягає в способі підвищення розмірності вхідного простору. В запропонованій мережі це досягається шляхом застосування двошарового розширення: спочатку прихованим шаром радіально-базисних нейронів і потім нелінійними синапсами нео-фаззі нейронів. Навчання параметрів мережі РБФ-НФН запропоновано виконувати в режимі навчання з учителем із використання такої двокрокової процедури. На першій стадії процедури навчання можуть бути використані будь-які процедури кластеризації, такі, як правило Кохонена без учителя (процедура кластеризації k-середніх), субтрактивна процедура кластеризації, процедура кластеризації нечітких с-середніх.

Параметрами, що настроюються, у вихідному шарі мережі РБФ-НФН є тільки whj[q], а виходи НФН є лінійними по відношенню до whj[q]. Отже, для знаходження оптимальних значень whj[q] шляхом мінімізації критерію , може бути застосований регуляризований стандартний метод найменших квадратів замість градієнтних методів, що характеризуються низькою швидкістю збіжності.

У четвертому розділі представлені результати моделювання запропонованих у дисертаційній роботі архітектур гібридних нейро-фаззі мереж, методів їх навчання, самоорганізації і кластеризації, що проводилось на прикладах розв’язання стандартних тестових задач класифікації, а також для розв’язання практичних задач: сегментації біологічних часових послідовностей R-R інтервалів серцебиття і виявлення областей кровообігу в тілі людини за даними, отриманими шляхом ультразвукового сканування тіла, що досліджується.

Задача виявлення областей кровообігу в тілі живого організму полягає в оцінюванні параметрів сигналів, одержаних за допомогою апарату ультразвукової діагностики, що базується на ефекті Допплера, та виділенні сигналу кровообігу за наявності сигналу стінки. Вихідна інформація представлена у вигляді послідовності двомірних кадрів ультразвукових вимірювань, кожна точка яких сформована комплексним сигналом довжиною в 16 відліків. У роботі запропоновано метод рішення цієї задачі, що складається з таких етапів:

1. Попередня обробка даних за допомогою лінійки фільтрів верхніх частот з різними смугами режекції сигналу стінки.

2. Обчислення статистичних характеристик сигналів на виході кожного фільтра і формування вектора ознак.

3. Оцінка параметрів кровообігу на основі даних результатів фільтрації за допомогою гібридної нейро-фаззі мережі зустрічного розповсюдження та подальше кольорове картування початкової послідовності кадрів.

4. Обробка результатів кольорового картування за допомогою стандартної процедури двомірної медіанної фільтрації з метою усунення впливу шумових складників сигналів.

Застосування запропонованих у роботі методів кластеризації та гібридної нейро-фаззі мережі зустрічного розповсюдження дозволило ефективно розв’язати задачу виявлення зон кровообігу без необхідності обрання оптимальних параметрів фільтрів для кожного вимірюваного об’єму, що підтверджено результатами проведеного в роботі моделювання запропонованих методів та низки класичних ШНМ.

У цьому розділі також наведено результати моделювання класичних нейро- і нейро-фаззі мереж і методів кластеризації з метою оцінки якості розв’язання розглянутих задач.

У додатку наведено акти про впровадження результатів дослідження в навчальний процес, науково-дослідні роботи Харківського національного університету радіоелектроніки та у фірмі “РАДМІР”, дочірньому підприємстві АТ “Науково-дослідний інститут радіотехнічних вимірювань”, м. Харків.

Висновки

В дисертаційній роботі представлені результати, що є, у відповідності до поставленої мети, рішенням актуальної наукової задачі синтезу систем класифікації і кластеризації даних, що функціонують в умовах апріорної і поточної невизначеності відносно характеру розподілу і істотного перетину класів, на основі гібридних нейро-фаззі моделей. Проведені дослідження дозволили зробити такі висновки.

1. Вперше запропоновано рекурентні і робастні методи кластеризації даних і сегментації часових послідовностей в межах імовірнісного і можливісного підходів, що здатні обробляти спостереження в послідовному і пакетному режимах, а також нечутливі до викидів, що присутні в реальних даних. Вказано їх переваги перед відомими методами нечіткої кластеризації.

2. Вдосконалено методи самоорганізації для модифікованої мережі Кохонена з нечітким виведенням шляхом використання спеціальної функції сусідства та підвищення вимірності вхідного простору на стадії попередньої обробки даних. Запропоновані методи можуть функціонувати в умовах відсутності апріорної інформації про вибірку даних.

3. Вперше запропоновано методи побудови і навчання імовірнісної нейронної мережі з нечітким виведенням. Синтезовано обчислювально ефективні процедури навчання цієї мережі для задач класифікації даних з використанням різних функції активації нейронів прихованого шару.

4. Вперше запропоновано рекурентний метод навчання радіально-базисної мережі на основі еліпсоїдального оцінювання, що забезпечує збіжність ваг, що настроюються, до еліпсоїдів мінімального об’єму, що містять оптимальні значення параметрів. Запропонований метод не потребує розв’язання допоміжних задач оптимізації або пошуку коренів.

5. Вперше запропоновано архітектуру і метод навчання гібридної нейро-фаззі мережі зустрічного розповсюдження, що поєднує особливості радіально-базисних нейронних мереж і конкурентних мереж шляхом об’єднання двох шарів радіально-базисних функцій і нео-фаззі нейронів.

6. Вирішені актуальні практичні задачі сегментації біологічних послідовностей R-R інтервалів серцебиття тварин в процесі виходу зі штучного гипометаболічного стану та виявлення областей кровообігу в тілі людини за даними, отриманими шляхом ультразвукового сканування тіла, що досліджується. Результати досліджень впроваджено у фірмі “РАДМІР”, дочірньому підприємстві АТ “Науково-дослідний інститут радіо вимірювань”, м. Харків, що підтверджено відповідним актом.

7. Розроблені в дисертаційній роботі методи і архітектури можуть бути застосовані для розв’язання широкого класу задач класифікації даних в умовах апріорної і поточної невизначеності відносно характеру розподілу даних та істотного перетину класів.

Список опублікованих праць за темою дисертації

1. Горшков Е. В., Колодяжный В. В., Плисс И. П. Адаптивный алгоритм обучения нео-фаззи нейрона и нейро-фаззи сети на основе полиномиальных функций принадлежности // Бионика интеллекта. – 2004. – Вып. 61(1). – С. –81.

2. Бодянский Е. В., Горшков Е. В., Колодяжный В. В., Плисс И. П. Рекуррентный алгоритм обучения радиально-базисных нейронных сетей, основанный на приблизительных множествах // Радіоелектроніка. Інформатика. Управління. – 2005. – №1(13). – С. –122.

3. Бодянский Е. В., Горшков Е. В., Кокшенев И. В., Колодяжный В. В. Об адаптивном алгоритме нечеткой кластеризации данных // Адаптивні системи автоматичного управління: Зб. наук. праць. – Дніпропетровськ: Системні технології, 2002. – №5(25) – С. –117.

4. Бодянский Е. В., Горшков Е. В., Колодяжный В. В. Нейро-фаззи-сеть Колмогорова с полиномиальными функциями принадлежности и градиентный алгоритм ее обучения // Адаптивні системи автоматичного управління: Зб. наук. праць. – №7(27) – Дніпропетровськ: Системні технології, 2004. – С. –109.

5. Бодянский Е. В., Горшков Е. В., Колодяжный В. В. Обучение нейро-фаззи сети Колмогорова на основе обратного распространения ошибок и алгоритмов оптимизации второго порядка // Адаптивні системи автоматичного управління: Зб. наук. праць. – №8(28) – Дніпропетровськ: Системні технології, 2005. – С. –10.

6. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V., Wernstedt J. Probabilistic neuro-fuzzy network with non-conventional activation functions // In: Lecture Notes in Artificial Intelligence. – Berlin-Heidelberg-New: Springer, 2003. – Vol. – P. –979.

7. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V., Stephan A. Combined learning algorithm for a self-organizing map with fuzzy inference // In: B. Reusch (Ed.), Computational Intelligence, Theory and Applications. Advances in Soft Computing. – Berlin; Heidelberg: Springer-Verlag, 2005. – Vol. . – P. –650.

8. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V., Poyedyntseva V. Neuro-fuzzy Kolmogorov's network // In: W. Duch et al. (Eds.), Lecture Notes in Computer Science. – Berlin; Heidelberg: Springer-Verlag, 2005. – Vol. . – P. –6.

9. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V., Pliss I. Rough sets-based recursive learning algorithm for radial basis function networks // In: W. Duch et al. (Eds.), Lecture Notes in Computer Science. – Berlin; Heidelberg: Springer-Verlag, 2005. – Vol. . – P. –65.

10. Bodyanskiy Ye., Gorshkov Ye., Kokshenev I., Kolodyazhniy V. Outlier resistant recursive fuzzy clustering algorithms // In: B. Reusch (Ed.), Computational Intelligence, Theory and Applications. Advances in Soft Computing. – Berlin; Heidelberg: Springer-Verlag, 2006. – Vol. . – P. –652.

11. Горшков Е. В., Кокшенев И. В., Колодяжный В. В. Быстрый нейро-фаззи классификатор // 6-й Международный молодежный форум “Радиоэлектроника и молодежь в ХХІ веке”: Сб. научных трудов. – Харьков: ХНУРЭ, 2002. – С. –29.

12. Бодянский Е. В., Горшков Е. В., Кокшенев И. В., Колодяжный В. В. Адаптивный нечеткий алгоритм кластеризации данных // 1-й Международный радиоэлектронный Форум “Прикладная радиоэлектроника. Состояние и перспективы развития” (МРФ 2002): Сб. научных трудов. – Харьков: ХНУРЭ, 2002. – С. –92.

13. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V. Combined neural network for non-linear system modeling // In: M. Mohammadian (ed.), Proc. Int. Conf. Computational Intelligence for Modelling Control and Automation (CIMCA 2003), Vienna, Austria, February 12-14, 2003. – 2003. – P. –703.

14. Gorshkov Ye. V., Kokshenev I. V., Rudnyeva O. O. Fast neuro-fuzzy classifier // Proc. 1-st Int. IEEE EMBS Conf., Neural Engineering, 2003, Capri, Italy, March 20-22, 2003. – IEEE Press, 2003. – P. –552.

15. Gorshkov Ye. V. Improving the probabilistic neural network // 7-й Международный молодежный форум “Радиоэлектроника и молодежь в ХХІ веке”: Сб. научных трудов. – Харьков: ХНУРЭ, 2003. – С. .

16. Горшков Е. В. Категоризация текстовых документов с использованием методов нечеткой кластеризации // Международная научная конференция “Теория и техника передачи, приема и обработки информации”: Сб. тезисов докладов. – Харьков: ХНУРЭ, 2003. – С. –360.

17. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V. Resource-allocating probabilistic neuro-fuzzy network // Proc. 3-rd Int. Conf. of the European Society for Fuzzy Logic and Technology, (EUSFLAT 2003), Zittau, Germany, Sept. 10–12, 2003. – Zittau/Goerlitz: University of Applied Sciences (FH), 2003 – P. –395.

18. Бодянский Е. В., Горшков Е. В., Колодяжный В. В. Комбинированный алгоритм самоорганизации с нечетким выводом // Автоматика-2004: Материалы 11-й международной конференции по автоматическому управлению, Киев, 27–30 сентября 2004 г. – К.: НУПТ, 2004 – Т. . – С. .

19. Баринова Е. В., Беловол Ю. С., Бодянский Е. В. Горшков Е. В. Алгоритм обучения искусственной нейронной сети встречного распространения // VII Міжнародна науково-технічна конференція „Системний аналіз та інформаційні технології”, Київ, 28 червня – 2 липня 2005 р. – К.: НТУУ “КПІ”, 2005. – С. .

20. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V. Neuro-fuzzy Kolmogorov's network with a hybrid learning algorithm // Proc. XI-th Int. Conf. “Knowledge – Dialogue – Solution”, Varna, Bulgaria, June 20–24, 2005. – Sofia, Bulgaria: FOI-Commerce, 2005. – Vol.– P. –627.

21. Bodyanskiy Ye., Gorshkov Ye., Kokshenev I., Kolodyazhniy V. Robust recursive fuzzy clustering algorithms // Proc. East West Fuzzy Colloquium 2005, 12-th Zittau Fuzzy Colloquium, Zittau, Germany, Sept. 21–23, 2005. – Zittau/Goerlitz: University of Applied Sciences (FH), 2005. – P. –308.

22. Gorshkov Ye., Kokshenev I., Bodyanskiy Ye., Kolodyazhniy V., Shylo O. Robust recursive fuzzy clustering-based segmentation of biological time series // Proc. 2006 Int. Symp. on Evolving Fuzzy Systems (EFS’06), Ambleside, Lake District, UK, 7–9 Sep., 2006. – IEEE Press, 2006. – P. –105.

23. Bodyanskiy Ye., Gorshkov Ye., Kolodyazhniy V., Rvachova T. Hybrid neuro-fuzzy network with variable shape basis functions // Proc. East West Fuzzy Colloquium 2006, 13-th Zittau Fuzzy Colloquium, Zittau, Germany, Sep. 13–15, 2006, – Zittau/Goerlitz: University of Applied Sciences (FH), 2006. – P. –331.

24. Bodyanskiy Ye., Gorshkov Ye., Kokshenev I., Kolodyazhniy V., Shylo O. Recursive fuzzy clustering algorithms for segmentation of biological time series // Proc. East West Fuzzy Colloquium 2006, 13-th Zittau Fuzzy Colloquium, Zittau, Germany, Sep. 13–15, 2006, – Zittau/Goerlitz: University of Applied Sciences (FH), 2006. – P. –139.

АнотаціЯ

Горшков Є. В. Класифікація даних в умовах невизначеності на основі гібридних нейро-фаззі архітектур. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Харків, 2007.

Дисертація присвячена дослідженню архітектур гібридних нейро-фаззі мереж, методів їх навчання і самонавчання, адаптивних процедур нечіткої кластеризації для задач класифікації чисельних даних в умовах апріорної та поточної невизначеності відносно характеру розподілу та істотного перетину класів.

В дисертації запропоновано рекурентні і робастні методи кластеризації в межах імовірнісного та можливісного підходів, що дозволяють проводити кластеризацію за умов перетину класів; імовірнісну нейронну мережу з нечітким виведенням, методи її побудови і навчання; рекурентний метод навчання радіально-базисної мережі на основі еліпсоїдального оцінювання, що забезпечує ефективне навчання за умови дефіциту інформації про розподіл збурень; гібридну нейро-фаззі мережу зустрічного розповсюдження і метод її навчання. Вдосконалено методи самоорганізації модифікованої мережі Кохонена з можливістю нечіткого виведення і запропоновано метод попередньої обробки даних шляхом підвищення вимірності вихідного простору. Ефективність цих методів експериментально підтверджена на ряді відомих тестових вибірок даних для нечіткої класифікації у порівнянні з класичними нейро- та нейро-фаззі методами обробки даних.

Синтезовані методи та запропоновані архітектури гібридних нейро-фаззі мереж підтвердили свою ефективність при створені систем біомедичної діагностики для сегментації послідовностей інтервалів серцебиття біологічного організму в процесі виходу і пробудження зі штучного гипометаболічного стану, а також системи виявлення зон кровообігу на основі вихідної інформації ультразвукового сканування органів людини, що є важливим для медичного діагностування різноманітних уражень судин людини і застосовується в ранній діагностиці пухлинних захворювань внутрішніх органів з їх диференціюванням за ступенем злоякісності.

Ключові слова: гібридні нейро-фаззі мережі, штучні нейронні мережі, системи нечіткої класифікації, адаптивні процедури кластеризації, методи навчання, методи самонавчання.

АННОТАЦИЯ

Горшков Е. В.