Державний комітет зв’язку та інформатизації України

Національна академія наук України

Державний науково-дослідний інститут інформаційної інфраструктури

ХАЙМУДІ ЕЛЬ КХАТІР

УДК 681.142.37

МОДЕЛІ ТА МЕТОДИ РОЗПІЗНАВАННЯ

КЛАСІВ БАГАТОПАРАМЕТРИЧНИХ ОБ’ЄКТІВ

НА ОСНОВІ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ

05.13.23 - Системи та засоби штучного інтелекту

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів – 2004

Дисертацією є рукопис.

Робота виконана у Національному університеті “Львівська політехніка” Міністерства освіти і науки України.

Науковий керівник:

доктор технічних наук, професор

Ткаченко Роман Олексійович,

Національний університет “Львівська політехніка”,

професор кафедри автоматизованих систем управління

Офіційні опоненти:

доктор технічних наук, професор

Воробель Роман Антонович,

Фізико-механічний інститут ім. Г.В. Карпенка НАН України, керівник відділу

кандидат технічних наук, старший науковий співробітник

Якушев Володимир Семенович,

Національний університет “Львівська політехніка”,

доцент кафедри інформаційних систем та мереж

Провідна установа:

Інститут проблем математичних машин та систем НАН України, м. Київ, відділ нейротехнологій

Захист відбудеться “ 09 ” червня 2004 р. о 14 годині на засіданні спеціалізованої вченої ради Д 35.813.01 при Державному науково-дослідному інституті інформаційної інфраструктури за адресою: 79601, м. Львів, вул. Тролейбусна, 11.

З дисертацією можна ознайомитися у бібліотеці Державного науково-дослідного інституту інформаційної інфраструктури за адресою: 79601, м. Львів, вул. Тролейбусна, 11.

Автореферат розісланий “08” травня 2004 р.

Вчений секретар

спеціалізованої вченої ради,

доктор технічних наук Бунь Р.А.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність роботи. Інтелектуальні системи на основі штучних нейронних мереж (ШНМ) широко застосовуються для розв’язання задач розпізнавання образів. ШНМ виробляють певні правила розв’язку, які дозволяють віднести багатопараметричні об’єкти (явища, ситуації, процеси) до визначених класів. На відміну від класичних методів розпізнавання, які використовують, в першу чергу, апарат математичної статистики, ШНМ намагаються відтворити інформаційну модель біологічної нейронної мережі мозку людини та інших істот. ШНМ застосовуються для технічного та медичного діагностування, розпізнавання текстових та графічних зображень і мовних повідомлень, ідентифікації об’єктів в охоронних системах.

Перші спроби застосувати ШНМ для розпізнавання образів відносяться до 50-х рр. XX століття. Найвідомішою на той час моделлю ШНМ був перцептрон Ф.Розенблатта. Починаючи із середини 70-х рр. XX століття були створені моделі багатошарових ШНМ прямого поширення, а також моделі рекурентних ШНМ Хопфілда та Хеммінга, карти із самоорганізацією (КІС) Кохонена, мережа зустрічного поширення (МЗП). Значний інтерес при побудові ефективних моделей ШНМ для задач розпізнавання образів становлять результати досліджень українських вчених, зокрема, акад. О.Г.Івахненка, Е.М.Куссуля, О.М.Резніка.

Найбільш ефективними для розпізнавання образів у наш час вважаються моделі ШНМ Т.Кохонена, які використовують оригінальні алгоритми кластеризації даних за методами конкуренційного навчання та відображення її результатів на КІС. Подальший розвиток КІС Кохонена набули у моделях МЗП Р.Хехт-Нільсена. Проте ці моделі не змогли витіснити інтелектуальні системи розпізнавання образів, що будуються на класичних методах, через певну складність алгоритмів навчання та функціонування, ітераційний характер навчання, суттєву відмінність у результатах розпізнавання, отриманих при різних значеннях вхідних параметрів, дискретність у представленні результатів на КІС. Тому, підвищення ефективності нейромережевих систем розпізнавання за рахунок зменшення впливу названих проблем є актуальною задачею, розв’язання якої дозволить сприяти подальшому впровадженню ШНМ із конкуренційним навчанням у системи розпізнавання образів, вдосконаленню роботи цих систем, що має велике значення для різних галузей людської діяльності.

Зв’язок роботи з науковими програмами, планами та темами. Робота виконана в рамках держбюджетної теми Міністерства освіти і науки України “Візуалізація мовних образів на основі нейромережевих технологій” (2001-2002, номер держреєстрації 0101U000879). Робота тісно пов’язана з планами науково-дослідної та навчальної роботи кафедри автоматизованих систем управління Національного університету “Львівська політехніка”. Також результати роботи використано у наукових дослідженнях Державного науково-дослідного інституту інформаційної інфраструктури.

Мета і задачі дослідження. Метою роботи є розробка архітектури та методик використання інтелектуальної системи розпізнавання образів на основі штучних нейронних мереж із конкуренційним навчанням. Дисертаційні дослідження спрямовані на підвищення точності розпізнавання образів, покращення наочності представлення результатів розпізнавання на основі застосування ефективних методик попередньої обробки даних та створення нових архітектурних вирішень на основі існуючих моделей ШНМ.

Для досягнення поставленої мети необхідно було розв’язати такі задачі:

- дослідити існуючі методи розпізнавання образів за допомогою ШНМ з метою пошуку ефективних шляхів підвищення точності та швидкості розпізнавання;

- розробити нові структури та методи навчання ШНМ із конкуренційним навчанням для розв’язання задач розпізнавання з підвищеною точністю та швидкістю навчання та функціонування;

- розробити необхідні методи попередньої обробки даних для ШНМ із конкуренційним навчанням нового типу;

- створити програмні моделі на основі запропонованих структур та методів навчання ШНМ, проаналізувати результати тестування та практичного застосування цих моделей.

Об’єкт дослідження – задачі розпізнавання класів багатопараметричних об’єктів та способи їх розв’язання.

Предмет дослідження - моделі ШНМ із конкуренційним навчанням для розв’язання задач розпізнавання образів.

Методи дослідження. В дисертаційній роботі використані методи теорії нейронних мереж, лінійної алгебри, кластерного аналізу, чисельні методи.

Наукова новизна одержаних результатів.

1. Запропоновано та теоретично обґрунтовано новий метод попередньої обробки даних для ШНМ із конкуренційним навчанням шляхом розширення вимірності простору реалізацій.

2. Побудовано нові інформаційні моделі для модифікованих варіантів КІС Кохонена та МЗП із введенням блоків попередньої обробки даних.

3. Створено нову нейромодель тривимірної карти особливостей на основі двовимірної КІС Кохонена, яка використовує неперервну третю координату як засіб підвищення ефективності функціонування КІС.

4. Розроблено методики використання, досліджено основні властивості та виявлено можливі області застосування запропонованої нейромоделі.

Практичне значення одержаних результатів. Розроблений метод попередньої обробки даних ШНМ дозволив ефективніше розв’язувати задачі розпізнавання образів, що характеризуються як відмінностями у співвідношеннях різних ознак, так і відмінностями у абсолютних значеннях окремих ознак.

Побудовані у роботі інформаційні моделі ШНМ із конкуренційним навчанням дозволили створити їх програмні реалізації, які характеризуються додатковими можливостями розпізнавання образів, аналізу взаємозв’язків та виявлення закономірностей у даних, що описують ці образи.

Запропонована модель тривимірної карти особливостей дозволяє здійснювати візуалізацію результатів розпізнавання у тривимірному просторі, використовуючи як третю координату неперервну величину, що забезпечує повніше розділення вхідних образів, на відміну від стандартного варіанту КІС Кохонена.

Реалізація і впровадження результатів роботи. Розроблено компоненти інтелектуальної системи розпізнавання класів багатопараметричних об’єктів на основі програмних моделей ШНМ із конкуренційним навчанням. Дана програмна розробка переважає існуючі нейромережеві системи розпізнавання образів за показниками точності розпізнавання, можливостями виявлення закономірностей у даних, а також за швидкістю навчання та функціонування за рахунок застосування неітераційних методів попередньої обробки даних.

Теоретичні і практичні результати дисертації використано за безпосередньою участю автора:

–

–

–

Особистий внесок здобувача.

Всі основні положення дисертації, винесені на захист, розроблені автором самостійно. У працях, опублікованих у співавторстві, автору належать: в [1] - аналіз переваг та недоліків КІС Кохонена, виконання та опрацювання результатів експериментів для тестових задач розпізнавання образів; в [3] - опис методу попередньої обробки вхідних даних для двовимірної КІС Кохонена, створення програмних моделей модифікованого варіанту ШНМ із його застосуванням, опрацювання результатів експериментів для тестових задач розпізнавання образів; в [4] - опис методу попередньої обробки вхідних даних для МЗП, створення програмної моделі модифікованого варіанту МЗП, виконання та опрацювання результатів експериментів для тестових задач розпізнавання образів.

Апробація результатів дисертації. Основні наукові результати та положення дисертаційної роботи представлялися, доповідалися та обговорювалися на VII Міжнародній науково-технічній конференції “CADSM-2003” (Львів, 2003); XVIII відкритій науково-технічній конференції молодих науковців і спеціалістів ФМІ ім. Г.В.Карпенка НАН України (Львів, 2003); наукових семінарах Національного університету “Львівська політехніка” (2000-2004) та Державного науково-дослідного інституту інформаційної інфраструктури (2003-2004).

Публікації. По темі дисертаційної роботи опубліковано 6 наукових праць, у тому числі 4 статті у наукових журналах, 2 публікації у збірниках матеріалів конференції.

Структура та обсяг роботи. Дисертаційна робота складається з вступу, чотирьох розділів, висновків та списку використаних джерел зі 101 найменування. Зміст роботи викладений на 127 сторінках, у тому числі 110 сторінок основного тексту. Кількість ілюстрацій 52, таблиць 23, додатків 2.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовується вибір теми та її актуальність, формулюються завдання досліджень та основні положення, що виносяться на захист, відзначаються наукова новизна і практичне значення одержаних результатів.

У першому розділі розглянуто існуючі класичні та нейромережеві методи розпізнавання класів багатопараметричних об’єктів.

Задача розпізнавання образів розглядається як сукупність двох пов’язаних підзадач - класифікації та кластеризації. Виділяють дві парадигми у задачах розпізнавання образів - розпізнавання “з учителем”, яке використовується в задачах класифікації та розпізнавання “без учителя” - в задачах кластеризації. Класичними методами розпізнавання “з учителем” є ймовірнісні методи, зокрема, метод, заснований на формулі Байєса. Цим методам притаманні певні обмеження, зокрема, недостатня гнучкість, яка є наслідком застосування лише лінійних правил розв’язку. Встановлено, що нові можливості для розпізнавання надають штучні нейронні мережі. Відомими типами ШНМ, що використовуються для вирішення задач розпізнавання образів, є мережа Кохонена (карта Кохонена, карта із самоорганізацією (КІС)) та мережа зустрічного поширення (МЗП). КІС навчається за методом конкуренційного навчання, складається з двох шарів: вхідного та вихідного - власне КІС. Елементи карти розташовуються в деякому просторі - як правило, двовимірному. МЗП складається з двох шарів із послідовними зв’язками. Перший шар (Кохонена) використовує метод конкуренційного навчання “без учителя” і може функціонувати у двох режимах (режим акредитації та режим інтерполяції), другий шар (Гроссберга) використовує метод навчання “з учителем”.

Проведені експериментальні дослідження сучасних моделей ШНМ для задач розпізнавання дозволили виявити притаманні їм переваги та недоліки. До переваг КІС слід віднести здатність здійснювати кластеризацію вхідних образів, використовуючи властивість збереження топології. Навчання мережі відбувається лише на основі вхідних образів, зручно здійснити візуалізацію результатів розпізнавання. МЗП вчиться досить швидко, але за точністю апроксимації поступається мережам прямого поширення. Для КІС Кохонена і МЗП існує необхідність нормалізації вхідних образів, що не дає можливості врахувати абсолютні значення їхніх компонент. Для усунення цих недоліків ШНМ із конкуренційним навчанням запропоновано застосувати попередню обробку вхідних даних.

У другому розділі розроблено метод попередньої обробки даних із введенням додаткових компонент до векторів реалізацій (геометричне функціональне розширення), побудовано структуру і програмні моделі та виконано експериментальні дослідження нейромереж із застосуванням геометричного функціонального розширення.

Встановлено, що попередня обробка вхідних даних для ШНМ розглядається дослідниками як перший і найбільш трудомісткий етап нейромережевого аналізу. Вважається, що результати попередньої обробки можуть вирішальним чином уплинути на навчання та функціонування мережі. Попередня обробка даних передбачає виконання наступних дій:

- кодування входів та виходів (перетворення нечислових компонент вхідних даних ШНМ у числову форму);

- масштабування або нормалізація даних з метою усунення впливу вибору одиниць вимірювання вхідних та вихідних даних на результати застосування ШНМ;

- вилучення очевидних регулярностей з даних для підвищення сумісної ентропії компонент навчальної множини (власне попередня обробка).

Наслідком необхідності попередньої нормалізації векторів навчальної множини є спрямованість КІС Кохонена на виявлення відмінностей між векторами як відмінностей між їхніми компонентами. Тобто однаковими в методі навчання стандартного варіанту КІС вважаються вектори з однаковими співвідношеннями між компонентами всередині векторів, незалежно від їхніх абсолютних значень. На нашу думку можна провести певну аналогію з R-технікою у факторному аналізі, де вивчається кореляція між компонентами, на відміну від Q-техніки, де аналізуються кореляції між об’єктами.

Пропонується для недопущення втрати інформації про абсолютні значення компонент вхідних векторів при нормалізації ввести додаткові компоненти до векторів вхідних образів. Ці компоненти зберігають інформацію про стан кожного з вхідних образів до нормалізації, зокрема, довжину. Це дозволяє мережі розділити вектори, що не розділялися у стандартному варіанті. В основі обчислення цих компонент лежить геометричний підхід, який ґрунтується на модифікованій процедурі ортогоналізації Грама-Шмідта (ОГШ). Нехай вектори навчальної множини КІС Кохонена, що відповідають вхідним образам, утворюють матрицю (елементи матриці зводяться до діапазону [-1, 1] по кожній з компонент - стовпців матриці):

(1)

Кожному рядку матриці (1) (реалізації) ставиться у відповідність точка у m-вимірному просторі реалізацій (рис. 1 - для m=3). Точки l=1, 2, .., N у просторі реалізацій відповідають 1-му, 2-му, …, N-му рядкам матриці.

Рис. 1. Представлення матриці вхідних даних ШНМ

у тривимірному просторі реалізацій

Першу додаткову компоненту Kl обчислюємо згідно з виразом

, (2)

де - елементи матриці реалізацій (вхідних векторів), яка складається з N рядків та m стовпців; l - номер реалізації (рядка матриці); p - номер компоненти (стовпця матриці); S - номер рядка матриці реалізацій, сума квадратів елементів якого є максимальною.

Абсолютна величина компоненти Kl є відстанню від точки, яка відповідає вхідному вектору у m-вимірному просторі реалізацій до площини, що проходить через початок координат. Ця площина є ортогональною до базового вектора, що проходить між початком координат і найвіддаленішою від нього точкою.

Використовуючи формулу для одного кроку процедури ортогоналізації Грама-Шмідта, можна розрахувати координати елементів матриці , спроектованих на побудовану площину:

.

Друга компонента Rl - це відстань на площині між проектованою на неї точкою та початком координат:

.

Отримані компоненти додають до відповідного рядку початкової матриці M, в результаті чого формується матриця M* із додатковими компонентами:

.

Модифікована матриця M* подається на вхід КІС Кохонена або шару Кохонена МЗП для здійснення процедури навчання.

Таким чином, розроблений метод попередньої обробки даних із введенням додаткових компонент до векторів реалізацій здійснює геометричне функціональне розширення входів ШНМ із конкуренційним навчанням.

На основі запропонованого методу попередньої обробки даних створені нові структури та програмні моделі модифікованих варіантів КІС Кохонена та МЗП, які передбачають доповнення стандартних варіантів таких ШНМ додатковими блоками масштабування та обчислення додаткових компонент (рис. 2 та рис 3).

Для проведення експериментальних досліджень властивостей ШНМ із застосуванням геометричного функціонального розширення у системі програмування Borland Delphi 5.0 створено програми KohNet і KohMap, які призначені для побудови КІС Кохонена у стандартному та модифікованому варіантах із відображенням результатів у одно- (KohNet) або двовимірному (KohMap) представленні. Для проведення досліджень запропонованої моделі МЗП з попередньою обробкою даних розроблено програму CPNet.

Експериментальні дослідження розроблених моделей ШНМ здійснювались для тестових задач розпізнавання образів: “сума по модулю 2”, розпізнавання лінійно залежних образів, задача розпізнавання літер латинської абетки. Отримані результати показують, що застосування модифікованого варіанту КІС з двома додатковими компонентами навчальної множини дозволяє виконувати розпізнавання образів із лінійно залежними компонентами (рис. 4 та рис 5).

Рис. 4. Двовимірні карти із самоорганізацією для стандартного варіанту мережі Кохонена (розпізнавання лінійно залежних образів):

а - карта нейронів, б - карта кластерів, в - карта компоненти 1

Рис. 5. Двовимірні карти із самоорганізацією для модифікованого варіанту мережі Кохонена (розпізнавання лінійно залежних образів):

а - карта нейронів, б - карта кластерів, в - карта компоненти 1

Встановлено, що застосування МЗП з двома додатковими компонентами векторів реалізацій дозволяє помітно (у 2-2,5 рази) покращити якість розпізнавання образів при малих та середніх рівнях спотворень (рис.6).

Створено методику використання запропонованих моделей КІС Кохонена та МЗП при розв’язанні практичних задач розпізнавання образів.

У третьому розділі встановлено можливість застосування додаткових параметрів, обчислених на основі геометричного підходу, для розпізнавання образів за допомогою ШНМ Кохонена без модифікації навчальної множини. Пропонується при розпізнаванні образів використовувати візуалізоване представлення векторів навчальної множини на тривимірній карті особливостей, яка утворюється внаслідок поєднання двовимірної КІС Кохонена із блоком обчислення додаткового параметра для визначення третьої координати (рис. 7).

Додатковий параметр Kl обчислюється для кожного вхідного вектора, що утворюють навчальну множину для КІС Кохонена, на основі модифікованої процедури ортогоналізації Грама-Шмідта (2) або методу головних компонент:

, (3)

де - найбільший за власним значенням власний вектор кореляційної матриці .

Оцінки значущості параметра Kl, що обчислюється згідно з (2) пропонується визначати за формулою:

.

Відповідною оцінкою значущості параметра Kl , що обчислюється згідно з (3) буде значення проценту дисперсії, що описується вектором .

На основі запропонованої структури розроблено програмну модель КІС Кохонена, яка реалізує побудову тривимірних карт особливостей. Програма 3D_KohMap створена в системі програмування Borland Delphi 5.0 із застосуванням стандартної компоненти для тривимірної візуалізації даних TeeChart і здатна відображати результати навчання ШНМ у дво- або тривимірному просторі, використовуючи метод розфарбування породжених компонент, що відповідають певним вхідним образам. Результат навчання визначається за розподілом на карті нейронів-переможців, що відповідають кожному з вхідних образів та визначають їхню належність до певного кластера.

Проведені експериментальні дослідження властивостей ШНМ Кохонена для тестових задач розпізнавання образів для стандартної моделі на основі двовимірної КІС (рис. 8,а) та для запропонованої моделі тривимірної карти особливостей (рис. 8,б). Встановлено, що КІС Кохонена не розділила вхідні вектори на три класи, тому при двовимірній візуалізації двом лінійно залежним вхідним векторам відповідає один нейрон-переможець. При тривимірній візуалізації, внаслідок використання додаткового параметра як третьої координати, стає можливим встановити, що навчальна множина складається з трьох різних образів.

Рис. 8. Карти із самоорганізацією (два образи - лінійно залежні):

а – двовимірна візуалізація, б – тривимірна візуалізація

У четвертому розділі представлено результати використання розроблених програмних засобів як компонент інтелектуальної нейромережевої системи розпізнавання образів та візуалізації багатопараметричних даних при розв’язанні практичних задач.

1. Задача діагностування у стоматології (візуалізація даних, що описують імунологічні показники хворих на генералізований пародонтит (ГП)).

Метою досліджень є візуалізація на КІС точок із вибірки, що відповідає певній сукупності хворих та виявлення найбільш інформативних параметрів.

Аналізуючи результати (рис. 9 та рис. 10), можна зробити висновок, що при застосуванні КІС у задачах діагностування у стоматології спрощується постановка діагнозу внаслідок можливості швидкого визначення найбільш подібного за обраними ознаками хворого з навчальної вибірки, зокрема, на тривимірній карті особливостей. Вважаємо, що методику відбору найбільш інформативних ознак доцільно побудувати із врахуванням сукупності (атласу) карт компонент. Зіставляючи карти компонент із картою нейронів можна візуально виявити ознаки, значення яких у різних векторів вибірки найбільше відповідають загальному розподілу векторів на карті нейронів (рис. 9,в та рис. 10,в).

2. Задача розпізнавання звуків української мови.

Метою досліджень є побудова візуалізованого двовимірного представлення мовних образів (ділянок фрагменту мовного сигналу), що характеризуються низкою статистичних та енергетичних параметрів, за допомогою набору двовимірних топографічних КІС Кохонена, яке дозволяє виявити найбільш інформативні параметри та виконати припущення про належність нової ділянки, що не включена до навчальної множини, до одного з чотирьох класів фонем.

Рис. 11. Тривимірна карта особливостей (звуки української мови)

(Kl обчислюється згідно з (3))

Отримані результати показують, що для обох варіантів здатність КІС до розпізнавання складає приблизно 95% без суттєвої відмінності у результатах. Застосування тривимірної карти особливостей (рис. 11) дозволяє досягти повного розділення вхідних векторів і більш точно визначити правила віднесення ділянок мовного сигналу до певних класів.

ОСНОВНІ РЕЗУЛЬТАТИ РОБОТИ ТА ВИСНОВКИ

В дисертаційній роботі розв’язано актуальну наукову задачу створення моделей та методів навчання нейромереж для розпізнавання класів багатопараметричних об’єктів. При цьому отримані наступні основні результати.

1. На основі аналізу відомих підходів до розпізнавання образів, що описуються великою кількістю різноманітних параметрів, обґрунтовано перспективність використання у задачах кластеризації та ідентифікації ШНМ із конкуренційним навчанням - карт із самоорганізацією Кохонена та мереж зустрічного поширення.

2. Поряд із перевагами карт із самоорганізацією Кохонена та мереж зустрічного поширення виявлено, що час навчання та результати розпізнавання в значній мірі залежать від початкових параметрів, зокрема, швидкості навчання, періоду навчання, розміру сусідства та початкових значень вагових коефіцієнтів. Існуючі методи навчання карт із самоорганізацією Кохонена та мереж зустрічного поширення передбачають нормалізацію вхідних образів, що не дає можливості врахувати абсолютні значення їхніх компонент і, зокрема, розділяти вхідні образи, що мають залежність близьку до лінійної.

3. Запропоновано та теоретично обґрунтовано метод попередньої обробки даних штучних нейронних мереж із конкуренційним навчанням на основі геометричного підходу, що передбачає обчислення двох додаткових компонент множини реалізацій. Виявлено можливість за допомогою запропонованого метода розв’язувати задачі розпізнавання образів, що характеризуються як відмінностями між значеннями різних ознак об’єкта, так і відмінностями між значеннями однієї ознаки різних об’єктів, що вирішує проблему розділення лінійно залежних векторів при навчанні та застосуванні карт із самоорганізацією Кохонена та мереж зустрічного поширення.

4. Запропоновано модель тривимірної карти особливостей на основі двовимірної карти із самоорганізацією Кохонена з використанням як третьої координати додаткового параметра, що обчислюється за допомогою процедури ортогоналізації Грама-Шмідта та методу головних компонент.

5. Запропоновано інформаційні моделі та методики використання модифікованих варіантів карт із самоорганізацією Кохонена та мереж зустрічного поширення із введенням блоків попередньої обробки даних, реалізовано програмні компоненти інтелектуальної нейромережевої системи, які характеризуються додатковими можливостями розпізнавання образів, аналізу взаємозв’язків та виявлення закономірностей у даних, що описують ці образи.

6. Експериментально підтверджено, що використання мереж зустрічного поширення з двома додатковими компонентами векторів реалізацій дозволяє помітно (у 2-2,5 рази) покращити якість розпізнавання образів при малих та середніх рівнях спотворень.

7. Встановлено, що тривимірні карти особливостей можуть бути застосовані як засіб візуалізації результатів розпізнавання у випадках, коли двовимірна карта із самоорганізацією Кохонена не забезпечує повного розділення вхідних векторів, підтверджено ефективність запропонованих моделей штучних нейронних мереж при розв’язанні практичних задач розпізнавання образів, зокрема, в медицині та аналізі мовних сигналів.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Ткаченко Р.О., Хаймуді Ель Кхатір. Особливості застосування мереж Кохонена в задачах розпізнавання образів // Технічні вісті. – 2002. – №1(14), 2(15). – C. 110-113.

2. Хаймуді Ель Кхатір. Варіант мережі Кохонена з двома додатковими компонентами векторів множини реалізацій // Вісник Національного університету “Львівська політехніка”: Комп’ютерні системи проектування. Теорія і практика. – Львів. – 2003. – №470. – С. 26-30.

3. Хаймуді Ель Кхатір, Цимбал Ю.В. Двовимірна карта Кохонена з двома додатковими компонентами реалізацій // Вісник Національного університету “Львівська політехніка”: Комп’ютерна інженерія та інформаційні технології. – Львів. – 2003. – №481. – С. 66-71.

4. Хаймуді Ель Кхатір,. Цимбал Ю.В. Метод попередньої обробки множини реалізацій для нейронних мереж зустрічного поширення // Міжвідомчий збірник наукових праць “Відбір і обробка інформації”. – Львів, ФМІ ім. Г.В. Карпенка НАН України. – 2003. – №19 (95). – С. 154-158.

5. Хаймуді Ель Кхатір. Метод попередньої обробки множини реалізацій для нейронних мереж зустрічного поширення // Праці відкритої наук.-техн. конф. молодих науковців і спеціалістів “Проблеми корозійно-механічного руйнування, інженерія поверхні, діагностичні системи”. – Львів, ФМІ ім. Г.В.Карпенка НАН України. – 2003. – С. 201-205.

6. Haimoudi El Khatir. Variant of the Kohonen network with two additional components in vectors of realization set // Proceedings of the VIIth International Conference CADSM 2003. – Lviv. – 2003. – P. 253-255.

АНОТАЦІЇ

Хаймуді Ель Кхатір. Моделі та методи розпізнавання класів багатопараметричних об’єктів на основі штучних нейронних мереж. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - Системи та засоби штучного інтелекту. Державний науково-дослідний інститут інформаційної інфраструктури, Львів, 2004.

Дисертація присвячена розробці архітектури та методик використання інтелектуальної системи розпізнавання образів на основі штучних нейронних мереж (ШНМ) із конкуренційним навчанням. Запропоновано метод попередньої обробки даних ШНМ, що передбачає розширення вимірності простору реалізацій на основі геометричного підходу. Побудовано інформаційні моделі для модифікованих варіантів карт із самоорганізацією Кохонена та мереж зустрічного поширення (МЗП), створені їх програмні реалізації, які дозволяють у 2-2,5 рази покращити якість розпізнавання образів (для МЗП). Для візуалізації результатів розпізнавання запропоновано модель тривимірної карти особливостей. Результати роботи використані при розв’язанні задач діагностування в стоматології, розпізнавання та візуалізації мовних образів.

Ключові слова: штучна нейронна мережа, багатопараметричний об’єкт, розпізнавання образів, інформаційна модель, попередня обробка даних.

Хаймуди Эль Кхатир. Модели и методы распознавания классов многопараметрических объектов на основе искусственных нейронных сетей. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - Системы и средства искусственного интеллекта. Государственный научно-исследовательский институт информационной инфраструктуры, Львов, 2004.

Диссертация посвящена разработке архитектуры и методик использования интеллектуальной системы распознавания образов на основе искусственных нейронных сетей (ИНС) с конкурентным обучением.

В первом разделе рассмотрены существующие классические и нейросетевые методы распознавания классов многопараметрических объектов. Проведенные экспериментальные исследования современных моделей ИНС с конкурентным обучением для задач распознавания (карт с самоорганизацией Кохонена и сетей встречного распространения) показали, что вследствие необходимости нормализации входных образов невозможно учесть абсолютные значения их компонент и разделить линейно зависимые образы. Для устранения этих ограничений предложено использовать предварительную обработку входных данных.

Во втором разделе предложен и теоретически обоснован новый метод предварительной обработки данных для ИНС с конкурентным обучением. Метод предусматривает расширение размерности пространства реализаций на основе геометрического подхода, что решает проблему разделения линейно зависимых векторов при обучении и использовании ИНС. Для модифицированных вариантов карт с самоорганизацией Кохонена и сетей встречного распространения с введением блоков предварительной обработки данных (геометрического функционального расширения) построены информационные модели, созданы программные реализации и методики использования при решении практических задач распознавания образов.

Результаты решения тестовых задач показали, что использование сетей встречного распространения с двумя дополнительными компонентами векторов реализаций позволяет заметно (в 2-2,5 раза) улучшить качество распознавания образов при малых и средних уровнях искажений.

В третьем разделе установлена возможность использования дополнительных параметров, рассчитанных на основе геометрического подхода, для распознавания образов при помощи ИНС Кохонена без модификации обучающего множества.

Предложено использовать визуализированное представление векторов обучающего множества на трехмерной карте особенностей, созданной вследствие объединения двухмерной карты Кохонена с блоком вычисления дополнительного параметра для определения третьей координаты. Нейромодель трехмерной карты особенностей позволяет осуществлять визуализацию результатов распознавания в трехмерном пространстве, используя в качестве третьей координаты непрерывную величину, что обеспечивает более точное разделение входных образов. Описаны подходы к вычислению дополнительного параметра для построения трехмерной карты особенностей с использованием геометрического функционального расширения - на основе ортогонализации Грамма-Шмидта и метода главных компонент.

В четвертом разделе представлены результаты использования разработанных программных средств как компонент интеллектуальной нейросетевой системы распознавания образов и визуализации многопараметрических данных при решении практических задач диагностирования в стоматологии, распознавания и визуализации языковых образов. Показаны перспективы использования разработанных программных моделей ИНС в системах распознавания образов, вследствие более высоких показателей точности распознавания, возможностями выявления закономерностей в данных, а также по скорости обучения и функционирования за счет использования неитерационных методов предварительной обработки данных.

Ключевые слова: искусственная нейронная сеть, многопараметрический объект, распознавание образов, информационная модель, предварительная обработка данных.

Haimoudi El Khattir. Models and methods of recognition of classes of multivariate objects on the basis of artificial neural networks. - Manuscript.

Thesis for Ph.D. scientific degree competition by specialty 05.13.23 – systems and means of an artificial intelligence. State Research Institute of Information Infrastructure, Lviv, 2004.

The thesis is devoted to development of architecture and theories of operation of an intellectual system of pattern recognition on the basis of artificial neural networks (ANN) with competitive learning. The method of ANN data preprocessing which provides the extension of dimensionality of realization space on the basis of geometric approach has been offered. The information models for modified variants of Kohonen’s self-organizing maps and counter propagation networks (CPN) have been constructed, their program realizations which allows increasing the quality of a pattern recognition (for CPN) in 2-2,5 times have been created. For visualization of recognition results the model of a three-dimensional map of features has been offered. The results of the work have been used for problem solving of diagnosing in dentology, recognition and visualization of speech patterns.

Keywords: artificial neural network, multivariate object, pattern recognition, information model, data preprocessing.