Національний технічний університет України

“Київський політехнічний інститут”

Циганок Віталій Володимирович

УДК 519.816, 681.518.2

Методи отримання та обробки

кардинальних експертних оцінок

01.05.03 – математичне та програмне забезпечення обчислювальних машин і систем

Автореферат дисертації на здобуття наукового ступеня

кандидата технічних наук

Київ – 2003

Дисертацією є рукопис.

Роботу виконано в Інституті проблем реєстрації інформації НАН України.

Науковий керівник: доктор технічних наук, професор

Тоценко Віталій Георгійович,

Інститут проблем реєстрації інформації НАН України,

завідувач відділу надійності та діагностики.

Офіційні опоненти: доктор технічних наук, професор

Зайченко Юрій Петрович,

Інститут прикладного системного аналізу НАН України і Міністерства освіти та науки України,

професор кафедри математичних методів системного аналізу.

кандидат технічних наук, старший науковий співробітник

Косолапов Володимир Леонідович,

Інститут проблем математичних машин і систем НАН України, завідувач відділу моделювання прийняття рішень у складних системах.

Провідна установа: Інститут кібернетики імені В.М. Глушкова НАН України, відділ методів розв’язання складних задач оптимізації, м.Київ.

Захист відбудеться “22_вересня_ 2003р. о _1630__ годині на засіданні спеціалізованої вченої ради Д .002.02 при Національному технічному університеті України “Київський політехнічний інститут” за адресою: 03056, Київ-56, пр-т. Перемоги, 37, корп.18, ауд. 306.

З дисертацією можна ознайомитися в бібліотеці НТУУ “Київський політехнічний інститут”.

Автореферат розісланий “20_серпня_2003р.

Учений секретар

спеціалізованої вченої ради Орлова М.М.

Загальна характеристика роботи

Актуальність теми. З розвитком суспільства, науки та техніки все більш вагомим стає фактор прийняття правильного рішення в конкретній ситуації. Допомагати розв’язувати це складне питання призначені системи підтримки прийняття рішень (СППР) та експертні системи (ЕС). Безперечно, що для прийняття обґрунтованих рішень в будь-якій сфері діяльності людини потрібно спиратись на знання, досвід та інтуїцію спеціалістів. На теперішній час існує достатньо велика кількість методів експертних оцінок (ЕО) тобто методів, що включають організацію роботи з фахівцями-експертами та обробку особистих думок експертів, виражених у кількісній і/або якісній формі з метою підготовки необхідної для прийняття рішень інформації особам, що приймають рішення (ОПР). Розрізняють два типи ЕО: ординальні, що дозволяють отримати ранжування об’єктів, та більш загальний тип – кардинальні, які крім того дозволяють знаходити числові значення вагомості об’єктів відносно деякого критерію. Методи отримання кардинальних ЕО часто використовують парні порівняння для підвищення достовірності отримуваних оцінок, але існуючі методи обробки матриці парних порівнянь (МПП) не дозволяють виявити джерело можливих протиріч, що виникають під час порівнянь об’єктів і порекомендувати експертові спосіб узгодити ці порівняння і тим самим підвищити достовірність результатів. У зв’язку з цим існує нагальна необхідність у створенні нових методів обробки МПП зі зворотним зв’язком з експертом, які б були позбавлені вказаного недоліку. Крім того всі методи ЕО характеризуються рядом параметрів, і актуальною науковою проблемою є вибір методу ЕО, за допомогою якого оцінки можна знайти з найбільшою ефективністю в конкретній ситуації. Дисертаційна робота присвячена дослідженню існуючих методів ЕО, розробці нових методів, які б відповідали поставленим вимогам, та розробці методики вибору конкретного методу ЕО серед існуючих для застосування в конкретній ситуації.

Зв’язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалась у рамках плану фундаментальних наукових досліджень Інституту проблем реєстрації інформації НАН України за темами “Розробка елементів теорії ієрархій як основи побудови прогнозуючих систем підтримки рішень” (1999р., № держреєстрації 0197U016092), “Система підтримки рішень при комплексному цільовому плануванні НДДКР та закупівлі озброєння і військової техніки для Збройних Сил України” (1999р., № держреєстрації 0199U003984), “Розробка системи інформатизації діяльності науково-технічної ради Міністерства Оборони України” (1999р., № держреєстрації 0199U003985) та “Розробка елементів теорії прийняття колективних рішень” (2002р., № держреєстрації 0100U002077).

Мета і задачі досліджень. Мета досліджень – підвищення ефективності компонент СППР шляхом розробки методів отримання та обробки ЕО, критеріїв їхнього оцінювання та вирішення задачі вибору оптимального з точки зору ОПР методу в конкретній ситуації. Відповідно до поставленої мети сформульовані та вирішені наступні задачі дисертаційного дослідження:

­

­

­

­

­

­

Об’єкт дослідження – експертна інформація.

Предмет дослідження – методи отримання та обробки кардинальних експертних оцінок.

Методи дослідження. Для вирішення задач дисертаційного дослідження застосовувались методи булевої алгебри, математичної статистики, теорії множин та теорії графів.

Наукова новизна одержаних результатів:

­

­

­

­

­

Практичне значення одержаних результатів. Запропоновані у дисертаційній роботі методи ЕО (крім методів групового експертного оцінювання) реалізовані в програмній системі підтримки прийняття рішень “Солон-2” (Свідоцтво про державну реєстрацію прав автора на твір ПА №4137 / В.Г.Тоценко, В.В.Циганок, О.С.Олійник, П.Т.Качанов; зареєстровано 17.04.2001, видано 16.05.2001 державним департаментом інтелектуальної власності Міністерства освіти і науки України). Запропоновані методи, включаючи і методи групового експертного оцінювання, знайшли свою реалізацію в системі підтримки прийняття рішень “Солон_”. Результати дисертаційного дослідження впроваджені в Головному управлінні розробок та закупівлі озброєння і військової техніки озброєння Міністерства Оборони України (акт від 29.04.2003).

Особистий внесок дисертанта. Усі основні результати дисертаційного дослідження отримані автором самостійно, а саме: самостійно розроблено метод виділення у множині об’єктів підмножин взаємно сумісних об’єктів [1], також самостійно розроблено комбінаторний метод парних порівнянь “приведення до ідеалу” зі зворотним зв’язком з експертом [3]. У роботах, опублікованих у співавторстві автору належить: спосіб досягнення стабільності методу парних порівнянь зі зворотним зв’язком з експертом та спосіб уникнення повторних звернень до експерта з одним і тим самим запитанням [2], вибір об’єкта для оцінювання при проведенні експерименту, розробка алгоритму проведення експерименту, розробка системи збору та обробки експериментальних даних [4,5], формалізація задачі прийняття рішення щодо вибору конкретного методу експертного оцінювання, програмна реалізація запропонованого алгоритму та опис конкретних прикладів [6].

Апробація результатів дисертації. Основні положення та результати роботи доповідались та обговорювались на 9-й міжнародній школі-семінарі ”Информационно-управляющие системы на железно-дорожном транспорте”, Алушта, 1996 [7,8] та науково-технічних конференціях Інституту проблем реєстрації інформації НАН України, Київ, 2002, 2003.

Публікації. Основні результати дисертації опубліковані в 6 наукових статтях в провідних фахових виданнях.

Структура та обсяг дисертації. Дисертаційна робота складається із вступу, основної частини з п’яти розділів, висновків, списку використаних джерел (97 найменувань). Робота містить 8 рисунків, 15 таблиць, 3 додатки (59 сторінок). Загальний обсяг роботи – 198 друкованих сторінок.

Зміст дисертації

У вступі обґрунтовано актуальність теми дисертації, сформульовано мету і задачі досліджень, наукову новизну і практичне значення отриманих результатів, наведено дані про впровадження результатів роботи, публікації і особистий внесок автора.

Перший розділ присвячено розробці індивідуальних методів парних порівнянь зі зворотним зв’язком з експертом. Оскільки будь-які порівняльні оцінки є сенс застосовувати тільки серед множин сумісних між собою об’єктів, то існує необхідність в знаходженні таких підмножин об’єктів максимальної потужності, кожна з яких включала б тільки сумісні об’єкти. Тому в першому підрозділі представлено розроблений метод визначення підмножин сумісних об’єктів, який є ітераційним і передбачає визначення сумісних підмножин в процесі поступового отримання інформації про несумісність пар об’єктів із вихідної множини об’єктів. Метод характеризується значно меншою трудомісткістю в порівнянні з методами, що застосовувались раніше для вирішення цієї проблеми. Задача формулюється у такий спосіб:

Дана множина об’єктів A={aiiI, де I={1,2,…,n} – множина індексів; P – множина пар сумісних об’єктів, тобто пар <ai;aj>[ai,ajA], для яких ai* aj =істина"(‘*’ – уведена бінарна операція сумісності).

Знайти: 

As A (sI), такі, що m[(amAs)(=істина")] k[(ak As)(akA)] справедлива рівність:хиба".

Запропонований метод знаходження підмножин As у множині A припускає визначення цих підмножин у процесі послідовного виключення елементів з множини пар несумісних об’єктів. Метод є ітераційним і кількість ітерацій дорівнює кількості елементів у вищезгаданій множині пар. Перед початком виконання алгоритму вважаємо, що усі пари об’єктів – сумісні, при цьому, природно, множина сумісних об’єктів збігається з вихідною множиною (As=A). Нехай у результаті деякого експерименту встановлена несумісність пари <ak;al>, тобто ця пара виключається з множини сумісних пар.

Доведено, що для множини A сумісних об’єктів потужності n при виключенні пари <ak;al> з множини сумісних пар отримуємо дві підмножини сумісних об’єктів: A1={ai iI, ik}, і A2={ai iI, il} потужності (n–1) кожна, і що ця потужність є максимально можлива. У такий спосіб виконується кожна ітерація запропонованого методу над усіма підмножинами, отриманими на попередньому кроці алгоритму. Крім того, з метою мінімізації кількості отриманих підмножин сумісних об'єктів на кожній ітерації алгоритму виконуються всі можливі поглинання отриманими множинами тих множин, що є підмножинами перших. Ітеративний процес припиняється, коли множина пар несумісних об’єктів стане пустою.

У другому підрозділі запропоновано метод парних порівнянь зі зворотним зв’язком з експертом і послідовною обробкою МПП. Цей метод, на відміну від існуючих методів з паралельною обробкою МПП, дозволяє виявити протиріччя думок експерта, висловлених ним при порівнянні різних пар об’єктів, і для підвищення достовірності отримуваних результатів дозволяє експертові відкоригувати МПП для покращення її узгодженості.

Ступінь цієї узгодженості визначаємо, скориставшись методикою обчислення спектрального коефіцієнта узгодженості, яка передбачає розрахунки порогів виявлення та застосування. Якщо розрахований для отриманої МПП коефіцієнт узгодженості – менше, ніж поріг виявлення, то вважається, що протиріччя думок експерта настільки значні, що парні порівняння не несуть корисної інформації для отримання достовірних результатів (це інформаційний шум), і ці порівняння потрібно виконати знову. В іншому випадку, коли коефіцієнт узгодженості є не меншим ніж поріг виявлення, але меншим, ніж поріг застосування, передбачається використання додаткових звернень за думкою експерта (зворотний зв’язок) для покращення узгодженості доки коефіцієнт узгодженості не досягне порогу застосування.

Сутність методу обробки результатів парних порівнянь полягає в обчисленні так званих відносних ваг об’єктів для конкретної МПП, які входять як складові до спектрів відносних ваг і поділ множини цих ваг на три особливі підмножини, що взаємно не перетинаються. Доведено стабільність методу при умові, що для поліпшення узгодженості МПП на початковому етапі будуть змінюватись ті елементи матриці, які відповідають відносним вагам з першої підмножини і перехід до наступної з трьох підмножин проводиться тільки при вичерпанні можливостей поліпшення узгодженості за рахунок компонентів попередньої. Зміна того чи іншого елемента МПП здійснюється відповідно з думкою експерта.

В результаті роботи методу або будуть отримані ваги об’єктів по достатньо узгодженій МПП, або буде зроблено висновок про неможливість отримання таких оцінок через небажання експерта покращити узгодженість своїх попередніх оцінок.

В кінці підрозділу наведені приклади використання методу для довільної шкали, з використанням порівнянь при яких експертом оцінюється у скільки разів один об’єкт перевершує інший по деякому критерію (мультиплікативні) та для порівнянь, коли експертові задається питання типу “На скільки умовних одиниць один об’єкт перевершує інший ?” (адитивні).

В третьому підрозділі охарактеризовані способи уведення інформації, які можуть використовуватись для отримання кардинальних ЕО. Виділяються три основні способи: числовий, словесний та графічний.

Другий розділ присвячено розробці індивідуальних комбінаторних методів парних порівнянь “приведення до ідеалу” зі зворотним зв’язком з експертом, в яких застосовується оригінальний підхід до обробки МПП. Причиною, що спонукала до розробки цього класу методів, є достатньо велика кількість звернень до експерта за його думкою у методах зі зворотним зв’язком, особливо коли існує значна неузгодженість при парних порівняннях, та коли є наявними конфлікти в ранжуванні об’єктів. Тому розроблено методи, які прагнуть звести кількість звернень до експерта до мінімуму.

Метод базується на наступній властивості МПП.

Властивість. Якщо матриця парних порівнянь D=|dij| розмірністю n n – ідеально узгоджена, то для i,j,k{1,2,...,n} виконується рівність: dij = f ( dik ; djk ).

Для мультиплікативних порівнянь функція f має вигляд: dij = dik / djk , а для адитивних: dij = dik– djk .

З вище представленої властивості випливає, що частина елементів ідеально узгодженої матриці парних порівнянь (ІУМПП) аналітично пов’язані з іншими елементами цієї ж матриці. Тому можна знайти підмножину елементів ІУМПП мінімальної потужності, використовуючи елементи якої, можна визначити решту елементів ІУМПП.

Підмножину елементів ІУМПП, по якій однозначно будується повна ІУМПП, називаємо підмножиною інформаційно-вагомих елементів (ІВЕ).

Надалі користуємося графовою інтерпретацією МПП. Для цього ставимо у відповідність МПП неорієнтований граф G, вершини якого позначені об’єктами. Ребро, що з’єднує вершини ai та aj позначається dij. Показано, що необхідною і достатньою умовою, при якій підмножина оцінок ребер складає підмножину ІВЕ, є сильна зв’язність графа G. Ґрунтуючись на цьому, можна сформувати множину підмножин ІВЕ, склад якої не залежить від конкретних значень dij, а визначається тільки числом об’єктів n.

В розділі представлені доказ існування, властивості й алгоритм знаходження множин ІВЕ, там же отримано і значення потужності цих множин, рівне (n  1).

Суть представленого в розділі методу полягає в знаходженні ІУМПП, до якої, погоджуючись з думкою експерта, змінивши значення деякої множини елементів, можна привести реальну МПП. Надалі по знайденій ІУМПП визначаються значення ваг об’єктів.

Опис алгоритму

Дано реальну матрицю D0, отриману при парному порівнянні деяких n об’єктів. Слід зазначити, що елементи головної діагоналі, як ті, що не несуть інформації, визначаються однозначно для мультиплікативних порівнянь dii = , а для адитивних: dii = . Крім того будемо вважати, що для будь-якої МПП порівняння ai-го об’єкта з aj-м та aj-го об’єкта з ai-м – взаємно узгоджені, і тому для мультиплікативних порівнянь dij =  / dji, а для адитивних: dij = – dji. Причому розглядаються тільки елементи матриці, що знаходяться праворуч від головної діагоналі: {dij i j

Алгоритм умовно поділяється на два етапи: підготовчий і пошуковий.

Під час підготовчого етапу формується й упорядковується множина, елементами якої є ІУМПП, отримані на основі множин ІВЕ, узятих з реальної МПП. Цей процес складається з наступних кроків.

Крок . Формування множин ІВЕ для будь-якої ІУМПП розмірності n x n.

Цей процес полягає в переборі варіантів підмножин потужності k=(n_1) множини елементів матриці, (її потужність дорівнює m = n(n-1)- )), і відборі з цих варіантів (їх Cmk) тих, котрі задовольняють описаній вище необхідній і достатній умові бути підмножиною ІВЕ. Зауважимо, що множина ІВЕ визначається не значеннями елементів МПП, а їхніми позиціями в матриці, тобто множиною індексів елементів.

Крок . Формування множини, що складається з ІУМПП, на базі знайдених на попередньому кроці підмножин ІВЕ.

Кожна ІУМПП формується з k елементів реальної МПП, що знаходяться на позиціях знайдених ІВЕ. Інші елементи в кожної ІУМПП, що не входять у конкретну підмножину ІВЕ, обчислюються, виходячи з виразу dij f(dim; djm). Для кожної такої ІУМПП Dr ставиться у відповідність кортеж r елементів цієї матриці, які відрізняються від відповідних елементів реальної МПП.

Крок . Сформована множина кортежів r упорядковується по кількості елементів, що містяться в кожнім кортежі, причому повтори виключаються.

Наступний етап алгоритму – пошуковий – пов’язаний з аналізом сформованого набору ІУМПП і з пошуком у ньому такої ІУМПП, у яку б перетворювалася реальна МПП шляхом зміни (збільшення або зменшення) частини її елементів, погоджуючи ці зміни з думкою експерта.

Пошук полягає в послідовному поелементному аналізі кортежів r і пропозиціях експерту змінити в той чи інший бік значення елемента реальної МПП, щоб наблизити його значення до значення елемента кортежу r – тобто експерту пропонується змінити ступінь переваги одного об’єкта над іншим убік його наближення до значення цього ступеня переваги у відповідній ІУМПП.

Сформована на підготовчому етапі алгоритму множина кортежів коригується відповідно до уже висловленої думки експерта (згоди або відмови змінити конкретний елемент МПП) шляхом виключення тих кортежів, що перестали відповідати вимогам експерта, які з’ясовуються поступово в процесі діалогу з ним. Таким чином, у процесі пошуку сформований на підготовчому етапі алгоритму набір кортежів поступово скорочується. Так, якщо експерт погодився, наприклад, збільшити елемент реальної МПП, то з набору видаляються всі кортежі, у яких є присутнім цей елемент зі значенням меншим, ніж наявне спочатку. І навпаки, якщо експерт відмовився збільшити елемент реальної МПП, то з набору видаляються всі кортежі, у яких є присутнім цей елемент зі значенням, більшим початкового.

Отже, у ході виконання алгоритму експерту пропонується привести реальну МПП до ІУМПП шляхом зміни деякої множини елементів першої матриці. В іншому випадку може відбутися так, що на деякому кроці алгоритму в наборі не залишиться кортежів, тоді робиться висновок про те, що спроба експерта узгодити реальну матрицю (привести її до ІУМПП) є неуспішною.

При успішному завершенні алгоритму ненормовані ваги об’єктів знаходяться по будь-якому i-ому рядку отриманої ІУМПП. У i-ому рядку знаходиться мінімальний елемент dij, і оскільки dij – результат порівняння ai з aj, то при цьому aj є домінуючим по i-ому рядку об’єктом.

Якщо експерт виконував адитивні порівняння, то йому пропонується методом безпосередньої оцінки визначити ненормоване абсолютне значення vjдом домінуючого по цьому рядку об’єкта aj. Потім визначається власна вага vii об’єкта ai:

vii = vjдом+ij.

Після цього визначаються ваги інших об’єктів:

vhi = vii  dih .

У випадку мультиплікативних порівнянь для визначення ваг об’єктів немає необхідності в безпосередній оцінці ненормованого абсолютного значення домінуючого по рядку об’єкта, а ненормовані значення ваг об’єктів знаходяться в такий спосіб: vjдом=1; vii= vjдомdij= dij; vhi= vii/dih .

Оскільки сформована в результаті виконання алгоритму матриця є ІУМПП, то ваги, визначені по будь-якому рядку, збігаються.

В підрозділі 2.2 описані різновиди методу, ідея створення яких виникла при аналізі та тестуванні комбінаторних методів (“приведення до ідеалу”). Суть полягає в тому, що не завжди є виправданим вести процес діалогу з експертом аж до тих пір, поки реальна МПП буде повністю співпадати з однією із згенерованих ІУМПП, тобто до моменту повної узгодженості МПП. Ідея цих доробок полягає в тому, щоб припинити процес пошуку ІУМПП, або навіть його не розпочинати, якщо на цей момент реальна МПП є достатньо узгодженою. Тим самим можливе додаткове скорочення кількості звернень до експерта, чого і праглося при розробці комбінаторних методів (“приведення до ідеалу”). Так виник різновид даних методів парних порівнянь – з додатковою перевіркою узгодженості МПП.

Цей метод цілком аналогічний описаному в попередньому підрозділі, з тією особливістю, що на пошуковому етапі алгоритму перед кожним зверненням до експерта перевіряється узгодженість МПП, отриманої з вихідної реальної МПП шляхом заміни тих її елементів на відповідні елементи ІУМПП, зміну яких було погоджено з експертом на попередньому кроці. Узгодженість перевіряється методом спектральних коефіцієнтів узгодженості, і у випадку, якщо розрахований коефіцієнт узгодженості більше або дорівнює порогові застосування – процес пошуку ІУМПП зупиняється і проводиться обчислення ваг по частково узгодженій матриці.

При використанні адитивних порівнянь для визначення ваг експерту пропонується методом безпосередньої оцінки визначити ненормоване абсолютне значення viдом – домінуючого по i-ому рядку об’єкта, і після цього визначаються ненормовані абсолютні значення ваг об’єктів:

.

У випадку мультиплікативних порівнянь для визначення ваг об’єктів немає необхідності в безпосередній оцінці ненормованого абсолютного значення домінуючого по кожному рядку об’єкта, а ненормовані значення ваг об’єктів знаходяться як середнє геометричне кожного рядка отриманої матриці:

.

Третій розділ присвячено розробці групових методів ЕО в умовах неповної визначеності з урахуванням різної компетентності експертів – членів групи. В загальному випадку МПП є неповною, тобто результати деяких порівнянь пар об’єктів (альтернатив, критеріїв, цілей і т.п.) відсутні. Причини неповноти матриць можуть бути різні. Однією з найбільш розповсюджених причин є відсутність в експерта достатньої інформації або знань для того, щоб виконати порівняння деякої пари об’єктів за заданим критерієм.

У даному розділі представлено метод отримання кардинальних оцінок, придатний для методів парних порівнянь зі зворотним зв’язком, наприклад, таких, що представлені в першому розділі, за умови неповноти матриць порівнянь, виконуваних експертами. При цьому використовується спектральний метод обчислення кількісних показників ступеня узгодженості результатів парних порівнянь, а також ідея використання зворотного зв’язку з експертами в ході виконання ними парних порівнянь.

У ході розробки такого методу було вирішено ряд окремих задач. Перша полягає у визначенні необхідних і достатніх умов, яким повинна задовольняти множина неповних МПП для того, щоб вона була конструктивною, тобто дозволяла обчислити узгоджені групові оцінки об’єктів. Друге завдання полягає в розробці методу обчислення узагальнених оцінок об’єктів по конструктивній множині неповних часткових МПП. Сутність наступної задачі полягає в розробці методу організації діалогу з експертами, що має метою досягнення достатнього ступеня узгодженості оцінок, даних різними експертами, з урахуванням їх компетентності. Вирішення цих задач достатньо для одержання узгоджених агрегованих групових оцінок об’єктів по неповним частковим МПП за умови, що експертам не пропонується виконати порівняння додаткових пар об’єктів з метою поліпшення якості оцінок. Якщо ж така необхідність є, то додатково вирішуються ще дві задачі. Перша полягає у формуванні кількісного критерію якості множини оцінок і алгоритму його обчислення для заданої множини експертів і множини часткових неповних МПП, даних ними. Друга полягає в розробці методу організації діалогу з експертами, спрямованого на досягнення множиною оцінок об’єктів необхідної якості.

У першому підрозділі сформульовано постановку задачі та викладено сутність запропонованого підходу до її вирішення. В подальших підрозділах описано реалізації конкретних методів, а саме: методу безпосередньої оцінки, методів парних порівнянь “лінія”, “трикутник” та “квадрат”.

Метод безпосередньої оцінки розглядається як вироджений випадок методу парних порівнянь, при якому всі об’єкти порівнюються з одним еталоном, тому для всіх запропонованих методів існує єдина структура алгоритму.

Спочатку кожен з групи експертів проводить парні порівняння запропонованих об’єктів і має право відмовитись від порівнянь деяких з них. Кількість і тип порівнянь, що пропонуються виконати експертові, залежать від конкретного методу. Після отримання результатів порівнянь від усіх експертів проводиться перевірка множини цих результатів на предмет конструктивності, тобто можливості з їх допомогою знайти узагальнені оцінки.

Доведено, що множина результатів, отриманих від експертів при використанні методу безпосередньої оцінки, є конструктивною, якщо для кожного з оцінюваних об’єктів знайдеться хоча б один експерт, який дав оцінку цьому об’єктові. Для методу “лінія” – для кожного з парних порівнянь вибраного об’єкта з рештою об’єктів знайдеться хоча б один експерт, який виконав дане порівняння. Стосовно методу “трикутник”, – доведено, що множина результатів парних порівнянь, виконаних експертами є конструктивною тоді, і тільки тоді, коли в мультиграфі, вершинами якого є об’єкти, а наявність дуги відповідає виконаному порівнянню двох об’єктів деяким експертом, існує хоча б один простий шлях, що включає усі вершини мультиграфа. Також доведено необхідність і достатність конструктивності множини результатів парних порівнянь при використанні методу “квадрат”. Ця множина є конструктивною тоді, і тільки тоді, коли виконано порівняння кожного об’єкта з кожним із решти об’єктів хоча б одним із експертів.

Якщо множина отриманих від експертів оцінок є конструктивною, то по кожному із об’єктів, що підлягають оцінюванню, будуються спектри оцінок ваг і знаходяться спектральні коефіцієнти узгодженості оцінок по кожному з об’єктів з урахуванням коефіцієнтів відносної компетентності експертів, що дали дані оцінки. Побудова цих спектрів є індивідуальною для кожного з різновидів методу.

Після розрахунку порогів виявлення та застосування приймається рішення на основі кожного із спектрів або про обчислення узагальненої оцінки об’єкта, якщо узгодженість спектра достатня (коефіцієнт узгодженості не менший за поріг застосування), або про організацію діалогу з експертами з метою досягти покращення узгодженості. У випадку ж, коли коефіцієнт узгодженості менший за поріг виявлення, то робиться висновок про неможливість отримання узгоджених оцінок на даний момент даною групою експертів і рекомендується провести спільні консультації по даному питанню, або змінити групу експертів.

В розділі розглядаються варіанти дій, коли множина оцінок даних експертами виявилась неконструктивною. Також розглянута організація роботи експертів з метою отримання потрібної вірогідності оцінок за мінімальний час.

В четвертому розділі описано експериментальне порівняльне дослідження існуючих та представлених в дисертації індивідуальних методів отримання кардинальних ЕО. Таке дослідження є необхідним тому, що такі основні характеристики методів як похибки оцінювання, узгодженість результатів, середня тривалість отримання оцінок, психологічна привабливість методів і т.і. можуть бути визначені тільки шляхом експерименту, який забезпечує статистичну спроможність оцінок.

В першому підрозділі обґрунтовується вибір об’єктів, які пропонуються для оцінки експертові під час проведення експерименту. Для визначення перерахованих вище характеристик методів експертного оцінювання необхідно знати еталонні значення параметрів оцінюваних об’єктів. Стосовно до параметрів об’єктів, використовуваних при розв’язанні задач підтримки прийняття рішень (коефіцієнти відносної значимості критеріїв, цілей, альтернатив), можна стверджувати, що такі еталонні значення в принципі невідомі. Тому виникає необхідність використовувати інформаційні моделі цих параметрів для визначення оцінок методів ЕО.

Вимоги, що висуваються до вибору цих моделей досить очевидні:

­

­

­

Виходячи з цих вимог та з простоти реалізації на ПК, у якості моделі оцінюваного об’єкта (цілі, критерію, альтернативи) був обраний прямокутник, заповнений випадково розміщеними зафарбованими точками, а моделлю оцінюваного параметра (відносна значимість цілі, критерію, альтернативи) послужив відносний ступінь заповнення випадково розміщеними пофарбованими точками прямокутника (рис. 1).

Цей показник задається для кожного прямокутника програмно і тому відомий достовірно. Отже ці дані можна використовувати в якості еталонних і, тим самим визначати оцінки досліджуваних методів експертного оцінювання за названими критеріями.

Головною метою експериментального дослідження є одержання даних, що дозволяють вибрати метод відповідно до оцінок ОПР, вагомості для неї критеріїв оцінки методів, а також відповідно до експериментально визначених кардинальних оцінок цих методів за згаданими критеріями. Виходячи з цього, в якості критеріїв оцінки методів були обрані:

­

­

­

Для наочності характеристики методів, що розглядаються, представлені в табл.1.

В заголовках граф цієї таблиці вказані номери методів, знаком “+” відмічено наявність властивостей у перелічених методів. Крім того приведені номери аналогічних методів, що відрізняються наявністю зворотного зв’язку (спарені методи).

Результати обробки експериментальних даних наведені в табл.2, вказані ранги методів по кожному з параметрів, а також кількість експертів, що приймали участь в тестуванні методів.

Колонки таблиці позначені наступним чином: Ks – коефіцієнт узгодженості; E(Ks) – відносна оцінка по коефіцієнту узгодженості; R(Ks) – ранжування по коефіцієнту узгодженості; M – математичне очікування (МО) відносної похибки визначення кардинальних ЕО; E(M) – відносна оцінка по МО відносної похибки; R(M) – ранжування по МО відносної похибки; M – МО тривалості визначення КЕО; E(M) – відносна оцінка по МО тривалості визначення КЕО; R(M) – ранжування по МО тривалості визначення КЕО; Ne – кількість експертів, що приймали участь у тестуванні.

На підставі аналізу отриманих експериментальних даних зроблено наступні висновки:

1.

2.

3.

4.

5.

6.

7.

8.

П’ятий розділ присвячено вирішенню задачі обґрунтованого вибору методу отримання КЕО (МОКЕО) у конкретній ситуації. Цей вибір має розглядатися як задача підтримки прийняття рішень при мультикритеріальному оцінюванні альтернатив. Вибір методу отримання КЕО базується на використанні інформації двох типів, а саме:

­

­

Задачу можна сформулювати наступним чином:

Дано: - множина {mi iI, I=,2,...,n}, методів отримання КЕО;

- множина H ={hl lL, L=,2,...,c} критеріїв оцінки mi;

- матриця розмірністю n x c, де елемент матриці kij – це КЕО i-го методу із множини по j_му критерію із множини H;

- c-вимірний вектор V, де елемент вектора vb – це КЕО показника відносної важливості b-го критерію із множини H для даного конкретного випадку.

Знайти: Вектор W узагальнених КЕО по кожному з методів із множини , які можуть бути претендентами на використання. На основі цих оцінок приймається рішення про вибір конкретного методу у даній ситуації.

Опис алгоритму:

1. Запропонувати ОПР вибрати підмножину критеріїв оцінки МОКЕО.

2. Оцінки МОКЕО по кожному критерію привести до єдиної форми. Оскільки алгоритм передбачає вибір методу, якому відповідає максимальна узагальнена КЕО, то експериментальні оцінки за вибраними критеріями мають бути перетворені таким чином, щоб зростання перетвореної оцінки свідчило про підвищення ефективності методу.

3. Визначити коефіцієнти вагомості критеріїв із множини H, тобто значення елементів вектора V. Наприклад, запропонуємо експертові використати будь-який один із методів парних порівнянь, що перелічені в табл.1. Результатом роботи будуть нормовані значення ступеню важливості критеріїв vb, bL, для даного експерта і даної проблеми.

4. Визначити підмножину МОКЕО, які потенційно можуть бути обрані для використання. В загальному випадку деякі методи отримання КЕО поступаються перед іншими відносно всіх, без виключення, критеріїв. Очевидно, що ці методи в такому випадку не зможуть мати максимальну узагальнену КЕО і, тим самим, бути обраними для використання. Тому, для зменшення трудомісткості подальшого процесу аналізу множини методів отримання КЕО, потрібно визначити в цій множині таку підмножину методів, для якої виконується властивість Парето-оптимальності, тобто підмножину методів p, p={mi iP, P=,2, p}, що для iP  jP, ji, [ lL, L=,2,...,ckil= kjl], де kab – значення КЕО a-го методу по b-му критерію, при умові прагнення вибору максимального із значень критеріїв.

Отже, на цьому кроці алгоритму шляхом виключення із множини методів тих, які по всіх критеріях не кращі за решту методів, знаходимо підмножину методів, які відповідають властивості Парето-оптимальності.

На практиці знаходження цієї підмножини поєднується з перетворенням матриці розмірністю n x c в матрицю p розмірністю p x c. Це перетворення здійснюється наступним чином:

4.1. i ;

4.2. j ;

4.3. якщо lL, [kil= kjl)ij)то i_й рядок видаляється з матриці, інакше – п.4.5;

4.4. n n – 1; якщо i = n, то п.4.2, інакше – п.4.7;

4.5. j j ; якщо j = n, то п.4.3;

4.6. i i ; якщо i = n, то п.4.2

4.7. p n; перетворення матриці закінчено.

5. Перенормування значень отриманої матриці p по кожному з критеріїв:.

6. Визначення узагальнених оцінок по кожному методу за наступною формулою: .

7. Ранжування значень в порядку зменшення.

Таким чином, запропонований алгоритм вибору методу отримання КЕО готовий до практичного застосування в експертних системах різного спрямування, в системах підтримки прийняття рішень і, можливо, при вирішенні деяких задач багатокритеріального вибору.

висновки

В дисертаційній роботі досліджено методи отримання та обробки експертної інформації. В процесі дослідження розроблено нові методи та обґрунтовану методику вибору методу для використання в конкретній ситуації. Основні наукові та практичні результати полягають у наступному:

1.

2.

3.

4.

5.

6.

Список опублікованих праць за темою дисертації

1.

2.

3.

4.

5.

6.

7.

8.

Анотація

Циганок В.В. Методи отримання та обробки кардинальних експертних оцінок. – Рукопис. Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.03 – математичне та програмне забезпечення обчислювальних машин і систем. – Національний технічний університет України “Київський політехнічний інститут”, Київ, 2003.

Розроблено метод виділення в множині об’єктів підмножин взаємно сумісних об’єктів, який позитивно відрізняється більш високою продуктивністю в порівнянні з існуючими і служить для визначення множин об’єктів, в рамках яких можна застосовувати методи експертної оцінки.

Розроблені