ДОНЕЦКИЙ НАЦИОНАЛЬНЫЙ УНИВЕРСИТЕТ
ДОНЕЦЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ
Григор`єв Андрій Вікторович
УДК 004.89+ 681.327.12.001.362
АВТОМАТИЗОВАНА ІНФОРМАЦІЙНО-ПОШУКОВА СИСТЕМА,
ЩО ҐРУНТУЄТЬСЯ НА НЕЧІТКІЙ МОДЕЛІ ПОРТРЕТА ЛЮДИНИ
05.13.06 – автоматизовані системи управління
та прогресивні інформаційні технології
Автореферат дисертації на здобуття наукового ступеня
кандидата технічних наук
Донецьк – 2005
Дисертацією є рукопис.
Роботу виконано на кафедрі Комп`ютерних технологій Донецького національного університету Міністерства освіти і науки України.
Науковий керівник: доктор технічних наук, професор
Каргін Анатолій Олексійович,
завідувач кафедри комп`ютерних технологій
Донецького національного університету, м. Донецьк.
Офіційні опоненти: доктор технічних наук, професор
Слєпцов Анатолій Ілліч,
професор кафедри інформаційних систем управління Донецького національного університету,
м. Донецьк.
кандидат технічних наук, доцент
Рубан Ігор Вікторович,
начальник кафедри
Харківського університету повітряних сил,
м. Харків.
Провідна установа: кафедра автоматизації проектування
обчислювальної техніки, Харківський національний
університет радіоелектроніки Міністерства
освіти і науки України, м. Харків.
Захист відбудеться “ 16 ” грудня 2005 р. о 13.00 годині на засіданні спеціалізованої вченої ради К 11.051.08 у Донецькому національному університеті за адресою: 83055, м. Донецьк, пр. Театральний, 13, корп. 4, ауд. 416.
З дисертацією можна ознайомитися в бібліотеці Донецького національного університету за адресою: 83055, м. Донецьк, вул. Університетська, 24, головний корпус.
Автореферат розісланий “ 14 ” листопада 2005 г.
Учений секретар спеціалізованої
вченої ради К 11.051.08 ______________________ Шевцов Д.В.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. На сучасному етапі розвитку суспільства відомо декілька додатків щодо застосування задачі ідентифікації особистості. Один з головних виникає в процесі оперативно-розшукової діяльності органів внутрішніх справ. У сучасній криміналістиці є актуальною задача ідентифікації особистості за зовнішністю людини – фотопортретом або словесним описом, складеним свідком.
В умовах підвищеної небезпеки терористичних актів створюються комп`ютерні системи глобального спостереження, в яких головна роль відводиться задачі ідентифікації особистості за оперативними даними від камер, розміщених у громадських місцях різних міст світу, за словесним описом або портретом, складеним за допомогою фоторобота.
Перспективними також є дослідження в галузі інтелектуальних пошукових машин у зв`язку з тенденцією до інтеграції різнорідної інформації і створення інтелектуальних середовищ. Створення систем, які припускають пошук інформації не лише за текстовими фрагментами, але й за іншими видами даних, такими як зображення та звук, надасть можливість суттєво підвищити якість пошукових систем.
Найбільшого успіху в галузі пошуку інформації про людину за словесним описом досягнуто в криміналістиці. Сучасні системи криміналістичного обліку, наприклад, такі як автоматизована дактилоскопічна інформаційна система АДІС “Папілон” та Система інформаційного забезпечення ОВС України, які містять у своєму складі модулі, що забезпечують внесення інформації про зовнішність людини як у формі словесного портрета, так і фотографії. Однак можливість автоматизованого пошуку за фотопортретом у цих системах не реалізована, а створення словесного портрета на практиці викликає певні складнощі. Таким чином, удосконалення методів пошуку за портретом людини є актуальною проблемою.
Зв`язок роботи із науковими програмами, планами, темами.
Дисертаційна робота виконана за період з 2000 по 2005 роки відповідно до наукової тематики кафедри комп`ютерних технологій Донецького національного університету в рамках держбюджетних тем: реєстр. №0101U005380 “Технології ситуаційних нечітких динамічних процесів для створення систем штучного інтелекту” і реєстр. №0104U002161 “Інтелектуальні машини, засновані на інтегрованих знаннях”.
Мета і задачі дослідження. Метою роботи є створення автоматизованої системи ідентифікації особистості людини та пошуку інформації на основі портрета (словесного та фото).
Для досягнення мети в роботі поставлені наступні задачі:
- дослідити сучасний стан проблеми представлення інформації про зовнішність людини, у тому числі методів представлення та порівняння зображень обличчя людини;
- розробити модель представлення словесної та графічної інформації про обличчя людини;
- розробити метод порівняння гібридних моделей, які відбивають як словесну, так і графічну інформацію про обличчя людини;
- розробити автоматизовану систему ідентифікації особистості за портретом;
- перевірити ефективність запропонованих методів та моделей за допомогою комп`ютерного експерименту.
Об`єкт дослідження – ідентифікація людини за зовнішнім виглядом.
Предмет дослідження – методи ідентифікації обличчя людини.
Методи дослідження. У роботі використані такі методи: теорії нечітких множин, нечіткого моделювання, експертних оцінок, нечіткого ситуаційного висновку, теорії систем автоматизованого управління, словесного портрета, програмування і оптимізації.
Наукова новизна отриманих результатів:
1) отримав подальший розвиток метод словесного портрета, що відрізняється від існуючих представленням ознак опису обличчя людини нечіткими моделями;
2) розроблено модель ідентифікації особистості, що відрізняється від відомих нечітким представленням та зіставленням словесного портрета обличчя;
3) розроблено модель представлення інформації, що ґрунтується на “особливих областях” фотопортрета обличчя людини в фас, що надало можливість розробити новий механізм нечіткого пошуку в гетерогенних базах даних;
4) запропоновано процедуру використання накопичених експертних знань, які використовуються у традиційному методі словесного портрета при побудові функцій приналежності нечітких множин, що відображають значення ознак метричного типу.
Практичне значення отриманих результатів:
1) Метод нечіткого словесного портрета максимально наближений до можливостей людини щодо опису зовнішності у вигляді словесного портрета, що підвищує ефективність автоматизованого пошуку інформації про людину в базі даних.
2) Метод нечітких особливих областей дозволяє розширити функції автоматизованих пошукових систем і перейти до створення систем нового покоління, в яких пошук може бути реалізований не лише за текстовою, але й за графічною інформацією.
3) Метод нечіткого словесного портрета і нечітких особливих областей можуть бути використані в системах криміналістичного обліку як гібридні моделі в гетерогенних базах даних, що суттєво розширює їх функціонально та підвищує ефективність.
4) Результати дисертації впроваджені на ДД ВАТ “Укртелеком” у розробці інтелектуального порталу “Донбас”.
5) Запропоновані методи та моделі можуть бути використані в інтелектуальних пошукових машинах ІНТЕРНЕТ, що дозволить організувати віртуальне бюро знайомств, розшуку зниклих людей, глобальні системи спостереження та ін.
Особистий внесок здобувача. Всі головні ідеї, положення, теоретичні і практичні розробки, та інші результати дисертаційної роботи, які винесені на захист, отримані автором самостійно.
Апробація результатів роботи. Результати дисертаційної роботи були повідомлені, обговорені та схвалені на наступних семінарах та конференціях:
- науковій конференції Донецького національного університету за підсумками науково-дослідницьких робіт за період 1999 – 2000 рр., 18–20 квітня 2001 р., м. Донецьк;
- 13-й міжнародній школі-семінарі “Перспективні системи управління на залізничному, промисловому та міському транспорті”, 20-25 вересня 2000 р., м. Алушта;
- другій, третій, четвертій і п`ятій міжнародних науково-практичних конференціях “Сучасні інформаційні та електронні технології”, 28–31 травня 2001 р., 21–24 травня 2002 р., 19–23 травня 2003 р. і 17–21 травня 2004 р., м. Одеса;
- міжнародній конференції з управління “Автоматика – 2002”, 16-20 вересня 2002 р., м. Донецьк.
Публікації. За результатами дослідження опубліковано 12 робіт. З них 5 – у наукових виданнях, які входять до переліку ВАК України.
Структура і обсяг дисертації. Дисертація складається із вступу, чотирьох розділів, висновку, списку використаної літератури зі 106 найменувань і 2 додатків. Робота містить 30 рисунків, 4 таблиці. Повний обсяг дисертації складає 143 сторінки тексту.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі обґрунтовано актуальність теми, сформульовано мету дослідження і перераховано основні положення, винесені на захист.
У першому розділі виконано аналіз існуючого стану досліджуваної проблеми; показано місце автоматизованих інформаційно-пошукових систем, що використовуються для вирішення задачі ідентифікації особистості людини за зовнішнім виглядом. В умовах інтенсивного впровадження електронних технологій у різні галузі людського життя виникає потреба в нових моделях взаємодії людини з інформаційними ресурсами. Показано, що на сучасному етапі акцент зміщується від простих пошукових систем текстової інформації до моделей, які базуються на психологічних особистостях сприйняття людиною різноманітної інформації, що використовують в інтелектуальних пошукових системах.
Під час роботи з гетерогенними базами даних, які містять як текстову, так і графічну інформацію, сучасні пошукові системи підтримують пошук як за ключовими словами, термінами та значущими фрагментами текстової інформації, так і за фрагментами графічної інформації. У гетерогенних базах даних, що зберігають фотографії і текстову інформацію (як спеціальні криміналістичні, так і загального користування – сайти знайомств, пошуку зниклих, галереї, музеї та ін.), використовують два підходи: перший пов`язаний з пошуком у базі даних інформації про людину за словесним описом, другий – за фотопортретом. Обґрунтовується вибір методу словесного портрета який використовується в сучасній криміналістиці для вирішення першої задачі. Виконано аналіз простору ознак і виділено три механізми формування значень ознак, запропоновано їх класифікацію на метричні, експертні та похідні.
Показано основний недолік існуючого методу словесного портрета при формуванні ознак метричного типу – перехід від числових даних, отриманих вимірюваннями, до вербальних значень здійснюється за допомогою порогових оціночних функцій. Зазначено, що ця проблема порогових оцінок призводить до виникнення протирічних ситуацій. Для ознак експертного типу виявлено проблему категоричності. Ознаки похідного типу формуються на основі вже сформованих значень ознак і продукційних правил за допомогою методу логічного висновку. Для вирішення цих проблем запропоновано перейти до нечіткої моделі словесного портрета, як такого, що найбільш точно відбиває психологічні властивості людини.
Проведений аналіз систем криміналістичного обліку: “АДІС “Папілон” та “Системи інформаційного забезпечення ОВС України”, а також ряду зарубіжних інформаційних систем, що здійснюють ідентифікацію людини за фотографією її обличчя і реалізуються такими компаніями, як Visionic, Viisage, Miros. Аналіз показав, що в розглянутих системах криміналістичного обліку реалізована можливість збереження інформації про зовнішність людини у вигляді словесного портрета і фотографії обличчя, однак не реалізована можливість пошуку за зображенням обличчя та гібридним запитом. Крім цього, має місце залежність показників якості розпізнавання від швидкісних характеристик. Таким чином, під час розробки системи пошуку переслідувалась мета підвищення якості розпізнавання за умови високих швидкісних показників.
У другому розділі подано модель нечіткого словесного портрета. Вона заснована на методі, який використовується в криміналістиці та передбачає опис зовнішності людини впорядкованим набором ознак, що відносяться до різних її елементів. У дисертаційній роботі використовується частина словесного портрета, що побудована на ознаках, які належать до обличчя людини (обличчя в цілому, волосся на обличчі, вуса, борода, чоло, брови, очі, вії, повіки, ніс у цілому, перенісся, спинка носа, основа носа, кінчик носа, крила носа, ніздрі, носова перегородка, рот, носогубний фільтр, губи, зуби, підборіддя) та до таких загальних елементів зовнішності, як антропологічний тип, стать та вік. До кожного з цих елементів входить множина ознак (наприклад, до елемента “чоло” належать ознаки: форма, висота, ширина, величина, нахил, а також чолові бугри та надбрівні дуги) – всього модель складається із 95 ознак, із якими взагалі пов`язано 292 значення. Нечітка модель побудована на впорядкованому наборі ознак зовнішності та представлена множиною нечітких підмножин:
, ; | (1)
, ; | (2)
де – множина ознак; (x та y – прийняті в методі словесного портрета індикативні коди елемента і ознаки зовнішності); – множина значень ознаки ; (значення індексів j позначають цифрові коди згідно із п`ятиланковою системою позначень, доповненою літерними значеннями індексу для позначення особистих значень ознак, які мають цифровий код 0 та потребують словесного пояснення).
Модель словесного портрета має два компоненти: нечіткий еталон, який міститься в базі даних, та нечіткий запит. У першому випадку функція приналежності формується на основі об’єктивних даних; у другому – на основі суб`єктивної впевненості. Нечіткий еталон позначається у вигляді (1); нечітку модель-запит та значення ознак, які входять до неї, позначено відповідно та .
Процедура формування функції приналежності в (2) залежить від типу ознаки. Нечіткі ознаки метричного типу будуються на основі числових результатів абсолютних або відносних вимірювань. На рис.1 цифрами позначені результати вимірювань, які використовуються для обчислення значень ознак висоти і ширини чола: 1) – висота чола; 2) – фізична висота обличчя; 3) – ширина чола; 4) – ширина обличчя на рівні вилиці. Для висоти чола використовується відношення вимірювань 1) і 2), для ширини чола – відношення 3) та 4).
Перехід від числового результату вимірювання до нечіткого значення ознаки – фазифікація – заданий сімейством функцій , , а функція приналежності для (2) є .
Рис. 1. Схематичне зображення обличчя людини в фас
Запропонований підхід до побудови на основі експертних оцінок, заданих для кожного точкам максимальної відповідності та областями домінування. Точка максимальної відповідності є результат вимірювання , що найбільш відповідає, з точки зору експерта, значенню . Область домінування – підмножина , кожна точка якого відповідає значенню не в меншому ступені, ніж будь-якому із інших значень .
Для визначення області домінування на множині заданий порядок <, представлений умовою: . На основі впровадженого порядку на виділені елементи такі, що та елементи і , який безпосередньо розміщений перед елементом та той, що безпосередньо йде за ним.
Показано, що областями домінування є: ; ; , де – точка розмежування між областями домінування та , яка відповідає пороговому значенню, що розмежовує області домінування для значень і на . Обґрунтовано доцільність апроксимації залежностей L-R функціями вигляду : |
(3)
Для ознак експертного типу нечіткі значення будуються на основі образу елемента зовнішності, який безпосередньо спостерігається та описується ознакою , де – множина різноманітних образів елемента зовнішності, який описується ознакою , і зумовлена різними його значеннями. Кожному відповідає шаблонний образ , яким може бути словесний опис, який чітко відповідає цьому значенню елемента зовнішності, або його графічне зображення. Значення ознаки формуються експертом, роль якого полягає у встановлені ступеня подібності образу, що спостерігається, кожному з шаблонів. Таким чином, функція приналежності для нечіткої множини , яка задає значення ознаки , є , де – встановлена експертом функція подібності двох образів за ознакою .
Значення ознак похідного типу обчислюється методом нечіткого висновку на основі, з одного боку, вже обчислених нечітких ознак зовнішності, і, з іншого боку, на основі формалізації заданих експертом продукційних правил. Таким чином, функція приналежності для нечіткої множини , яка виражає значення ознаки похідного типу, є: , де – нечіткий вираз, який формалізує продукційне правило, що описує умови, за яких ознака приймає значення .
Процедура пошуку в гетерогенній базі даних запису за словесним описом зовнішності припускає впорядкування моделей-еталонів, які зберігаються в базі даних, за нечітким ступенем їх відповідності моделі-запиту. Обґрунтовано двоетапну процедуру обчислення ступеня відповідності моделі-еталона S моделі-запиту : 1) обчислення ступеня відповідності за окремими ознаками ; 2) обчислення інтегрального ступеня відповідності запиту на основі отриманих відповідностей за окремими нечіткими ознаками. Як правило, модель-еталон і модель-запит – не є повними (модель-еталон і модель-запит задані, відповідно, на підмножинах і ). Зівставлення проводиться на підпросторі ознак (у випадку порожнього підпростору отримаємо невизначеність – на практиці такі випадки запропоновано розглядати як особливі ситуації).
Для першого етапу – знаходження ступеня нечіткої відповідності моделі-еталона запиту – обґрунтовано використання ступеня нечіткого входження однієї нечіткої множини в іншу. Аналіз класичного ступеня входження: з нечіткою імплікацією Гьоделя показав, що мають місце випадки, коли даний вираз дає суперечний результат. Для подолання виявлених протиріч запропоновано ступінь відповідності:
; | (4)
де – ступінь нечіткого розрізнення на R(E); .
Наведено виведення спрощеного варіанта формули (4), для чого сформульована і доведена теорема, що задає явно ступінь нечіткого входження:
; | (5)
де G – нечітка міра.
Для вирішення другої задачі обґрунтовано використання avg-критерію:
; | (6)
де .
У третьому розділі досліджено метод пошуку в базі даних інформації за запитом, репрезентованим фотопортретом обличчя людини. Введена нечітка модель обличчя, заснована на даних сучасної психології сприйняття та психофізики. Аналіз експериментів, проведених психологами в галузі фотометрії (а саме, дослідження зареєстрованих сакадичних рухів очей людини, отриманих під час дослідження фотографії), показав, що при візуальному сприйнятті інтерес людини до різних ланок зображення розподілений нерівномірно. При вільному дослідженні фотографії людини найбільшу увагу привертають ланки зображення, що відповідають очам, носу та роту людини.
У зв`язку з цим запропоновано процес ідентифікації обличчя будувати на гіпотезі, згідно з якою для впізнавання достатньо порівняти найбільш інформативні області зображення, які запропоновано називати “особливими областями”. Під час аналізу отриманих психологами графів сакадичних рухів, зареєстрованих при вільному дослідженні фотографії обличчя людини в фас, виявлено п`ять таких особливих областей: “права зінична”, “ліва зінична”, “передньоносова”, “ротова” та “средньоносова”. Таким чином, модель фотопортрета обличчя є набором моделей особливих областей зображення. Формально це подано таким чином.
Вхідне зображення представлене функцією яскравості , яка задана на піксельній площині . Задані координати центрів особливих областей: відповідно “правої” і “лівої зіничних”, “передньоносової”, “ротової” та “средньоносової”. Координати точок вводяться в автоматизованому або автоматичному режимах, координата обчислюється із співвідношення: .
Відповідно до висунутої передумови, модель фотопортрета обличчя є набором моделей особливих областей:
, | (7)
де – моделі “правої”, “лівої зіничних”, “передньоносової”, “ротової” та “средньоносової” особливих областей відповідно.
Для того, щоб нечітка модель фотографії була інваріантною до поворотів зображення та до зміни його масштабу, введені такі характеристики особливої області, як базовий напрямок та радіус околу , що залежать від координат центрів особливих областей і не залежать віт орієнтації або розмірів всього зображення, тобто ; , де .
Напрямок особливих областей запропоновано задавати кутом між віссю ординат та векторами : ; ; ; ; . Радіуси особливих областей знаходяться із співвідношень: ; ; ; , де – евклідова відстань між точками і .
Для зручності опису моделі особливої області запропоновано перейти до полярної системи координат із початком відліку в особливій точці , нульовим напрямком та одиничним радіусом . Модель особливої області запропоновано задавати нечіткими характеристиками:
; | (8)
(9)
де – нечіткий напрямок контуру в околі контрольної точки . Координати задані залежно від ступенів градації радіальної і кутової складових та відповідно, а також коефіцієнту перенесення радіальної складової : , ; , .
Нечітка множина (9) задана на , де . Функція приналежності відображає впевненість у тому, що напрямок контуру в точці відповідає напрямку :
; | (10)
; | (11)
; | (12)
; | (13)
де – функція яскравості, , , і – нечіткі піксельні області, задані на , із функціями приналежності:
; | (14)
; | (15)
(16)
(17)
де – координати пікселя у полярній системі координат із центром у контрольній точці , нульовим напрямком та одиничним відрізком радіальної складової, що відповідає розміру –околу контрольної точки.
За допомогою цих множин, що описують: –окіл контрольної точки (); наближення до прямої, що проходить через контрольну точку в напрямку (); і піксельні області, які знаходяться з умовної позитивної () та негативної сторін відносно цієї прямої ().
Вираз (11) відображає різницю у середній освітленості між центральною відносно напрямку частиною околу контрольної точки () та однією із двох периферійних частин – позитивною () або негативною (). Сигма-функція, яка бере участь у виразі (10), відображає особливості суб`єктивного сприйняття зображення та є функцією переходу від розрізнення середньої освітленості нечітких областей до суб`єктивної впевненості у наявності контуру в контрольній точці у заданому напрямку.
Порівняння нечітких моделей запропоновано проводити аналогічно процедурі порівняння моделей нечіткого словесного портрета. Ступенем подібності моделей і є:
; | (18)
де – ступінь нечіткої подібності моделей k-х особливих областей.
Нечіткий ступінь подібності особливих областей і аналогічно ступеню подібності моделей подана у вигляді:
; | (19)
де – ступінь нечіткої подібності за окремими контрольними точками.
Нечіткий ступінь подібності за контрольними точками запропоновано шукати у вигляді інверсії нечіткої відстані:
. | (20)
У четвертому розділі наведено результати експериментів і опис автоматизованої інформаційно-пошукової системи АІПС “Портрет”. Експерименти виконані окремо для двох методів, розроблених у дисертації: нечіткого словесного портрета та нечітких особливих областей обличчя. У процесі проведення експериментів використовувалась характеристика CMS (cumulative matching score), суть якої складається у наступному. Результатом пошуку за кожним образом із тестової вибірки є впорядкований за ступенем відповідності тестовому образу набір моделей із бази даних. Якщо в отриманому наборі образ, який шукається, знаходиться не більш ніж на r-ій позиції, то кажуть, що він розпізнаний за рангом r. Характеристика CMS – залежність відсотка розпізнавання від рангу r.
Під час тестування методу нечіткого словесного портрета були складені класичні та нечіткі моделі словесного портрета для 20 осіб (чоловіки у віці від 25 до 45 років). Моделі будувались на 38 ознаках зовнішності, з яких: 24 – метричного типу, 12 – експертного і 2 – похідного. Це такі ознаки: форма, горизонтальне профілювання, співвідношення висоти і ширини обличчя; лінія росту волосся; форма, висота, ширина, величина та нахил чола; контур, напрямок, взаєморозміщення, висота, ширина й довжина брів; контур, довжина, ступінь розкриття, положення і колір очей; вираженість вилиць; висота, ширина та виступання носа; глибина перенісся; контур, довжина і ширина спинки носа; положення основи носа; розмір, контур рота; положення кутів рота; загальне виступання і ширина кайм губ; висота, ширина, виступання і контур підборіддя.
Людині, не знайомій раніше із жодним з учасників експерименту, запропоновано по черзі ознайомитися із зовнішністю кожної з 20 осіб та скласти чіткий та нечіткий словесні портрети. Комп’ютерний експеримент показав, що нечітка модель має перевагу над чіткою: якість пошуку за рангом 1 зростає більш ніж на 15%: від 70% до 85%. Встановлено, що автоматично обчислений ступінь відповідності нечітких моделей словесного портрета адекватно відображає суб`єктивне уявлення людини про зовнішню подібність (зівставлення парних порівнянь із уявленням експертів склало більше 80%).
Тестування методу нечітких особливих областей проводилося на п`яти наборах фотографій облич людей у фас із бази даних FERET: галерейному наборі та чотирьох тестових (fafb, fafc, dup1 и dup2). Галерея складається із 1197 фотографій, fafb – 1196 фотографій, зроблених через малий проміжок часу після галерейних у тих самих умовах зйомки (але образи можуть відрізнятися виразом облич та положенням голови), fafc – 194 фотографій, виконаних іншою камерою при іншому освітленні (візуально зображення із набору fafc виглядають більш темними, ніж зображення із галерейного набору), dup1 – 722 фото, зроблених за 6-18 місяців після галерейних, dup2 – 234 фото, зроблених за 18-36 місяців після галерейних. На знімках представлені люди обох статей, різних рас та віку; на ряді зображень очі прикриті окулярами; зображення облич можуть різнитися за емоційним станом та за положенням (припускаються легкі повороти голови).
Проведено порівняння методу із зарубіжними аналогами. Графіки CMS, отримані на наборах fafb, подані на рис. 2. На графіку репрезентовані результати методів від US Army Research Laboratory (із позначкою arl); зумовлені вибором метрики варіанти методу власних облич (ef_hist); система компанії Excalibur Inc. (excalibur); методи, розроблені у Масачусетському технічному інституті (mit), університетах Південної Каліфорнії (usc) та Меріленд (umd). За сукупністю тестів запропонований у дисертації нечіткий метод показав результати сумірні із кращими зарубіжними аналогами: методами, розробленими в Масачусетському технічному інституті і університетах Південної Каліфорнії та Меріленд: на наборі fafb отримано результат більший за 96%, на наборі fafc – 75%, на dup_1 – 53%, на dup_2 – 38% за рангом 1.
Рис. 2. Порівняння методів ідентифікації облич на наборі fafb
Проведений підбір параметрів нечіткої моделі фотографії обличчя із метою оптимізації швидкості пошуку. Використавши різні комбіновані критерії, які включають результативність пошуку та його швидкість, виділені набори параметрів, за яких відсоток вдалого пошуку та його швидкість склали відповідно: 92% та 84072 фот/c; 95% та 28584 фот/c; 96% та 5810 фот/c, що дозволяє працювати з великими базами даних в режимі реального часу.
На основі результатів, отриманих у другому і третьому розділах дисертації, розроблена автоматизована інформаційно-пошукова система АІПС “Портрет”. Система побудована на триланковій клієнт-серверній архітектурі, яка зарекомендувала себе в проектуванні великих ERP-систем. Система має три рівні: презентаційний рівень, рівень додатків та рівень баз даних. Третій рівень системи репрезентований СУБД MySQL. Система працює в двох режимах: режимі реєстрації запису та режимі запиту.
У режимі реєстрації запису система дозволяє в автоматичному режимі за допомогою вбудованого модуля фотоаналізу, що працює з фотографіями в фас і профіль – виділяти основні метричні ознаки. Після автоматичного обчислення нечітких ознак метричного типу в автоматизованому режимі вводяться експертні ознаки, та, після обчислення нечітких ознак похідного типу на основі продукційних нечітких правил, які містяться в базі даних, нечіткі моделі словесних портретів та фотографій додаються до бази даних.
Система дозволяє працювати із запитами, введеними як за допомогою користувача повністю в ручному режимі, так і складеними за допомогою модуля фотоаналізу. Під час тестування система показала цілком логічні результати, а швидкість пошуку за нечітким словесним портретом склала більше 1000 записів за секунду.
У додатках наведено довідкові дані, які використовуються при створенні нечіткої моделі-еталона словесного портрета, а також акти про впровадження.
ВИСНОВКИ
У дисертації запропоновано подальший розвиток і нове розв`язання актуальної проблеми пошуку інформації в гетерогенних інформаційних системах. Основні результати роботи сформульовані таким чином.
1. Проведений аналіз існуючих підходів до пошуку інформації у гетерогенних БД виявив недоліки методів пошуку за словесною та графічною моделями портрета обличчя людини: класичному методу словесного портрета властиві проблеми порогових оцінок та категоричності при формувані моделі зовнішності, що суттєво зменшує результативність пошуку; методи пошуку за цифровими графічними моделями зображення обличчя, по-перше, реалізовані у вигляді закритих систем, що ускладнює їх інтеграцію до автоматизованих інтелектуальних пошукових систем, і, по-друге, або не характеризуються достатньою швидкістю, або потребують наявності навчальної вибірки, або дуже критичні до вхідних зображень.
2. Подолання вказаних недоліків можливе на основі моделей, які враховують особливості сприйняття людиною інформації про обличчя людини, досліджених в когнітивній психології. Запропоновано формалізувати словесну та графічну моделі портрета обличчя на основі апарату теорії нечітких множин.
3. Модель нечіткого словесного портрета, як систему нечіткого виведення, розроблено з урахуванням досвіду застосування класичного методу словесного портрета. Запропонований підхід до формування фазифікаторів, що ґрунтується на поняттях точок максимальної відповідності та областей домінування, дозволив використати досвід, накопичений в криміналістиці, для обчислення функції приналежності нечітких ознак метричного типу. Новий підхід до знаходження ступеня входження однієї нечіткої множини в іншу дозволив подолати протиріччя, які були виявлені для класичного підходу.
4. Результати комп`ютерних експериментів показали, що: при переході до моделі нечіткого словесного портрета результативність пошуку зростає більш ніж на 15% (з 70 до 85%) порівняно з класичною моделлю; автоматично обчислений ступінь нечіткого порівняння моделей словесного портрета більш адекватно відображає суб`єктивне уявлення людини про зовнішню схожість.
5. Розроблено метод нечіткого пошуку фотографій у базі даних, що ґрунтується на даних, отриманих у психології сприйняття, психофізиці та криміналістиці, що базується на протиставленні особливих областей обличчя.
6. На основі отриманих психологами графів сакадичних рухів очей виділено п`ять таких областей: “права зінична”, “ліва зінична”, “передньоносова”, “ротова” та “середньоносова”. Кожна з цих областей репрезентована набором нечітких множин, які характеризують направлення контуру в контрольних точках, що належать цим особливим областям.
7. Проведений на базі фотографій FERET комп`ютерний експеримент показав, що розроблений метод нечітких особливих областей за результативністю пошуку не поступається кращим зарубіжним аналогам. Залежно від параметрів моделі швидкість пошуку може становити від 5810 фот\с (результативність пошуку 96%) до 84072 (результативність – 92%) на ПЕОМ класу P-IV 2,8MHz, що дозволяє використовувати запропонований метод для роботи з великими базами даних у реальному часі.
8. Розроблені й запропоновані в дисертаційній роботі методи пошуку за запитом, представленим словесною та графічною інформацією про обличчя людини, дозволяють розширити можливості існуючих інформаційно-пошукових систем та поширити їх на гетерогенні інформаційні системи.
9. Розроблена автоматизована інформаційно-пошукова система АІПС “Портрет”, у якій були реалізовані запропоновані в роботі методи і моделі, впроваджена в ДД ВАТ “Укртелеком”. Теоретичні та практичні результати дисертаційної роботи використовуються на кафедрі Комп`ютерних технологій у навчальному процесі та науковій роботі у створені інтелектуального порталу “Донбас”.
СПИСОК ОПУБЛІКОВАНИХ АВТОРОМ РОБІТ
ЗА ТЕМОЮ ДИСЕРТАЦІЇ
Фахові видання:
1. Григорьев А.В. Методика нечёткого словесного портрета // Вестник Херсонского государственного технического университета №1(19) – 2004, Херсон: “Олди-плюс”, 2004.– с. 100-104.
2. Григорьев А.В., Каргин А.А. Нечеткий метод к идентификации человека по фотопортрету // Радіоелектроніка, Інформатика, Управління № 2(12) – 2004, Запоріжжя: ЗНТУ, 2004. – с. 131 – 135.
3. Григорьев А.В. О нечёткой импликации и степени нечёткого вхождения одного нечёткого множества в другое // Вісник Донецького університету, Сер. A. Природничі науки, 2005, вип. 1, Донецьк: ДонНУ, 2004. – с. 416-419.
4. Григорьев А.В., Каргин А.А. Метод нечеткого поиска неизвестного лица по фотопортрету // Наукові праці Донецького національного технічного університету. Серія: “Обчислювальна техніка та автоматизація”. Вип. 88. – Донецьк, ДонНТУ, 2005. – с. 113-119.
5. Григорьев А.В., Каргин А.А. Сравнение методик нечёткого и классического словесного портрета // Радиоэлектроника и информатика № 1(30) – 2005, Харьков: ХНУРЭ, 2005. – с. 122-125.
Особистий внесок здобувача в публікаціях: [2, 4] – розробка нечіткої моделі представлення фотопортрета та нечіткого методу пошуку фотопортрета в базі даних; [5] – розробка моделі нечіткого словесного портрета та її порівняння із класичною моделлю.
Не фахові видання:
1. Григорьев А.В., Каргин А.А. Технология представления зрительных образов в ситуационных интеллектуальных машинах с использованием концепции нечёткого динамического процесса // “Оптоелектронні інформаційно-енергетичні технології”. Збірник тез доповідей міжнародної науково-технічної конференції молодих вчених, аспірантів та студентів, м. Вінниця, 24-26 квітня 2001 року. – Вінниця: ВДТУ, 2001. – с.46.
2. Григорьев А.В., Петренко Т.Г. Универсальная интеллектуальная оболочка, как инструмент приобретения знаний // Материалы университетской научно-технической конференции по итогам НИР 1999-2000 гг. Выпуск: Естественные науки. Физические и компьютерные науки. /гл. редактор А.Г. Милославский/ ДонНУ, 2001. – с.125-128.
3. Григорьев А.В., Каргин А.А. Технология представления зрительных образов в СИМ с использованием концепции нечёткого ситуационного динамического процесса // Материалы университетской научно-технической конференции по итогам НИР 1999-2000 гг. Выпуск: Естественные науки. Физические и компьютерные науки. /гл. редактор А.Г. Милославский/ ДонНУ, 2001. – с. 109.
4. Григорьев А.В., Каргин А.А. Интерпретация графических данных // Современные информационные и электронные технологии: Труды третьей международной научно-практической конференции, 21–24 мая 2002.–Одесса: Одесский национальный политехнический университет, ОАО “Нептун”, 2002. – с. 107.
5. Григорьев А.В., Каргин А.А., Борухсон В.Е., Асланов А.Е. Извлечение, представление и обработка глубинных знаний в интеллектуальных машинах в ИНТЕРНЕТ. // Современные информационные и электронные технологии: Труды четвертой международной научно-практической конференции, 19–23 мая 2003.–Одесса: Одесский национальный политехнический университет, ОАО “Нептун”, 2003. – c. 93.
6. Григорьев А.В. Нечеткая модель поиска в базе данных преступника по словесному описанию портрета // Современные информационные и электронные технологии: Труды пятой международной научно-практической конференции, 17–21 мая 2004.–Одесса: Одесский национальный политехнический университет, ОАО “Нептун”, 2004. – c. 120.
7. Григорьев А.В., Петренко Т.Г. Ситуационный вывод оценки знаний на основе интеллектуальной обучающей оболочки // Інформаційно-керуючі системи на залізничному транспорті, №4(25) – 2000. – Харків: ХДАЗТ, 2000. – с. 109.
Особистий внесок здобувача в публікаціях: [1, 3, 4] – розробка моделі представлення графічних даних у ситуаційних інтелектуальних машинах; [2, 7] – розробка нечіткого методу оцінки знань; [5] – лінгвістична модель представлення графічної інформації на основі поняття особливих областей зображення.
АНОТАЦІЯ
Григор`єв А.В. Автоматизована інформаційно-пошукова система, що ґрунтується на нечіткій моделі портрета людини. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – “Автоматизовані системи управління та прогресивні інформаційні технології”. – Донецький національний університет, Донецьк, 2005 р.
У дисертаційній роботі досліджено сучасний стан проблеми представлення інформації про зовнішність людини: словесне і графічне її представлення. В основу вирішення першої задачі покладений метод словесного портрета. Показано, що для словесного портрета мають місце проблеми порогових оцінок та категоричності, для подалання яких запропоновано модель нечіткого словесного портрета. Експериментально встановлено, що перехід до нечіткої моделі збільшує результативність пошуку на 15%.
Розроблено нечітку модель фотопортрета обличчя, що ґрунтується на представленні нечіткими характеристиками контуру в особливих областях зображення. На основі отриманих психологами графів сакадичних рухів очей виділено п`ять таких областей: “права зінична”, “ліва зінична”, “передньоносова”, “ротова” та “середньоносова”. Під час тестування метод нечітких особливих областей продемонстрував один з найкращих результатів порівняно із зарубіжними аналогами. Встановлено, що за високої результативності (близько 92%) швидкість порівняння становить приблизно 84 тис. фот. / сек.
На основі запропонованих методів і моделей розроблена інформаційно-пошукова система.
Ключові слова: автоматизовані інформаційно-пошукові системи, словесний портрет, розпізнавання облич, нечіткі моделі.
АННОТАЦИЯ
Григорьев А.В. Автоматизированная информационно-поисковая система, основанная на нечёткой модели портрета человека. – Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 – “Автоматизированные системы управления и прогрессивные информационные технологии”. – Донецкий национальный университет, Донецк, 2005 г.
В диссертационной работе исследовано современное состояние проблемы представления и обработки информации о лице человека. Изучено два аспекта: словесное и графическое представление лица. В основу решения первой задачи положен используемый в криминалистике метод словесного портрета. Показано, что проблемы пороговых оценок и категоричности могут быть решены путём введения модели нечёткого словесного портрета. Разработана информационная технология, включающая этапы формирования нечёткой модели-эталона словесного портрета лица, нечёткого запроса и нечёткого поиска в базе данных. Решена задача нахождения функции принадлежности для признаков словесного портрета. Экспериментально установлено, что переход к нечёткой модели увеличивает результативность поиска на 15% (с 70 до 85%). Установлено, что степень нечёткого сравнения двух моделей нечёткого словесного портрета более адекватно отражает субъективное представление о сходстве по внешнему облику.
Разработана нечёткая модель представления фотопортрета лица, основанная на представлении нечёткими характеристиками особых областей, привлекающих к себе наибольшее внимание человека при рассматривании. На основе полученных психологами графов саккадичних движений глаз выделено пять таких особых областей: “правая зрачковая”, “левая зрачковая”, “передненосовая”, “ротовая” и “средненосовая”. Математически обоснованные выражения для вычисления функции принадлежности нечётких характеристик контура, а также нечёткой степени близости двух моделей. При тестировании метод особых областей показал результат на уровне лучших зарубежных аналогов. Проведена оптимизация качественно-скоростных показателей системы, установлено, что при высокой результативности поиска (порядка 92%), скорость сравнения составляет порядка 84 тыс. фот / сек, что позволяет использовать метод особых областей в псевдореальном времени.
На основе предложенных методов и моделей разработана интеллектуальная поисковая система.
Ключевые слова: автоматизированные информационно-поисковые системы, словесный портрет, распознавание лиц, нечёткие модели.
ANNOTATION
Grigoriev A.V. Automated informational searching system based on fuzzy model of human portrait. – Manuscript.
The dissertation is aimed for obtaining the scientific degree of the candidate of engineering science on specialty 05.13.06 – "The automated control systems and progressive information technologies". – Donetsk national university, Donetsk, 2005.
In this dissertation work the recent problems regarding the presentation of human appearance information are researched. Here both the verbal and graphical representation of the available information is considered. The method of the verbal portrait was put as the basis for solving the first problem. It has been shown that for the classical verbal portrait the problems of threshold estimations and accuracy take place. To solve them the fuzzy verbal portrait model was introduced. Experiments showed that the fuzzy model allows increment of the search effectiveness by 15%.
Fuzzy model of the face photo portrait based on fuzzy edge characteristics of the special picture regions representation was developed. During the testing the fuzzy method of the special regions has showed one of the best results in comparison with the foreign analogs. It is observed that with the high effectiveness (near 92%) the comparison speed is about 84000 photos per second.
On the basis of the introduced methods and models informational searching system was developed.
Key words: automated informational searching systems, verbal portrait, face recognition, fuzzy models.
