ІНСТИТУТ ПРОБЛЕМ ШТУЧНОГО ІНТЕЛЕКТУ
ІНСТИТУТ ПРОБЛЕМ ШТУЧНОГО ІНТЕЛЕКТУ
Муригін Кирило Валерійович
УДК 004.89, 004.93
КОМП’ЮТЕРНА ІДЕНТИФІКАЦІЯ ЛЮДИНИ
ЗА ЗОБРАЖЕННЯМ ОБЛИЧЧЯ НА ОСНОВІ
КОРЕЛЯЦІЙНИХ МЕТОДІВ
Спеціальність 05.13.23 – системи та засоби штучного інтелекту
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня
кандидата технічних наук
Донецьк – 2005
Дисертацією є рукопис.
Робота виконана в Донецькому державному інституті штучного інтелекту, Міністерство освіти і науки України.
Науковий керівник: | Кандидат фізико-математичних наук, с.н.с. НЮНЬКІН Костянтин Митрофанович
керівник відділу розпізнавання зорових образів Інституту проблем штучного інтелекту МОН та НАН України
Офіційні опоненти:
- доктор технічних наук, професор, СКОБЦОВ Юрій Олександрович, завідувач кафедри автоматизованих систем керування Донецького національного технічного університету;
- кандидат технічних наук, старший науковий співробітник КИЙКО Володимир Михайлович, Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України, м. Київ.
Провідна установа – Інститут проблем математичних машин і систем НАН України, відділ нейротехнологій, м. Київ.
Захист дисертації відбудеться “_2_” __грудня__ 2005 року о _11_ годині на засіданні спеціалізованої вченої ради К11.243.01 при Інституті проблем штучного інтелекту МОН та НАН України за адресою: 83050, м. Донецьк, пр. Богдана Хмельницького, 84.
З дисертацією можна ознайомитися в бібліотеці Донецького державного інституту штучного інтелекту за адресою: 83050, м. Донецьк, вул. Р. Люксембург, 34-а.
Автореферат розісланий “_2_” _листопада_ 2005 року.
Вчений секретар
спеціалізованої вченої ради,
кандидат технічних наук Полівцев С.О.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність. В останні часи проблеми створення систем штучного інтелекту привертають значну увагу. Основними напрямками досліджень у цій сфері є: створення інтелектуальних робото-технічних систем, моделювання інтелектуальної діяльності людини, створення інтелектуальних комп’ютерних інтерфейсів, розробка методів та програмно–апаратних засобів розпізнавання та синтезу мовних і зорових образів. Значний вклад в розвиток цих напрямків внесли: Васильєв В.І., Винцюк Т.К., Глушков В.М., Згуровський М.З., Коваль В.М., Крак Ю.В., Путятин Є.П., Шабанов-Кушнаренко Ю.П., Шевченко А.І., Шлезингер М.І. та інші. Подальше вивчення проблем, пов’язаних з інтелектуальною діяльністю людини, функціонуванням її свідомості та образним сприйняттям інформації дозволить вийти на новий виток еволюції в комп’ютерній техніці. Вже зараз ряд відомих вітчизняних та зарубіжних вчених зійшлися на думці, що подальшим неминучим етапом в розвитку штучного інтелекту є створення принципово нової ЕОМ, яка базується на принципово нових інформаційних технологіях і системах, що моделюють образне сприйняття світу та образне прийняття рішень. Одним з важливих напрямків досліджень є розробка інтелектуальних систем образного сприйняття зорової інформації, серед яких немаловажне значення мають системи автоматичного аналізу зображень облич людей.
У даний час виявляється все зростаючий інтерес до систем автоматичного визначення особистості людини за зображенням обличчя. Це пов'язано в першу чергу з насущною потребою в створенні безпарольних систем контролю доступу і систем швидкого визначення особистості людини. З технічної точки зору серед усіх біометричних технологій цей напрямок найбільш зручний, тому що не вимагає спеціального обладнання, необхідного, наприклад, для систем, заснованих на аналізі сітківки ока чи відбитків пальців. Незважаючи на простоту, з якою подібну задачу ідентифікації виконує людина, задача автоматичної ідентифікації за зображенням обличчя представляється надзвичайно складною та пов’язаною з глибинними проблемами розпізнавання образів і штучного інтелекту.
У листопаді 2000 року Кабінетом Міністрів України була затверджена Державна науково-технічна програма “Образний комп'ютер”, однією з цілей якої було оснащення комп'ютерів образним сприйняттям зорової інформації, що свідчить про актуальність обраного напрямку досліджень.
Зв'язок роботи з науковими програмами, планами, темами. Проведені дослідження виконувалися в Донецькому інституті проблем штучного інтелекту в рамках науково-дослідних програм: ”Пошук та дослідження способів комп'ютерного розпізнавання людини за диференційованими ознаками з метою створення інтерактивної інтелектуальної системи взаємодії машино-комп’ютерів та ЕОМ нової генерації з навколишнім середовищем та користувачем”, К.І., шифр 604-96 №0100U002226; “Створення елементів інтелектуального інтерфейсу для комп'ютера нової генерації, що базується на аналізі візуальної інформації”, шифр РЗ-2002, №0103U001215 і ДНТП “Образний комп’ютер”, проект “D24. Система виявлення людського обличчя у візуальному зображенні”, контракт №ОК-2001-D24-ЦЕНТР-ІПШІ від 2 листопада 2001 року.
Автор брав участь у роботі з перелічених програм як виконавець окремих розділів, пов’язаних з рішенням задач виявлення й ідентифікації людини за зображенням обличчя.
Мета і задачі дослідження. Метою дисертаційної роботи є вирішення задачі комп’ютерної ідентифікації людини на основі аналізу фронтального зображення обличчя. Для досягнення поставленої мети необхідно вирішити наступні задачі:
1. Провести аналіз існуючих методів, що використовуються для автоматичної ідентифікації людини за зображенням обличчя.
2. Розробити методологію виявлення та розпізнавання в єдиному комплексі.
3. Розробити метод пошуку області обличчя та визначення масштабу обличчя на статичних зображеннях з довільним фоном.
4. Розробити метод пошуку положення графу обличчя на зображенні обличчя, що базується на підході еластичного зіставлення графів.
5. Дослідити можливості підвищення відсотка правильної ідентифікації за рахунок лінійних трансформацій простору ознак.
Об'єкт дослідження – цифрові фронтальні зображення облич з вертикальною віссю симетрії.
Предмет дослідження – алгоритми і методи автоматичного виявлення області обличчя на зображенні та розпізнавання особистості людини за зображенням обличчя.
Методи дослідження. В дисертаційній роботі використовуються: методи цифрової обробки зображень і дискретних перетворень двовимірної інформації для трансформацій вихідних зображень та прискореного розрахунку згорток; кореляційні методи та методи лінійного дискримінантного аналізу для вирішення задач класифікації; методи математичної статистики для оцінки якості запропонованих підходів; методи вейвлет аналізу та еластичного зіставлення графів облич для отримання ознак зображень облич, які використовуються при ідентифікації.
Наукова новизна отриманих результатів. У ході виконання дисертаційних досліджень були отримані наступні основні результати, що відбивають наукову новизну роботи.
1. Запропоновано новий підхід до розв’язання задач виявлення та розпізнавання в єдиному комплексі, що базується на визначенні необхідної дискретизації по масштабах в методі пошуку на основі обмежень на відсоток помилок розпізнавання.
2. Одержав подальший розвиток кореляційний метод пошуку області обличчя на зображенні в напрямку зменшення впливу на результат пошуку внутрішньокласового розкиду зображень облич. Розроблено дві модифікації методу, які полягають у зіставленні окремих частин зображень і переході в простір головних компонентів, що дозволило підвищити відсоток правильної класифікації зображень облич і фону.
3. Удосконалено параметри методу ідентифікації, який базується на використанні функцій Габора, в напрямку зниження сумарної помилки розпізнавання завдяки використанню скороченого набору масштабів.
4. Уперше запропоновано метод ідентифікації, якій базується на об’єднанні підходу, що ґрунтується на використанні функцій Габора, і методів лінійного дискримінантного аналізу, що дозволило одержати новий набір ознак меншого розміру при зниженні сумарної помилки розпізнавання.
Практичне значення отриманих результатів. Розроблені методи автоматичної ідентифікації людини дозволяють використовувати їх для побудови систем контролю доступу та пошуку в базі даних, які базуються на аналізі зображень облич, а також для створення інтелектуальних систем взаємодії комп’ютера з користувачем. Методи пошуку області обличчя на зображенні можуть бути використані як методи попередньої обробки при побудові довільної системи, пов’язаної з аналізом зображення обличчя людини.
Результати дисертаційної роботи використані в навчальному процесі Донецького національного технічного університету в курсах Сучасні інформаційні технології в професійній галузі та “Обробка зображень в системах еколого-економічного моніторингу; Донецького державного інституту штучного інтелекту в курсі “Розпізнавання зображень”, а також були реалізовані у вигляді закінчених програмних продуктів, що підтверджено актами впровадження.
Особистий внесок здобувача. Результати і положення, що виносяться на захист, отримані автором особисто. Запропоновані в роботі методи були розроблені й експериментально досліджені автором самостійно. В опублікованих роботах, що були виконані в співавторстві [6, 8, 9], автору належить розробка та дослідження модифікації кореляційного методу виявлення області обличчя на зображенні.
Апробація результатів дисертації. Основні положення та результати дисертаційної роботи доповідалися й обговорювалися на:
- Науковій молодіжній школі “Интеллектуальные робототехнические системы – 2001” (Дивноморське, Росія, 2001 р.);
- Міжнародній конференції “Optoelectronic Information-Energy Technologies” (Вінниця, Україна, 2001 р.);
- Міжнародній конференції “Знание – Диалог – Решение” (Санкт-Петербург, Росія, 2001 р.);
- Науковій молодіжній школі “Интеллектуальные роботы – 2002” (Кацивелі, Україна, 2002 р.);
- Міжнародної конференції “Искусственный интеллект 2002” (Кацивелі, Україна, 2002 р.);
- Шостій всеукраїнській міжнародній конференції “Оброблення сигналів і зображень та розпізнавання образів” (Київ, Україна, 2002 р.);
- Міжнародній конференції "Knowledge-Dialog-Solution" KDS 2003 (Варна, Болгарія, 2003 р.);
- Сьомій всеукраїнській міжнародній конференції “Оброблення сигналів і зображень та розпізнавання образів” (Київ, Україна, 2004 р.).
Публікації результатів. Основні положення та результати дисертації опубліковано в 13 друкованих працях, в тому числі: 4 статті в наукових виданнях, які включені до переліку ВАК України; 1 стаття в міжнародному науковому виданні; 1 стаття в науково-практичному журналі та 7 публікацій у збірниках праць конференцій. Наукові та прикладні результати роботи відбиті в 7 звітах по НДР, в тому числі 3 заключних.
Структура й обсяг дисертації. Дисертаційна робота складається зі вступу, 5 розділів, висновків, списку використаних джерел і додатків. Повний обсяг дисертації – 153 сторінки. Робота містить 44 ілюстрації по тексту, 12 таблиць і додаток на 3 сторінках. Список використаних джерел складається з 134 найменувань на 14 сторінках.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі розкрито сутність і стан проблеми комп’ютерної ідентифікації людини за зображенням обличчя, наведено вихідні дані для розробки теми. Обґрунтовано актуальність роботи, описаний зв’язок роботи з науковими планами організації, в якій вона була виконана. Сформульовано цілі і задачі, а також методи дослідження. Викладено основні наукові результати роботи і відзначено її практичне значення.
У першому розділі проведено аналіз сучасного стану проблеми комп’ютерної ідентифікації людини за зображенням обличчя. Виявлено, що задача комп’ютерної ідентифікації людини відноситься до розряду задач, які погано формалізуються, тому, не дивлячись на велику увагу дослідників, викликану практичним значенням результатів вирішення задачі для побудови на їхній основі зручних і якісних біометричних систем, вона усе ще далека від свого розв’язання. Об’єктивна оцінка якості роботи методів ускладнена сильною залежністю результатів тестування від використовуваної бази даних. У цьому зв’язку можна виділити програму FERET, у рамках якої на одній базі даних було проведено тестування ряду систем ідентифікації. У процесі розвитку методів і підходів, використовуваних у даний час для автоматичної ідентифікації людини на основі аналізу зображення обличчя, склався стійкий поділ на дві самостійні задачі виявлення і розпізнавання. Проведений аналіз показав необхідність побудови системи ідентифікації на базі об’єднання методів виявлення і розпізнавання людини в єдиний комплекс. В теперішній час для вирішення цих задач застосовується велика кількість різноманітних підходів, що використовують принципово різні вихідні дані. Для подальшого розвитку і досліджень обрано кореляційний метод виявлення облич з використанням піраміди зменшених зображень і метод розпізнавання, заснований на еластичному зіставленні графів зображень облич з використанням як ознак у вузлах графів згорток зображень з набором функцій Габора. Останній метод враховує як геометричні особливості зображення обличчя, так і його локальні характеристики, отримані у вузлах графа. Використання як локальних характеристик облич векторів згорток зображення і функцій Габора різних масштабів і кутів повороту доцільно в зв’язку з їхніми теоретичними властивостями: інваріантістю результату порівняння до рівномірної зміни яскравості і контрасту зображень, зручністю і простотою роботи з різними масштабами й орієнтаціями зображень облич. Крім того, за даними біологічних досліджень, схожу на габоровську форму має рецепторне поле клітин частини головного мозку, що відповідають за зір. Це дозволяє припустити, що людський мозок одержує на обробку зорову інформацію саме у вигляді розкладу зорового сигналу по функціях Габора, що дає впевненість у потенційній надійності використання саме цих ознак при рішенні будь-яких задач, пов’язаних з розпізнаванням зорових образів, у тому числі й задачі ідентифікації людини за зображенням обличчя. Для побудови комплексу ідентифікації на базі виділених методів пошуку та розпізнавання у дисертаційній роботі необхідно вирішити наступні задачі, формулювання яких відображають визначені основні напрямки досліджень:
1. Розробити методологію виявлення і розпізнавання в єдиному комплексі.
2. Удосконалити кореляційний метод пошуку області обличчя і визначення масштабу обличчя на статичних зображеннях з довільним фоном у напрямку зниження впливу на результат пошуку внутрішньокласового розкиду зображень облич.
3. Провести дослідження впливу відхилень у масштабі і куті бічного нахилу зображень облич на результат розпізнавання.
4. Удосконалити метод пошуку положення графу обличчя на зображенні обличчя, що базується на підході еластичного зіставлення графів, у напрямку скорочення числа шаблонів для кожної точки графу.
5. Дослідити можливості підвищення відсотка правильної ідентифікації за рахунок лінійних трансформацій простору ознак.
У другому розділі обґрунтовано вибір напрямку досліджень та розроблено методологічні основи побудови системи ідентифікації.
Досліджувані методи рішення задачі виявлення ґрунтуються на зіставленні з еталоном із використанням кореляційних методів. Рішення про приналежність вхідного зображення класу зображень облич приймається на основі порівняння величини подібності зображення з обличчями і порога на результат такого зіставлення. Використовується функція подібності у вигляді косинуса кута між нормованими векторами, такими, що їх середні дорівнюють нулю:
(1)
де - функція подібності, та - порівнювані зображення, представлені у векторній формі, N – розмірність векторів.
Функція подібності зображень (1) інваріантна до рівномірних змін яскравості і контрасту зображень, які обумовлені відмінностями в умовах одержання зображень і апаратурі вводу. Для виявлення облич різних масштабів будується піраміда зображень по масштабах, і здійснюється пошук по всіх рівнях піраміди. Завдяки цьому, метод дозволяє не тільки знаходити положення облич на зображенні, але і визначати їх масштаб, який пов’язаний з рівнем піраміди, що дав найкращу відповідність. Для підвищення швидкості роботи і інваріантності порівняння до індивідуальних особливостей, метод застосовується до зменшених зображень облич з горизонтальним розміром шаблона - 12 точок. Для зменшення впливу частин зображень облич, підданих найбільш частим змінам – зачіска, навколишній фон, для розрахунку шаблону використовуються зображення центральної області обличчя, що включає брови, очі, ніс і рот. Якість описаного методу визначається сумарною помилкою поділу двох класів зображень: облич і фону. Для оцінки такої помилки використовуються щільності розподілу результату кореляції шаблона обличчя з зображеннями облич з наявної бази даних і зображеннями фону.
Для представлення властивостей облич при рішенні задачі ідентифікації використовуються коефіцієнти згорток вихідного зображення з функціями Габора різних масштабів і кутів повороту. Функції Габора локалізовані в просторовій і частотній області і мають вигляд плоскої хвилі з хвильовим вектором , на яку накладена гаусовська огинаюча функція шириною , де :
,
де , , , , .
Нормувальний коефіцієнт, друга експонента в квадратних дужках, отриманий з умови рівності нулю інтеграла від функцій Габора по всій області визначення, що дає інваріантність згортки довільного зображення з функціями Габора щодо постійного зсуву зображення по шкалі яскравості. У даній роботі використовувалися функції Габора п'яти різних масштабів, , і восьми кутів повороту, . Кожна функція визначалася характеристичним хвильовим вектором:
(2)
де індекс . Вибір саме такого набору функцій Габора обумовлений найкращою апроксимацією габоровськими вейвлетами вихідної області зображення. Повне хвильове перетворення
(3)
дає 40 комплексних коефіцієнтів у кожній точці зображення (5 масштабів і 8 кутів). Операція обчислення згортки (3) має значну складність, тому для прискорення розрахунків використовувалося ШПФ.
Для порівняння векторів ознак, отриманих на основі (3), як і при виявленні облич, використовується функція у вигляді косинуса кута між ними (1). Така функція порівняння інваріантна до рівномірних змін яскравості і контрастності зображень, на основі яких вектора ознак були отримані. Згідно методу еластичного зіставлення графів, зображення обличчя трансформується в граф обличчя, що містить його властивості. Конфігурація графа визначає геометричні особливості обличчя, вектори ознак у вузлах – локальні властивості зображення. У даній роботі використовується конфігурація графа обличчя у виді прямокутної сітки, при цьому перша зверху лінія вузлів графа відповідає лінії брів; друга – лінії очей; четверта – лінії, що проходить через кінчик носу; шоста – лінії губ (рис. 1). Граф розташовується в центральній частині обличчя, що дозволяє виключити вплив на формування ознак зачіски і навколишнього фону.
Рис. 1. Конфігурація графу обличчя
Для визначення близькості зображень облич, порівнюються відповідні їм графи облич за допомогою функції порівняння:
,
де – результат порівняння графів; N – число вузлів у графі; n – індекс, що визначає номер вузла; – вектори ознак, що відповідають n-му вузлу графу; – функція порівняння векторів ознак (1). Рішення про належність зображення класу зображень облич даної людини здійснюється за допомогою порогу на результат порівняння графу зображення, що тестується, і графу обличчя відомої людини, що міститься в базі даних. При аналізі зображення обличчя, конфігурація графу підстроюється під його пропорції для того, щоб домогтися відповідності між порівнюваними точками зображень облич.
Для об’єднання етапів пошуку обличчя та розпізнавання в єдиний комплекс запропоновано підхід, який враховує вплив відхилень у визначенні масштабів, що находяться під час пошуку, на результат ідентифікації. Для зменшення цього впливу запропоновано визначати шаг дискретизації по масштабах при побудові піраміди зображень в методі пошуку на базі заданого обмеження на помилку розпізнавання.
Способи оцінки якості методу розпізнавання залежать від задачі, для вирішення якої його передбачається використовувати. Як правило, алгоритми і методи автоматичної ідентифікації людини за зображенням обличчя розробляються для вирішення задач контролю доступу і пошуку в базі даних. Для оцінки якості методу при вирішенні задачі контролю доступу використовуються щільності розподілу для результатів порівняння зображень облич різних людей і однієї людини. При цьому поріг розпізнавання визначається на підставі важливості для конкретних умов помилок, пов’язаних з неправильною ідентифікацією і відмовленням від розпізнавання. При оцінці якості методу для рішення задачі пошуку в базі даних використовується відсоток знаходження правильної відповідності. При цьому використовуються еквівалентні бази даних, тобто зображення обличчя людини, введеного в тестову базу даних, повинне міститися й у базі даних, у якій здійснюється пошук. При цьому ці зображення не повинні бути ідентичними. Іноді використовується більш складна оцінка якості роботи методу, застосовувана, наприклад, при тестуванні в рамках програми FERET. Методика тестування полягає в розрахунку залежності відсотка перебування правильної відповідності у визначеному числі знайдених відповідностей з найбільшими вагами від цього числа. У даній роботі така методика використовується для порівняння розроблених методів ідентифікації з аналогами. Необхідно зазначити, що об'єктивна оцінка методів автоматичної ідентифікації по зображенню обличчя надзвичайно ускладнена, тому що результат тестування сильно залежить від використовуваної бази даних. Для вирішення цієї задачі необхідно або реалізувати велику кількість вже розроблених підходів, або використовувати для тестування велику розмаїтість баз даних зображень облич, які використовували окремі автори для дослідження роботи своїх алгоритмів. У цих умовах зручно використовувати відносні показники роботи методів, отримані для використовуваних раніше підходів і розроблених модифікацій на одній базі даних зображень облич. Крім того, у рамках вже згаданої програми FERET було проведене тестування ряду систем розпізнавання на одній базі даних, що дає перевагу використання для порівняльного аналізу розроблених методів з аналогами саме бази даних FERET.
У третьому розділі запропоновано дві модифікації кореляційного методу пошуку області обличчя, що підвищують якість його роботи в умовах значного впливу факторів внутрішньокласового розкиду зображень облич, найбільш істотним з яких є напрямок освітлення обличчя при зйомці.
Перша модифікація, полягає в розбивці зображень на окремі ділянки і порівняння їх вроздріб, що дає інваріантість результату порівняння до локальних змін яскравості і контрастності зображень у зазначених областях. У цьому випадку результат порівняння двох зображень обчислюється за формулою:
,
де - результат кореляції, розрахований по області з індексом i на основі формули (1), N – кількість областей. Такий спосіб порівняння дозволяє більш гнучко оцінювати подібність зображень, одержуваних в умовах з різним напрямком освітлення.
Друга модифікація кореляційного методу пошуку області обличчя базується на використанні декількох шаблонів розрахованих методом власних облич. Власні обличчя було обчислено як власні вектори коваріаційної матриці, отриманої на основі навчальної бази даних, що складалася з 376 зображень облич:
, ,
де - матриця коваріації, N – кількість облич у базі даних, - середній по базі даних вектор (середнє обличчя), - k-й вектор з бази даних, - матриця власних векторів (власних облич).
Характер зменшення власних значень матриці показав можливість використання перших 3 власних векторів, що відбивають найбільш істотні зміни в просторі зображень облич. Поділяюча класи зображень облич і фону поверхня побудована на основі мінімізації функції сумарної помилки класифікації градієнтним методом. Передбачається, що поділяюча поверхня є поверхнею другого порядку.
Порівняльна характеристика кореляційного методу пошуку, що був описаний в другому розділі, та запропонованих модифікацій, отримана на одному тестовому наборі зображень облич і фону (використовувалося 517 зображень облич і 10000 зображень фону), наведена в таблиці 1. При тестуванні здійснювався пошук облич 8 масштабів, горизонтальний розмір яких змінювався від 34 до 91 точок.
Таким чином, запропоновані модифікації кореляційного методу виявлення обличчя дозволили зменшити сумарну помилку класифікації більш ніж у 2 рази. Швидкість і якість роботи розроблених методів дозволяє використовувати їх у різноманітних системах, що здійснюють автоматичний аналіз зображень облич, як методів попередньої обробки.
Таблиця 1 –
Порівняльна характеристика розроблених методів виявлення області обличчя на зображенні
Характеристики | Звичайний метод | Метод з поділом шаблона на ділянки | Метод із трьома шаблонами
Сумарна помилка класифікації, % | 17.7 | 8.6 | 6.3
Помилки пропуску облич, % | 10.9 | 4.9 | 4.8
Помилкове виявлення, % | 6.8 | 3.7 | 1.5
Час обробки зображення розміром 320240 точок на комп'ютері Celeron-350, сек. | 0.20-0.25 | 0.20-0.25 | 0.4-0.5
У четвертому розділі отримано залежності відсотка помилок розпізнавання від відхилень у масштабі і куті нахилу порівнюваних зображень облич, що дає можливість обчислювати припустимі інтервали для відхилень у масштабі і куті нахилу зображення обличчя на основі заданого обмеження на сумарну помилку розпізнавання, обумовлену відповідними факторами; розроблено методи автоматичного визначення положення графа обличчя на зображенні та розпізнавання на базі підходу еластичного зіставлення графів зображень облич.
У підрозділі 4.1 визначені вимоги до точності роботи методу виявлення при обчисленні масштабу і нахилу зображення обличчя, що надходить на вхід системи розпізнавання. Для цього на основі наявної бази даних облич була розрахована залежність відсотка сумарної помилки розпізнавання від відхилень у масштабі і куті нахилу в площині зображення порівнюваних графів облич. На основі отриманих залежностей можна одержувати припустимі інтервали для відхилень у масштабі та куті нахилу зображення обличчя для заданого обмеження на сумарну помилку розпізнавання, обумовлену відповідними факторами. На основі отриманих результатів розраховано шаг дискретизації по масштабах, що використовується при побудові піраміди зображень у методах пошуку облич.
Підрозділ 4.2 присвячений розробці методу автоматичного визначення положення графа обличчя на зображенні довільного обличчя незалежно від індивідуальних відмінностей і умов одержання зображень. Розроблений метод не вимагає донавчання при введенні нового обличчя і використовує невелике число шаблонів для кожної точки графу (10 замість раніше використовуваної “загальної бази знань про обличчя”, що містить до 100 об'єктів). При цьому точність визначення положення точок графу складає 1-3 пікселя. Запропонований метод складається з двох етапів:
1. Кореляційний пошук положення графу обличчя середніх пропорцій з векторами ознак у вузлах у вигляді середніх по базі даних модулів комплексних елементів векторів ознак.
2. Уточнення положення кожної точки графу шляхом кореляційного пошуку з використанням декількох шаблонних комплексних векторів ознак для кожної точки графу обличчя.
При розрахунку шаблонів використовувався навчальний набір векторів ознак, отриманий на основі бази даних зображень облич, на яких розташування точок графу обличчя виконувалося вручну. Для розбивки набору векторів ознак на групи з подібними рисами використовувалася умова обмеження відмінності між усіма векторами з групи деяким заданим числом , яке визначається необхідною кількістю груп N і якістю розподілу по групах – відсоток попадання векторів ознак в задані N груп з найбільшою кількістю членів. Після поділу векторів ознак на групи, шаблонні вектори ознак обчислювалися як середні по групах.
У підрозділі 4.3 проведено дослідження можливостей поліпшення якості роботи методу розпізнавання за рахунок лінійних трансформацій простору ознак.
У пункті 4.3.1 запропонована й експериментально обґрунтована можливість скорочення кількості використовуваних масштабів функцій Габора з 5 (раніше описаних у літературі) до 2. При цьому підвищується якість розпізнавання при рішенні задач контролю доступу і пошуку в базі даних, у 2.5 рази зменшується обсяг даних, що запам'ятовуються й обробляються, підвищується швидкість порівняння графів облич. Результат був отриманий на основі досліджень 160 зображень облич 10 чоловік (по 16 зображень кожного), які були отримані при різних умовах освітлення. При одержанні векторів ознак, точки графу обличчя розташовувалися вручну. У ході досліджень підбиралися комбінації використовуваних масштабів функцій Габора, що дають найкращі результати для задач пошуку в базі даних і контролю доступу. Кращі результати були отримані при використанні двох масштабів (2), при цьому: відсоток правильної ідентифікації при рішенні задачі контролю доступу збільшився з 81.4% до 86.7%, відсоток сумарної помилки розпізнавання при рішенні задачі контролю доступу знизився з 40.8% до 33.9%.
У пункті 4.3.2 запропоновано метод ідентифікації, який полягає в об’єднанні підходу, що використовує функції Габора, з методами лінійного дискримінантного аналізу. На основі набору векторів ознак, отриманих для кожної точки графу обличчя по наявній базі даних, було обчислено матриці коваріації міжкласового і внутрішньокласового розкидів і :
,
.
Тут K – кількість класів (осіб у базі даних); P – кількість векторів у кожному класі (зображень кожної людини); k – індекс класу; p – індекс вектора в класі; n – номер точки графа, для якої виконується розрахунок; – (i-й) елемент вектора ознак; – (i-й) елемент середнього по (k-му) класу вектора ознак; – (i-й) елемент середнього по усіх векторах ознак для (n-й) точки графу обличчя. В роботі було досліджено два методи отримання оптимальних проекцій: метод Фішера, заснований на максимізації відношення міжкласового розкиду до внутрішньокласового:
,
і його окремий випадок, що мінімізує тільки внутрішньокласовий розкид. Вирішуючи обидві задачі на власні значення були отримані два базисних набори векторів. Набір, розрахований методом Фішера, показав кращі результати у випадку використання перших 3-7 компонентів, що відповідають найбільшим власним значенням. При цьому сумарна помилка розпізнавання склала близько 5%. Набір, розрахований на основі мінімізації внутрішньокласового розкиду, показав кращі результати у випадку використання 13 перших компонент. При цьому сумарний відсоток помилки знизився до 0.01%. Тестування методів проводилось на базі даних, що використовувалася для розрахунку нових базисів.
У п'ятому розділі було зроблено порівняльний аналіз розроблених методів автоматичного виявлення і розпізнавання людини за зображенням обличчя з існуючими аналогами, зокрема системами MIT, CAIP, TASC, USC, FACEIT, TrueFaceID. Також в розділі наведено опис програмних продуктів, в яких реалізовано методи, розроблені в дійсній роботі. Програми адаптовані для використання на автономному мобільному роботі, що був розроблений в Інституті проблем штучного інтелекту (м. Донецьк).
Серед зазначених вище методів розпізнавання системи MIT, CAIP, TASC, USC пройшли тестування на базі даних FERET в рамках програми тестування алгоритмів, що розробляються різними авторами на єдиній базі даних. Тому розроблені методи також були перевірені на цій базі даних по аналогічній методиці (рис. 2).
Рис. 2. Результати тестування алгоритмів MIT, CAIP, TASC, USC і розробленого в даній роботі методу на базі даних FERET
Тестова база даних містила 1382 зображення, по 2 на кожну з 691 особи. Координати точок графу на всіх зображеннях находилися автоматично за допомогою алгоритму, описаного в підрозділі 4.2. Порівняння здійснювалося за 13 ознаками для кожної точки графу, які було отримано в пункті 4.3.2. Результати тестування також приведені на рис. 2 і позначені як “Newmeth”. Зіставлення даних тестування показує, що відсоток правильного розпізнавання при використанні розроблених методів вище, ніж у аналогів. Швидкість і якість роботи запропонованого методу розпізнавання дозволяє використовувати його як для рішення задачі контролю доступу, так і для задачі пошуку заданої людини в базі даних.
ВИСНОВКИ
У дисертаційній роботі наведено вирішення наукової задачі комп’ютерної ідентифікації людини на основі аналізу фронтального зображення обличчя. Аналіз отриманих результатів дозволяє зробити наступні висновки:
1. Проведений аналіз стану проблеми комп’ютерної ідентифікації людини за зображенням обличчя показав, що в даний час для вирішення задач автоматичного виявлення і розпізнавання не вироблено єдиного і надійного підходу. Для подальшого розвитку та досліджень обрано наступні методи вирішення поставленої задачі, яка розділяється на два послідовних етапи:
1) виявлення - кореляційне порівняння на піраміді зменшених зображень;
2) розпізнавання - еластичне зіставлення графів зображень облич з використанням в якості ознак у вузлах графу згорток зображення з набором функцій Габора.
2. Запропоновано новий підхід до розв’язання задач виявлення та розпізнавання в єдиному комплексі, що базується на визначенні необхідної дискретизації по масштабах в методі пошуку на основі обмежень на відсоток помилок розпізнавання. Для цього отримані залежності відсотка помилок розпізнавання від відхилень у масштабі та куті нахилу порівнюваних зображень облич.
3. Одержав подальший розвиток кореляційний метод пошуку області обличчя на зображенні в напрямку зменшення впливу на результат пошуку внутрішньокласового розкиду зображень обличчя. Розроблено дві модифікації методу, що полягають у зіставленні вроздріб і переході в простір головних компонентів. Проведене тестування показало зниження помилок класифікації зображень облич і фону в порівнянні з вихідним методом зіставлення з еталоном більш ніж у 2 рази (для сумарної помилки класифікації з 17.7 до 6.3).
4. Запропоновані в роботі методи пошуку реалізовані в програмі виявлення облич на зображенні, що дозволило оцінити часові показники розроблених підходів. Тестування показало швидкість обробки - 2-5 кадрів розміром 320240 точок за секунду на комп’ютері Celeron-350. На кожному кадрі здійснювався пошук облич 8 масштабів.
5. В результаті проведених досліджень розроблений метод автоматичного визначення положення графу обличчя на зображенні довільного обличчя незалежно від індивідуальних відмінностей облич і умов одержання зображень. Розроблений метод не вимагає донавчання при введенні нового обличчя і використовує невелику кількість шаблонів для кожної точки графу (10 замість раніше використовуваної “загальної бази знань про обличчя”, яка містить до 100 об'єктів). При цьому точність визначення положення точок графу складає 1-3 пікселя.
6. Удосконалено метод ідентифікації, заснований на використанні функцій Габора, у напрямку зниження сумарної помилки розпізнавання за рахунок використання скороченого набору масштабів. Використання запропонованого підходу дозволяє знизити сумарну помилку розпізнавання з 40.8% до 33.9% при вирішенні задачі контролю доступу, і підвищити відсоток правильного пошуку при вирішенні задачі пошуку в базі даних з 81.4% до 86.7%.
7. Запропоновано метод ідентифікації, що полягає в об'єднанні підходу, заснованого на функціях Габора, і методів лінійного дискримінантного аналізу, що дозволило одержати новий набір ознак меншого обсягу при зниженні сумарної помилки розпізнавання. При цьому число використовуваних базисних векторів скорочується з 40 до 13, при зниженні сумарної помилки розпізнавання до 0.01%. Тестування проводилося на базі даних, що використовувалася для розрахунку нового базису.
8. Проведено порівняльний аналіз декількох відомих систем ідентифікації людини за зображенням обличчя (MIT, CAIP, TASC, USC, FACEIT, TrueFaceID) з методами, запропонованими в даній роботі. Запропоновані вдосконалення методу пошуку області обличчя на зображенні дозволили підвищити якість виявлення в умовах різних напрямків освітлення облич при зйомці. Швидкість та якість роботи розроблених методів дозволяє використовувати їх для вирішення задачі виявлення в системах, які здійснюють обробку й аналіз зображень, що містять обличчя. Запропонований у даній роботі метод отримання ознак і використання проекцій на підпростір, отриманий мінімізацією внутрішньокласового розкиду, дозволяє скоротити обсяги інформації, що зберігається в базі даних і використовується для порівняння. При тестуванні якості роботи розробленого методу розпізнавання на базі даних FERET отримані кращі результати серед усіх систем, які проходили тестування. Швидкість і якість роботи запропонованого методу розпізнавання дозволяє використовувати його для вирішення як задачі контролю доступу, так і задачі пошуку заданої людини в базі даних.
9. Запропоновані в роботі методи реалізовані в програмних продуктах, які здійснюють пошук області обличчя на зображенні та розпізнавання людини за зображенням обличчя, що підтверджено актом впровадження. Описані програми були розроблені для використання на мобільних роботах, що створюються в Інституті проблем штучного інтелекту (м. Донецьк), а також для систем інтелектуального комп’ютерного інтерфейсу.
СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
1. Мурыгин К.В. Автоматическое определение положения и размеров лица на изображении //Искусственный интеллект. –2001. –№3. –С.567-572.
2. Мурыгин К.В. Исследование масштабной и угловой зависимости векторов признаков, полученных на основе сверток с функциями Габора //Искусственный интеллект. –2002. –№4. –С.499-502.
3. Мурыгин К.В. Оптимизация габоровских вейвлет для задачи распознавания человека по изображению лица //Искусственный интеллект. –2003. –№4. –С.223-229.
4. Мурыгин К.В. Поиск области лица на изображении методом сопоставления с эталоном с использованием нескольких шаблонов //Проблемы бионики. –2003. –№59. –С.55-59.
5. Murygin K. Оptimization of Gabor wavelets for face recognition //International Journal on "Information Theories and Applications". –2003. –Vol.10. –№3. –P.288-293.
6. Мурыгин К.В., Нюнькин К.М. Компьютерное обнаружение лиц людей на изображении //Программные продукты и системы. –2001. –№2. –C.25-29.
7. Мурыгин К.В. Автоматическое определение положения и размеров лица на изображении //Материалы научной молодежной школы "Интеллектуальные робототехнические системы – 2001". –Таганрог: Изд. ТРТУ, 2001. –C.133-135.
8. Мурыгин К.В., Нюнькин К.М. Обнаружение лиц людей системой технического зрения //Abstrcts of International Conference "Optoelectronic Information-Energy Technologies". –2001. –С.47.
9. Мурыгин К.В., Нюнькин К.М. Локализация на изображении лица человека //Труды Междунар. конф. "Знание – Диалог – Решение". –CПб. –2001. –С.490-495.
10. Мурыгин К.В. Исследование масштабной и угловой зависимости векторов признаков, полученных на основе сверток с функциями Габора //Материалы научной молодежной школы "Интеллектуальные роботы – 2002". –Таганрог: ТРТУ, 2002. –C.180-183.
11. Муригін К.В. Виявлення ключових точок на зображеннi обличчя людини //Матеріали VI Всеукраїнської Мiжнародної конференцiї "Оброблення сигналiв i зображень та розпiзнавання образiв". – Київ. –2002. –С.123-126.
12. Murygin K. Optimization of Gabor Wavelets for Face Recognition //Proceedings of Xth Int. Conf. “Knowledge-Dialog-Solution”. –Bulgaria. –2003. P.20-25.
13. Муригін К.В. Підвищення якості ідентифікації людини за зображенням обличчя на основі використання лінійних підпросторів //Матеріали VII Всеукраїнської Мiжнародної конференцiї "Оброблення сигналiв i зображень та розпiзнавання образiв". – Київ. –2004. –С.173-176.
АНОТАЦІЯ
Муригін К.В. Комп’ютерна ідентифікація людини за зображенням обличчя на основі кореляційних методів. -Рукопис.
Дисертація на здобуття вченого ступеня кандидата технічних наук за фахом 05.13.23 - “Системи та засоби штучного інтелекту”. - Інститут проблем штучного інтелекту, Донецьк, 2005.
Дисертаційна робота присвячена вирішенню задачі комп’ютерної ідентифікації людини за зображенням обличчя. Задача розбита на три основні етапи: виявлення області обличчя на зображенні та визначення його масштабу, отримання ознак зображення обличчя, розпізнавання. Для виявлення області обличчя запропоновано дві модифікації методу кореляційного пошуку, що підвищують якість його роботи. Для отримання ознак обличчя і розпізнавання розроблена модифікація методу еластичного зіставлення графів облич. При описі властивостей зображення обличчя в точках графу використовуються вектори ознак, що складаються з результатів згорток зображення обличчя з функціями Габора різних масштабів і кутів повороту.
Розроблені методи виявлення області обличчя на зображенні дозволяють використовувати їх у комп’ютерних системах, що здійснюють аналіз зображень облич, як методи попередньої обробки. Запропоновані в роботі методи отримання ознак обличчя й ідентифікації забезпечують швидке (до 50000 порівнянь у секунду) і якісне порівняння зображень облич в просторі ознак, що дає можливість використовувати ці методи для рішення задачі контролю доступу і пошуку заданої людини в базі даних за зображенням обличчя.
Ключові слова: розпізнавання людини, ідентифікація, аналіз зображень облич, еластичне зіставлення графів, кореляційні методи, функції Габора, зорові образи.
АННОТАЦИЯ
Мурыгин К.В. Компьютерная идентификация человека по изображению лица на основе корреляционных методов. -Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - “Системы и средства искусственного интеллекта”. - Институт проблем искусственного интеллекта, Донецк, 2005.
Диссертационная работа посвящена решению задачи компьютерной идентификации человека по изображению лица. Задача разделена на три основные подзадачи: обнаружение области лица на изображении и определение масштаба лица, извлечение признаков изображения лица, распознавание.
Обнаружение области лица на изображении осуществляется на основе корреляционного поиска на мультимасштабной пирамиде изображений, что позволяет обнаруживать изображения
