ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Інститут кібернетики імені В.М.Глушкова
НАН України
БАРМАК Олександр Володимирович
УДК 004.928:004.934.5
ІНФОРМАЦІЙНА КОМП’ЮТЕРНА ТЕХНОЛОГІЯ
ДЛЯ МОДЕЛЮВАННЯ ТА КЕРУВАННЯ МАНІПУЛЯЦІЙНИМИ І ВІРТУАЛЬНИМИ СИСТЕМАМИ
01.05.02- Математичне моделювання та обчислювальні методи
Автореферат дисертації на здобуття вченого ступеня
кандидата технічних наук
Київ-2004
Дисертацією є рукопис.
Робота виконана в Київському національному університеті імені Тараса Шевченка.
Науковий керівник: | доктор фізико-математичних наук, професор
КРАК Юрій Васильович,
Київський національний університет імені Тараса Шевченка,
професор кафедри моделювання складних систем
Офіційні опоненти: | доктор фізико-математичних наук, професор
ПРОВОТАР Олександр Іванович,
Київський національний університет імені Тараса Шевченка,
завідувач кафедри інформаційних систем
кандидат технічних наук
СИЧОВ Олександр Сергійович,
Інститут Проблем математичних машин і систем НАН України,
науковий співробітник відділу “Нейротехнологій” |
Провідна установа: | Інститут космічних досліджень НАНУ та НКАУ,
відділ інформаційних космічних технологій та систем
Захист відбудеться "____" __________ 2004 р. о ___ годині на засіданні спеціалізованої вченої ради Д 26.194.02 при Інституті кібернетики імені
В.М. Глушкова НАН України за адресою:
03680, МСП, Київ-187, проспект Академіка Глушкова, 40.
З дисертацією можна ознайомитися у науково-технічному архіві Інституту.
Автореферат розісланий "____" ___________ 2004 р.
Вчений секретар
спеціалізованої вченої ради СИНЯВСКИЙ В.Ф.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. За останнє десятиліття зростання швидкодії комп’ютерів, об’ємів їх оперативної та зовнішньої пам’ятей, пропускної здатності зовнішніх пристроїв та каналів зв’язку якісно змінло обчислювальну техніку та сфери її застосування. Ці досягнення поклали початок масовій комп’ютеризації, коли основним предметом праці стає інформація, а новим знаряддям праці – комп’ютери. Інформація, накопичена у комп’ютерах, сама стала продуктивною силою, виступаючи в якості баз знань в інтелектуальних автоматизованих системах управління. Розвиваються інформаційні технології, як сукупність засобів і методів перетворення інформаційних даних для отримання інформації нової якості (інформаційного продукту) про стан об'єкта, процесу або явища. Технології, основним технічним засобом у яких виступає комп'ютер або засоби телекомунікації, вважаються новими (комп'ютерними) інформаційними технологіями.
На сьогоднішній день існує значний розрив між можливостями апаратних засобів комп’ютерів та методами, що використовуються для розв’язання прикладних задач. В основному ці методи ґрунтуються на добре формалізованих алгоритмах, отриманих у результаті побудови математичних моделей предметних областей. Найчастіше, це трудомісткі розрахунки за відомими формулами або послідовності дій, які після багатократного використання дають бажані результати. Однак, існують актуальні задачі, для вирішення яких невідомі аналітичні залежності або послідовності дій. Для розв’язування таких задач у реальному часі, як правило, не вистачало ресурсів комп’ютера. Крім того, існують трудомісткі, добре формалізовані задачі, розв’язування яких традиційними методами ускладнений великою розмірністю таких задач (наприклад, задачі оптимізації).
В даній дисертаційній роботі представлено ряд методів, алгоритмів та їх програмних реалізацій, які суттєво використовують ресурси комп’ютера для вирішення цих задач. До розгляду взято задачу планування рухів у просторі з обмеженнями Маніпуляційної Системи (МС) з довільною кількістю ланок та задачу візуалізації промовляння просторовою віртуальною моделлю людської голови фонетично розміченого, емоційно забарвленого тексту.
Вибір саме цих задач продиктовано світовими тенденціями розвитку сучасних технологічних рішень, основаних на застосуваннях робото-технічних комплексів з інтелектуальними системами управління. В той же час, розробка технологій візуалізації процесу промовляння за допомогою комп’ютерних засобів є важливою проблемою і має прикладні застосування в інтелектуалізації роботи з комп’ютером, кінематографії, телебаченні, передачі інформації тощо.
Для розв’язку поставлених задач запропоновано нову інформаційну комп’ютерну технологію – інформаційно-пошуковий підхід.
Зв’язок роботи з науковими програмами та темами. Дослідження дисертаційної роботи виконувались в рамках ДНТП “Образний комп’ютер” за проектами: “Моделювання та керування візуальними образами людського обличчя при синтезі мовлення в комп’ютері” (державний реєстраційний номер 0101U009163); “Мультимодальна система озвучення українських текстів – обличчя, що говорить” (державний реєстраційний номер 0102U005223); “Розробити експериментальну інтелектуальну систему анімації синтезу мовлення за текстом” (державний реєстраційний номер 0103U004303).
Мета дослідження. Метою дослідження є розробка методів, моделей та алгоритмів для інформаційно-пошукового розв’язку задач керування маніпуляційноми та віртуальними системами. Відповідно до поставленої мети та розробленого підходу, сформульовані задачі дисертаційного дослідження:
– створення інформаційної технології – інофрмаційно-пошукового підходу для розв’язку задачі планування рухів МС у середовищі з обмеженнями;
– створення інформаційними методами технології анімації процесу промовляння фонетично розміченого, емоційно забарвленого тексту віртуальною моделлю голови людини;
– представлення віртуальної моделі голови людини, як поверхні утвореної нерівномірними раціональними базисними сплайнами (NURBS-поверхні), з метою застосування для керування цією системою запропонованої інформаційної технології – інформаційно-пошукового підходу.
Об’єкт дослідження. Об’єктом дослідження є МС у середовищі з обмеженнями та віртуальна модель голови людини з різними емоційними станами у процесі промовляння фонетично розміченого тексту.
Предмет дослідження. Модель, алгоритм та програмне забезпечення планування рухів МС (з довільною кінематичною схемою у середовищі з обмеженнями) у реальному часі; модель, алгоритм та програмне забезпечення для анімації просторової віртуальної моделі голови людини при промовлянні фонетично розміченого довільного тексту з різними емоційними станами.
Методи дослідження. При виконанні поставлених задач, для об’єктів досліджень створювались абстрактні класи, з метою надання їхнім нащадкам певних властивостей для подальшого порівняння та оцінки. Абстрактні класи створювались з використанням технології об’єктно-орієнтованого проектування та програмування. Для інтелектуальної обробки інформації розглядались та використовувались системи управління базами даних: фактографічні бази даних, методи та засоби створення баз даних, апаратно-програмні платформи систем зберігання та обробки даних. В якості методу розв’язування складно формалізованих задач використовувались нейромережні алгоритми, а саме нейромережа Хеммінга. Для представлення поверхні голови людини, з можливістю подальшої анімації використовувались криві та криволінійні поверхні у вигляді нерівномірних раціональних базисних сплайнів (NURBS). Для візуалізації отриманих даних у вигляді інтерактивних комп’ютерних графічних об’єктів використовувалась графічна бібліотека прикладного програмування OpenGL.
Наукова новизна отриманих результатів. У процесі вирішення поставлених задач, автором отримані такі результати:
– удосконалена модель МС довільної конфігурації у середовищі з обмеженнями;
– вперше створено алгоритм та програмне забезпечення, які реалізують інформаційно-пошуковий підхід для планування у середовищі з обмеженнями рухів МС довільної конфігурації;
– удосконалено технології анімації двохвимірної та трьохвимірної віртуальної моделі людської голови при промовлянні фонетично розміченого тексту, виявлені принципові моменти, які ускладнюють застосування, в рамках цих технологій, візуалізації емоційного забарвлення при промовлянні;
– вперше створено модель, алгоритм та програмне забезпечення для представлення та подальшого керування анімацією просторової моделі людської голови з допомогою NURBS-поверхні; для керування анімацією, автоматичною побудовою конкретних моделей, представлених таким чином, використовується варіант алгоритму, який реалізує інформаційно-пошуковий підхід для планування рухів МС.
Практичне значення отриманих результатів. Наукові результати дисертаційного дослідження дозволили:
1) сформулювати і розв’язати технічні задачі проектування та експлуатації робото-технічних комплексів з інтелектуальними системами управління – розроблено узагальнений алгоритм планування у середовищі з обмеженнями рухів МС з довільною кількістю ланок;
2) розробити технологію візуалізації процесу промовляння за допомогою комп’ютерних засобів – створено узагальнений алгоритм візуалізації промовляння фонетично розбитого, емоційно забарвленого тексту віртуальною генеративною просторовою моделлю голови довільної людини.
Результати дисертаційного дослідження використано для розробки промислового програмного забезпечення у ТОВ “Науково-технічна фірма “Інфосервіс” (м. Хмельницький). Створене, на основі результатів дисертаційного дослідження, програмне забезпечення використовується рекламними та дизайнерськими фірмами для створення мультимедійної продукції у якій потрібно візуалізувати процес промовляння тексту генеративними моделями.
Особистий внесок здобувача. Згідно з переліком опублікованих за темою дисертації робіт, усі результати дисертації отримані автором самостійно. У роботах [1-4,13] автору належить розробка методу – інформаційно-пошукового підходу для розв’язку задачі планування рухів МС шляхом дискретизації простору можливих станів МС та перетворення множин цих станів, що приводять захват у одну точку простору, у нейроні мережі. У роботах [5-7,10] автором запропоновано алгоритм, який дозволяє розповсюдити запропонований інформаційно-пошуковий підхід на середовище з обмеженнями, шляхом відмітки у базі даних, як заборонених, станів, що попадають у області-обмеження. Робота [7] є підсумковою по наведеному інформаційно-пошуковому підходу до вирішення задачі планування рухів МС з довільною кількістю ланок у просторі з обмеженнями. У роботах [8,9,11,12,14] автору належать алгоритми, присвячені розгляду технологій анімації фонетично розміченого тексту віртуальною моделлю людської голови. У роботі [15] наведено технологію моделювання людської голови з допомогою нерівномірних раціональних базисних сплайнів (NURBS-поверхні), що дає можливість застосувати для анімації процесу промовляння інформаційно-пошуковий підхід, запропонований раніше.
Апробація результатів дисертації. Основні положення та результати дисертаційної роботи були поданні та розглянуті на міжнародній конференції “Моделювання та оптимізація складних систем (МООС-2001)”, Київ, 2001; міжнародній конференції “Dynamical Systems Modeling and Stability Investigation”, Київ, 2001; міжнародній конференції “Prediction and decision making under uncertainties (PDMU -2001)”, 6-й міжнародній конференції “Development and Application Systems DAS 2002”, Сучава, Румунія, 2002; міжнародній науково-технічній конференції, Таганрог, 2002; шостій всеукраїнській міжнародній конференції “Оброблення сигналів і зображень та розпізнавання образів” УКРОБРАЗ’2002, Київ, 2002.
Публікації. Основні результати дисертаційної роботи опубліковано в 15 друкованих працях, в тому числі в 3 наукових працях [7, 8, 15] у виданнях, що входять до переліків ВАК України, 1 опублікованій доповіді та 8 тезах Міжнародних та Всеукраїнських конференцій.
Структура та обсяг роботи. Дисертація складається з вступу, 3 розділів та 7 додатків. Загальний обсяг дисертації складає 150 сторінки, обсяг тексту – 114 сторінок, додатків – 25 сторінок. Дисертація містить 31 рисунок, 21 таблиці та посилання на 140 літературних джерела.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі розкрито суть і стан проблеми, обґрунтована актуальність теми дисертації та необхідність проведення досліджень, наведено відомості про зв’язок обраного напрямку досліджень з державними науковими програмами, викладено мету роботи, особистий внесок здобувача, практичне значення отриманих результатів та наукову новизну, коротко розкритий зміст дисертаційної роботи.
У першому розділі здійснено огляд вітчизняної та зарубіжної літератури, методів, алгоритмів та програмних реалізацій з питань, пов’язаних з темою дисертаційної роботи:
1. Розглянуті та проаналізовані основні існуючі методи планування рухів МС. Приведений математичний опис кінематичних схем МС, приведена постановка задачі прямого та оберненого планування станів.
2. Розглянута та проаналізована об’єктно-орієнтована технологія, як основний підхід при розробці програмного забезпечення промислового масштабу. Розглянуто основні елементи об’єктної моделі: абстрагування, інкапсуляцію, модульність, ієрархію, типізацію, паралелізм, стійкість.
3. Розглянуті та проаналізовані системи обробки фактичної інформації – фактографічні системи, у яких домінує реляційна модель.
4. Розглянуті та проаналізовані нейромережні алгоритми. Серед них виділена нейромережа Хеммінга, яка, зазвичай, використовуються для організації асоціативної пам’яті.
5. Розглянуті та проаналізовані, в якості механізму відтворення складних поверхонь, нерівномірні раціональні базисні сплайни (NURBS). NURBS – є інструментальним засобом (промисловим стандартом) для представлення та проектування геометрії.
У другому розділі, на основі математичної моделі МС та математичного розв’язку прямої задачі кінематики, побудована комп’ютерна модель МС. В рамках цієї моделі запропонована нова комп’ютерна інформаційна технологія – інформаційно-пошуковий підхід [1-5,7,15] – для розв’язку оберненої задачі кінематики. Цей підхід заключається у створенні робочого простору допустимих станів МС, як дискретної множини точок, отриманих шляхом розв’язання прямої кінематичної задачі на дискретній множині векторів узагальнених координат. Такі обчислення для конкретної системи виконуються один раз та заносяться у базу даних. Підмножини векторів координат, при значеннях яких МС позиціонується у одну й ту ж точку простору, перетворюються у штучні нейромережі. Для планування траєкторій запропоновано у підмножині векторів узагальнених координат, за допомогою нейромережі, знайти, по асоціації, вектор, найбільш подібний до вектора цільового стану. Таким чином, мінімізуються обчислювальні затрати, оскільки нейромережа “навчається” всім можливим способам досягнення цільового стану і, з множини значень, які один раз обчисленні й зберігаються у базі даних, вибирає необхідний вектор. Отже, можна організувати планування траєкторій МС, як аналог процедур навчання й прийняття рішень виконання маніпуляцій і локомоцій вищих організмів.
Для реалізації запропонованого підходу створено базу даних, яка складається з наступних таблиць (Рис. 1):
§ Таблиця XYZ – означує дискретний декартовий простір робочого середовища МС (Рис. 2).
§ Таблиця TETA – означує дискретний простір узагальнених координат робочого середовища МС.
§ Таблиця JUNCTION - означує точки декартового простору, які належать МС, що знаходиться у стані, означеному вектором узагальнених координат.
Розроблено алгоритм для отримання знань та запам’ятовування їх у означеній базі даних у вигляді нейромережі Хеммінга.
Створено алгоритм планування траєкторій МС у дискретному декартовому просторі з допомогою отриманих знань.
XYZ | TETA | JUNCTION
… | Id_XYZ, | x,y,z, | Veto | … | … | Id_Teta, Id_XYZ, | , | Veto | … | … | Id_Jun,
Id_Teta, | x,y,z | … | Рис.1. Структура бази даних можливих станів МС
Виходячи з запропонованого підходу, у рамках запропонованої технології, розв’язані наступні задачі:
1. Наближення від опорної точки (x,y,z)XYZ до довільної точки (x’,y’,z’)XYZ з допомогою описаної вище дискретизації, але ітераційно й тільки у околі опорної точки.
2. Планування траєкторій МС у середовищі з обмеженнями, для якого пропонується множини векторів узагальнених координат, яким відповідають стани МС, які попадають у обмеження, відмітити у базі даних, як заборонені, й не використовувати їх для планування.
3. Для концептуального завершення запропонованого підходу, наводяться алгоритми для розв’язку задачі планування траєкторій у середовищі з обмеженнями. Загальна ідея алгоритму побудови траєкторії полягає у тому, що поточний та цільовий стани знаходяться у дискретному декартовому просторі (таблиця XYZ), а траєкторія, виходячи з біологічної подібності, буде будуватись у дискретному просторі узагальнених координат (таблиця TETA). Тобто “очі бачать” у декартовому просторі, а “рука рухається” у просторі узагальнених координат. Виходячи з цього, потрібно, маючи для поточної та цільової точок декартового простору стани векторів узагальнених координат та , знайти множину векторів, які знаходяться між цими двома станами. Для цього треба скористатися SQL – запитом по таблицях XYZ та TETA:
SELECT , x, y, z FROM XYZ, TETA (1)
WHERE (TETA.Id_XYZ=XYZ.Id_XYZ) and ( BETWEEN and ),
тобто у просторі узагальнених координат (таблиця TETA) встановлюється послідовність рухів МС, які (по конфігурації) знаходяться між початковим та цільовим станами. Цього було б достатньо у просторі без обмежень. Але, у отриманій з допомогою (1) послідовності векторів, можуть бути заборонені стани, тобто ті, які потрапляють в області-обмеження. Виходячи з цього, необхідно шукати такі точки у дискретному декартовому просторі, щоб рухаючись послідовно від однієї з них до другої, та виконуючи (1), можна було б (без заборонених рухів) добратись з поточного стану у цільовий. Тобто, якщо при виконанні (1) у послідовності є заборонений рух, потрібно знайти між точками траєкторії ще точку і повторити (1). Процес повторюється до тих пір, поки між сусідніми точками траєкторії, при виконанні (1), не буде заборонених рухів. Щоб унеможливити “зациклення” цього процесу у випадках, коли дійсно немає змоги попасти з поточної точки у цільову, потрібно обмежити його розумною кількістю кроків. Якщо за таку кількість кроків не побудована траєкторія, то вважатиметься, що з заданою конфігурацією МС та при вказаних перешкодах – це зробити неможливо.
Запропоновано також алгоритм для випадків, коли траєкторії були побудовані раніше. Ідея роботи з таблицею, яка містить побудовані раніше траєкторії МС, основується на аналозі роботи, так званої, “ближчої пам’яті” людини. Тобто тієї її властивості, що інформація, яка використовується частіше – запам’ятовується і швидко згадується, а інша інформація – рідко згадувана – забувається, тобто стирається.
Третій розділ присвячений розгляду задачі моделювання голови людини по карті висот, за умови майбутньої візуалізації промовляння фонетично розміченого, емоційно забарвленого тексту. Тобто, розглянуто задачу у наступній постановці: потрібно створити комп’ютерну просторову модель голови людини та алгоритми, що реалізують динамічну генерацію візуальних образів людського обличчя при синтезі мовлення. Потрібно моделювати процес зміни образів обличчя людини, який синхронний звукам (фонемам), генерованим мовним синтезатором. Припускається, що існує мовний синтезатор, який вхідний орфографічний текст перетворює у розмічений фонетичний текст (транскрипцію), тобто набір фонем з тривалістю кожної фонеми, та генерує звук. Також припускається, що транскрипція містить параметри емоційних станів (радість, горе тощо).
Розглянуто схему організації системи візуалізації процесу мовлення, як синхронну роботу двох процесів: мовлення та відповідної артикуляції змодельованого людського обличчя.
Розроблено експериментальну систему моделювання та керування візуальними образами людського обличчя при синтезі мовлення (2D та 3D технології) (Рис. 3). У процесі реалізації та тестування виявлено деякі проблеми запропонованої технології. Основною з цих проблем є досить істотна трудомісткість процесу створення полігональних моделей і їх велика розмірність (для достовірного моделювання потрібна апроксимація понад 20 тис. трикутниками). Крім того, досить важко створити морфеми для керування мімікою обличчя, які б не спотворювали його.
Рис. 3. Результати моделювання за 2D та 3D-технологіями
Виявлені проблеми змусили взяти до розгляду альтернативу полігональному моделюванню, а саме – моделювання за допомогою нерівномірного раціонального базисного сплайну (NURBS):
, (2)
де масив опорних (керуючих) точок (Control Points); – коефіцієнти для збільшення або зменшення “ваги” конкретної опорної точки; – базисні функції за методом Кокса-де Бура:
(3)
При моделюванні обличчя за допомогою NURBS-поверхонь, розмірність зменшується на порядки, а деформації поверхні (для анімації) більш плавні – подібні до деформацій реальних облич [8].
Для зображення NURBS-поверхні використовувалась рівномірна мозаїчна модель для якої брались однакові кроки між мінімальними та максимальними значеннями для параметрів, визначених на поверхні. Отримані точки використовувались як вершини (вертекси) трикутників які віддаються на вхід 3-х мірного API, типу OpenGL або Direct3D.
Для швидшого обчислення , один раз визначались та у точках поділу та зберігались у масиві, а потім використовувались а не обчислювались кожного разу у внутрішньому циклі.
Для знаходження поверхневих нормалей (щоб 3-х мірне API змогло зробити освітлення) потрібно створити дві дотичні (одну в u напрямі та одну в v напрямі) та взяти векторний добуток для отримання поверхневої нормалі. Якщо записати систему рівнянь для обчислення коефіцієнтів у вигляді поліноміального рівняння, еквівалентного , а потім брати похідну від , то це буде просте множення на коефіцієнт та зменшення степені на одиницю:
. (4)
Отже, потрібно обчислити коефіцієнти базисних функцій (3), коли вони представленні у вигляді полінома:
. (5)
Обчислення коефіцієнтів , маючи на увазі (3), виглядає наступним чином:
(6)
Тепер похідна обчислюється за формулою:
(7)
При реалізації цього підходу, якщо розглядати поліноміальну форму завдання кривої на стандартному інтервалі:
(8)
то, замість того, щоб обраховувати незалежно кожний член, який містить , їх можна згрупувати наступним чином (схема Горнера):
(9)
Моделювати голову людини запропоновано з використанням вертикальних кривих (Рис. 4), які беруть початок на внутрішній поверхні роту [15]. Вони виходять з роту на поверхню, повторюючи риси обличчя, та закінчуються біля основи шиї. Цей підхід дуже добре спрацьовує при створенні окремої каркасної моделі голови, яка визначає більшу частину рис обличчя. Так як, зазвичай, напрямок кривих співпадає з напрямком м’язів обличчя, це робить легкою анімацію міміки.
Основуючись на описаному вище підході, використовуючи парадигму об’єктно-орієнтованого проектування, створено еталонну модель та абстрактний клас TNURBSSurface, який реалізує алгоритм побудови NURBS поверхні цієї моделі у реальному часі. В рамках цієї моделі, розглянуті наступні питання:
§ автоматична побудова моделі голови на основі базової моделі;
§ основні результати моделювання процесу анімації еталонною моделлю;
§ нанесення текстури на NURBS-поверхню голови.
Автоматична побудова моделі голови на основі базової NURBS-моделі полягає у модифікації керуючих точок таким чином, щоб утворені цими точками контури відповідали заданим контурам реальної людини. Контури реальної людини можна отримати різними відомими способами, як то: з карти висот при стерео-фотографуванні, з допомогою трьохмірного сканера, тощо.
Представивши анімацію моделі голови людини з допомогою модифікацій керуючих точок NURBS-поверхні, можна помітити, що керування задається у просторі керуючих точок, а зміна контуру та обмеження на цю зміну - у просторі, означеному топологією моделі обличчя людини. Тобто, це обернена задача, для розв’язку якої можна розвинути метод, запропонований у розділі 2. У роботі розглянута задача побудови NURBS-кривої, яка означує основний контур (профіль) еталонної поверхні по заданій точками звичайній кривій. В загальному випадку, якщо розв’язується ця задача для всіх кривих, на основі яких побудована модель, то отримується потрібна модель голови конкретної людини. Для розв’язку цієї задачі було створено абстрактний клас tNURBSCurve, який реалізує роботу з NURBS-кривими. При його створенні використовувались ті ж формули, що й для поверхневого випадку, за виключенням v-напрямку. За пряму задачу прийнято задачу зміни координат керуючих точок NURBS-кривої, яка приведе до однозначної зміни точок самої кривої (заданої точками з якимось кроком). За обернену задачу - задача знаходження координат керуючих точок NURBS-кривої по відомих координатах точок кривої. Виходячи з методу, запропонованого у попередньому розділі (для розв’язку оберненої задачі для планування станів МС), створено базу даних (Рис. 5), яка складається з наступних таблиць: таблиця Fragment – означує номера фрагментів контуру обличчя; таблиця CurvePoint – означує дискретний простір можливих станів фрагментів контурів облич; таблиця CtrlPoint – означує дискретний простір відповідних керуючих точок NURBS-кривої.
Реалізовано алгоритм для отримання знань та запам’ятовування їх у означеній базі даних та алгоритм побудови NURBS-кривої по заданому точковому контуру з допомогою отриманих знань (вхідними даними є проіндексовані фрагменти точкового контуру обличчя) (Рис. 6 та 7). З множини можливих кривих, отримана крива буде найбільш подібною до вхідної. Таким чином, отримується контур, найбільш подібний до заданого.
Існує властивість NURBS-поверхонь, яка робить їх більш привабливими у використанні (з точки зору анімації), ніж полігональні поверхні. Мова іде про те, що при зміні координат керуючих точок – поверхня залишається гладкою, тобто зміна координат керуючих точок приводить до “людиноподібних”, плавних змін на поверхні. Виходячи з цієї властивості, шляхом модифікації керуючих точок, створюються множини різних емоційних станів, як варіації базової моделі. Створено множину виразів обличчя при промовлянні фонем та множину типових емоційних станів. Комбінації моделей, утворені з цих множин, використовуються для анімації промовляння тексту.
Для моделювання процесу анімації використано алгоритми морфінгу та блендінгу (Рис. 8). Введені означення цих операцій для NURBS-поверхонь.
Означення 1. Під NURBS-морфінгом розуміється плавний перехід (перетворення) NURBS-поверхні з одного стану у інший. Тобто, генерація (інтерполяція) між цими станами потрібної кількості проміжних станів. NURBS-поверхню певної топології однозначно означує множина керуючих точок та вектор вузлів. Під час переходу від одного стану до іншого приймається, що кількість керуючих точок не міняється, а змінюються лише координати цих точок (при фіксованому векторі вузлів). Використовується та властивість сплайнових поверхонь, що люба зміна координат керуючих точок приводить до плавної зміни на поверхні. Виходячи з цього, визначається NURBS-морфінг, як лінійна інтерполяція між парними керуючими точками. Тобто, ставиться задача: є множина із N трьохмірних керуючих точок , яка означує початковий стан (стан А) поверхні, та множина керуючих точок , яка означує кінцевий стан (стан Б), і потрібно перейти зі стану А у стан Б за певну (k) кількість кроків. Для розв’язку знаходяться направляючі вектори для кожної пари початкових та кінцевих керуючих точок:
. (10)
Ці вектори направлені від точок, що означують стан А, до точок, що означують стан Б, і мають таку довжину, щоб за k кроків подолати відстань від стану А до стану Б. Тепер проміжні стани визначаються як:
, де . (11)
Означення 2. Зважений NURBS-морфінг є механізм, при якому множина керуючих точок, яка визначає кінцевий стан, має ваговий коефіцієнт (від 0 до 100%). Тобто, зі стану А у стан Б треба перейти не повністю, а на %. Розв’язок задачі зваженого NURBS-морфінгу такий самий, як і у випадку NURBS-морфінгу але з дещо модифікованими формулами (2):
. (12)
Означення 3. Під NURBS-блендінгом розуміється утворення поверхні, як змішування декількох поверхонь. Тобто, з декількох (m) поверхонь, означених множинами керуючих точок створюється результуюча поверхня . Для цього, i-та точка результуючої поверхні знаходиться як:
, (13)
де – множина відповідних точок поверхонь (при фіксованому i-му індексі) для змішування (); - кількість точок у цій множині (, тому, що відкидаються ті точки, координати котрих співпадають з координатами точки домінуючої поверхні); верхній індекс у круглих дужках – номер кроку; – домінуюча точка k-го кроку.
Звідси, згідно (13), результуючою точкою буде .
ВИСНОВКИ
У дисертаційній роботі розроблено технологію, алгоритм та програмну реалізацію основних методів, які дозволяють інформаційними засобами (об’єктна модель, база даних, нейронна мережа) розв’язувати задачу планування у просторі з обмеженнями рухів МС довільних кінематичних схем. Запропонована інформаційна технологія розповсюджена на задачу керування візуальними образами обличчя людини при промовлянні тексту з різними емоційними складовими. Аналіз отриманих результатів дає підставу зробити такі висновки:
1. В результаті дослідження та комп’ютерного моделювання рухів МС за допомогою запропонованого у цій роботі інформаційно-пошукового підходу з використанням нейромережі асоціативної пам’яті, показано, що:
§ алгоритм дозволяє планувати рухи у режимі реального часу;
§ отримані з навченої нейромережі рухи є оптимальними за кількістю переміщень ланок МС;
§ процедура навчання досить проста, логічний зміст навчання – розрахунок найкоротшої відстані між векторами у просторі;
§ алгоритм дозволяє ефективно враховувати зовнішні обмеження на виконання рухів, відмічаючи ті стани, в яких порушуються обмеження.
2. Запропонована NURBS-технологія для комп’ютерного моделювання голови людини, для задач анімації процесу промовляння емоційно забарвленого тексту, реалізована на звичайних мультимедійних комп’ютерах. Результати тестування показали можливість імплементації запропонованої технології у програмне забезпечення операційних систем (чи надбудов над операційними системами) з метою організації нових типів інтерфейсів користувача у яких спілкування користувача з комп’ютером та комп’ютера з користувачем відбувається з допомогою звичайної людської мови. Важлива перевага запропонованої технології заключається в тому, що немає необхідності зберігати великі бази даних зі станами моделей для візуалізації промовляння, оскільки запропонований механізм вирішення цієї проблеми дозволяє динамічно створювати модель з потрібною мімікою на основі невеликого вектора параметрів NURBS-поверхні. Для тестування використовувалась модель, яка генерувалась з допомогою 750-ти керуючих точок. Процес анімації між генерованими станами проходить за допомогою лінійної інтерполяції між керуючими точками, що також є перевагою цієї технології.
3. Запропонована нова інформаційна комп’ютерна технологія розв’язку оберненої задачі – інформаційно-пошуковий підхід. Вона створена для систем у яких: 1) основне середовище, яке відображає загальний стан системи та обмеження у цьому середовищі, знаходяться у одному просторі, а параметри для керування цією системою – у іншому; 2) перехід з одного простору у інший (пряма задача) здійснюється достатньо просто (за формулами та з однозначною відповідністю); 3) обернений перехід (обернена задача) має складний та неоднозначний розв’язок. Суть її полягає у наступному:
§ отримується дискретна множина станів системи, шляхом розв’язку прямої задачі на дискретній множині параметрів;
§ такі обчислення для конкретної системи виконуються один раз та заносяться у базу даних;
§ підмножини розв’язків, з допомогою структури бази даних, групуються (виходячи з предметної області задачі) та перетворюються у штучні нейромережі.
§ для отримання оптимального розв’язку оберненої задачі пропонується у підмножині розв’язків, за допомогою нейромережі, знайти, по асоціації, розв’язок, найбільш подібний до заданого стану.
Таким чином, мінімізуються обчислювальні затрати, оскільки нейромережа “навчається” усім можливим способам досягнення заданого стану і, з множини значень, які один раз обчислені й зберігаються у базі даних, вибирає необхідний розв’язок. Розв’язки отримуються у реальному часі.
СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
1. Бармак О.В., Крак Ю.В. Про побудову методів навчального типу керування маніпуляційними системами на основі нейромереж // В кн.: Міжнародна конференція “Моделювання та оптимізація складних систем (МООС-2001)”. – 25-28 січня 2001р. Праці конференції. Том 1. с.145-147
2. Бармак О.В., Крак Ю.В. Нейромережі асоціативної пам’яті для організації керування навчального типу маніпуляційними системами. // В кн.: Вісник Київського національного університету імені Тараса Шевченка. International Conference “Dynamical Systems Modeling and Stability Investigation”. – Thesis of conference reports. May 22-25, 2001. p.136
3. Бармак О.В., Крак Ю.В. Про побудову нейромережі асоціативної пам’яті для планування рухів маніпуляційних систем. // В кн.: Комп’ютерна математика. Оптимізація обчислень: Зб. наук. праць. НАН України. Ін-т кібернетики ім.В.М.Глушкова, Наук. рада НАН України з проблем “Кібернетика”; Редкол.: І.В.Сергієнко (відп. ред.) та ін. – Т.2. – Київ, 2001. – С. 28-33.
4. Крак Ю.В., Бармак О.В. Планування рухів маніпуляційних систем на основі нейромережі Xеммінга // Ж.: Вісник Київського університету. Серія: фіз.-мат. науки. – 2001. – 2. – с. 244-250
5. Крак Ю.В., Бармак О.В. Побудова нейромережі для планування рухів в середовищі з обмеженнями // International conference “Prediction and decision making under uncertainties (PDMU -2001)”. September 11-14, 2001. Abstracts. Київ. ВПЦ “Київський університет”. 2001, с.95-96.
6. Krak Y.V., Kirichenko M.F., Barmak O.V. Problems of associative memory design for neural network of robot trajectory planning // 6-th International conference on Development and Application Systems DAS 2002. Suceava. May 23-25, Rumania – MUSATINII Publishing House, 2002. – p. 362-367.
7. Бармак О.В., Крак Ю.В. До організації планування рухів маніпуляційних роботів у середовищі з обмеженнями на основі нейромережі Хеммінга // Ж.:Искусственный интеллект. – 2002. – № 1. – с. 81-88
8. Крак Ю.В., Бармак О.В. Анімація віртуальних образів людського обличчя при синтезі мовлення // Ж.:Искусственный интеллект. – 2002. – № 4. – с.458-462.
9. Крак Ю.В., Бармак О.В. Анімація віртуальних образів людського обличчя при синтезі мовлення // Искусственный интеллект–2002 //Материалы Международной научно-технической конференции. Таганрог: Изд-во ТРТУ, 2002. Том 2. с.138-142.
10. Крак Ю.В., Бармак О.В. Моделювання та побудова нейромережі для планування рухів маніпулятора в середовищі з обмеженнями // Збірка тез міжнародної конференції “Обчислювальна та прикладна математика”,присвяченній 80-річчю академіка Ляшка, 9.09-10.09.2002 – Видавництво КНУ, 2002, с. 58.
11. Крак Ю.В., Кириченко М.Ф., Бармак О.В. Моделювання візуальних образів людського обличчя в процесі мовлення // Ж.: Вісник Київського університету. Серія: фіз.-мат. науки. – 2002. – 2. – с. 228-232.
12. Крак Ю.В., Вінцюк Т.К., Кириченко М.Ф., Гаращенко Ф.Г., Бармак О.В. Розробка комп’ютерних технологій моделювання та керування візуальними образами людського обличчя при синтезі мовлення // Шоста всеукраїнська міжнародна конференція “Оброблення сигналів і зображень та розпізнавання образів” УКРОБРАЗ’2002, 8-12 жовтня 2002 р., Київ, Україна. Праці.: Видання УАОІРО, Київ 2002. ст. 23-26
13. Бармак О.В., Кривко О.В. Розробка нейромережі для керування рухом маніпуляційного робота // Ж.: Вісник Черкаського державного технологічного університету. – 2002. – 2. – с. 5-8.
14. Бармак О.В., Крак Ю.В., Кривко О.В. Моделювання емоцій та процесу промовляння на об’ємних моделях голови людини. // В кн. Вісник Київського національного університету імені Тараса Шевченка. International Conference “Dynamical System Modelling and Stability Investigation”. – Thesis of coference reports/ May 27-30, 2003. c.149
15. Бармак А.В. Информационная компьютерная технология для моделирования и управления манипуляционными и виртуальными системами // Ж.: Проблемы управления и информатики. – 2003. №5. – с.143-154
Бармак О.В. Інформаційна комп’ютерна технологія для моделювання та керування маніпуляцій ними і віртуальними системами. – Рукопис.
Дисертація на здобуття вченого ступеня кандидата технічних наук за спеціальністю 01.05.02 – математичне моделювання та обчислювальні методи.
У дисертації представленні методи, алгоритми та їх програмна реалізація для розв’язку задачі планування рухів маніпуляційної системи з довільною кількістю ланок у просторі з обмеженнями та задачі візуалізації промовляння просторовою моделлю голови людини емоційно забарвленого тексту. Розв’язувати поставлені задачі запропоновано з допомогою нової інформаційної технології – інформаційно-пошукового підходу. Цей підхід включає в себе математичну модель маніпуляційної системи, реляційну базу даних, об’єктно-орієнтований підхід, нейромережні алгоритми, комп’ютерну графіку – апроксимації полігональну та з використанням нерівномірних раціональних базисних сплайнів.
Ключові слова: маніпуляційна система, віртуальна модель голови людини, нейромережні алгоритми, нерівномірний раціональний базисний сплайн.
Barmak O.V. Information computer technology for modeling and control of manipulator and virtual systems. – Manuscript.
The thesis is presented for submitting of scientific degree of the candidate of technical science in speciality 01.05.02 – Mathematical Modeling and Numerical Methods, Kyiv, 2004.
This research work deals with methods, algorithms and their software realization connected with solving movement planning problems of manipulation systems, with the free number of links in space with obstacles; problems of visualization of speaking the emotionally charged text by the human head model. Problem solving is suggested by means of new information technology – information and search approach. This approach included mathematics model of manipulation system, relation database, object-oriented approach, neural networks algorithms, computer graphics – approximations such as polygons and using non-uniform rational basis spline.
Keywords: manipulator systems, virtual human head models, neural network algorithms, non-uniform rational basis spline.
Бармак А.В. Информационная компьютерная технология для моделирования и управления манипуляционными и виртуальными системами. – Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 01.05.02 – математическое моделирование и численные методы.
В диссертации представлены методы, алгоритмы и их программная реализация для решения задачи планирования движений манипуляционной системы с произвольным числом звеньев в пространстве с ограничениями и задачи визуализации озвучивания пространственной моделью головы человека эмоционально окрашенного текста. Решать поставленные задачи предлагается с помощью новой информационной технологии – информационно-поискового подхода. Этот подход включает в себя математическую модель манипуляционной системы, реляционную базу данных, объектно-ориентированный подход, нейросетевые алгоритмы, компьютерную графику – аппроксимации полигональную и с использованием неравномерных рациональных базисных сплайнов.
Первый раздел посвящен обозрению отечественной и зарубежной литературы, методов, алгоритмов и программных реализаций по вопросам связанным с темой диссертационной работы:
1. Рассмотрены и проанализированы основные существующие методы планирования движений манипуляционной системы. Приведено математическое описание кинематических схем манипуляторов, приведена постановка задачи прямого и обратного планирования состояний.
2. Рассмотрена и проанализирована объектно-ориентированная технология, как основной подход при разработке программного обеспечения производственного масштаба.
3. Рассмотрены и проанализированы системы обработки фактической информации – фактографические системы, в которых доминирует реляционная модель.
4. Рассмотрены и проанализированы нейросетевые алгоритмы. Среди них выделена нейросеть Хемминга, которая, как правило, используется для организации ассоциативной памяти.
5. Рассмотрены и проанализированы, в качестве механизма воссоздания сложных поверхностей, неравномерные рациональные базисные сплайны (NURBS). NURBS – является инструментальным средством (промышленным стандартом) для представления и проектирования геометрии.
Во втором разделе, на основе математической модели манипуляционной системы и математического формализма для решения прямой задачи кинематики, построена компьютерная модель. В рамках этой модели предложена новая компьютерная информационная технология – информационно-поисковый подход – для решения обратной задачи кинематики. Этот подход заключается в создании рабочего пространства допустимых состояний манипуляционной системы, как дискретного множества точек, полученных путем решения прямой кинематической задачи на дискретном множестве векторов обобщенных координат. Такие вычисления для конкретной системы выполняются один раз и заносятся в базу данных. Подмножества векторов координат, при значениях которых манипулятор позиционируется в одну и ту же точку пространства, превращаются в искусственные нейросети. Для планирования траекторий предлагается в подмножестве векторов обобщенных координат, с помощью нейросети, найти, по ассоциации, вектор, наиболее подобный к вектору целевого состояния. Таким образом, минимизируются вычислительные затраты, поскольку нейросеть “обучается” всем возможным способам достижения целевого состояния и, и из множества значений, которые один раз рассчитаны и сохраняются в базе данных, выбирает нужный вектор.
Третий раздел посвящен рассмотрению задачи моделирования головы человека по карте высот, при условии будущей визуализации озвучивания фонетически размеченного, эмоционально-окрашенного текста. То есть, рассмотрено задачу в следующей постановке: необходимо создать компьютерную пространственную модель головы человека и алгоритмы, которые реализуют динамическую генерацию визуальных образов человеческого лица при синтезе озвучивания. Необходимо моделировать процесс смены образов лица, который синхронен звукам, сгенерированным речевым синтезатором. Выявленные проблемы представления модели головы с помощью полигонального метода, заставили взять к рассмотрению альтернативу полигональному моделированию – моделирование с помощью неравномерного рационального базисного сплайна (NURBS). При моделировании лица с помощью NURBS-поверхностей, размерность уменьшается на порядок, а деформации поверхности (для анимации) более плавные – подобные к деформациям реальных лиц. Для автоматического построения головы человека на основе базовой NURBS-модели, предлагается развить и использовать метод, предложенный во втором разделе.
Ключевые слова: манипуляционная система, виртуальная модель головы человека, нейросетевые алгоритмы, неравномерный рациональный базисный сплайн.
