ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ
ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ
Сотников Платон Олегович
УДК 621.397.331
ЦИФРОВІ ПОЛІНОМІАЛЬНІ ПЕРЕТВОРЮВАЧІ КООРДИНАТ ТЕЛЕВІЗІЙНИХ ЗОБРАЖЕНЬ
05.13.13 – Обчислювальні машини, системи та мережі
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня
кандидата технічних наук
Харків 2006
Дисертацією є рукопис.
Робота виконана у Харківському національному університеті радіоелектроніки Міністерства освіти і науки України.
Науковий керівник:
доктор технічних наук, професор Руденко Олег Григорійович, Харківський національний університет радіоелектроніки, завідувач кафедри електронних обчислювальних машин.
Офіційні опоненти:
доктор технічних наук, професор Свищ Володимир Митрофанович, Харківський національний університет радіоелектроніки, професор кафедри технології та автоматизації виробництва;
доктор технічних наук, професор Борисенко Олексій Андрійович, Сумський державний університет, завідувач кафедри електроніки і комп’ютерної техніки.
Провідна установа:
Національний аерокосмічний університет ім. М.Є. Жуковського “Харківський авіаційний інститут”, кафедра комп’ютерних систем і мереж, Міністерство освіти і науки України, м. Харків.
Захист відбудеться “ 19 ” квітня 2006 р. о 15.00 годині на засіданні спеціалізованої вченої ради Д .052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.
З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.
Автореферат розісланий “ 17 ” березня 2006 р.
Вчений секретар
спеціалізованої вченої ради С.Ф. Чалий
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. Цифрова обробка телевізійних зображень безупинно набуває все більшої актуальності. Необхідність здійснення різних перетворень телевізійних зображень у реальному часі виникає при створенні систем імітації візуальних обстановок тренажерів транспортних засобів і літальних апаратів, у системах аналізу, класифікації і розпізнавання зображень, у системах машинного зору для нормалізації геометричних характеристик вхідних зображень, у системах захисту відеоінформації, у пристроях телевізійних ефектів і т.д.
Для систем перетворення телевізійних зображень реального часу висувають такі основні вимоги:
? обробка відеоінформації зі швидкістю не менш 30 кадрів у секунду;
? висока якість вихідного зображення, тобто відсутність різних артефактів, у тому числі пов’язаних з попередньою компресією зображення, що оброблюється;
? якомога менший час, потрібний для попередньої підготовки ефекту та настроювання обладнання на виконання потрібного перетворення.
При професійній обробці відеоінформації існують чіткі вимоги щодо якості телевізійного зображення, сформульовані в державних і міжнародних стандартах. Наприклад, відповідно до рекомендації 601 МККР, для телебачення стандартної чіткості масив розкладання телевізійного сигналу складає 720 х точок. Для досягнення реального часу виконання перетворень зображень такої високої чіткості, без утрати якості вихідного зображення, у теперішній час використовуються спеціалізовані відеопроцесори, оскільки обчислювальної потужності універсальних комп'ютерів поки недостатньо для виконання складних математичних перетворень таких великих масивів координат у реальному часі. У зв’язку з цим існує тенденція виносити як можна більше однотипних функцій на апаратну реалізацію.
У світі існує ряд ефірних пристроїв, що дозволяють робити найскладніші перетворення некомпресованого телевізійного зображення та здійснювати нелінійний відеомонтаж у реальному часі (наприклад, Accom Dveous, Pinnacle DVEXtremePlus, Charisma TEN і т.д.). Однак для більшості телекомпаній і відеостудій такі пристрої є недоступними внаслідок їхньої високої вартості. Набагато частіше зустрічаються дешевші пристрої. Однак виробники таких пристроїв, прагнучи здешевити кінцевий продукт, як правило, жертвують або загальним часом виконання перетворення (тривалі попередні обчислення), або якістю результуючого матеріалу (компресія вхідного відеоматеріалу). Серед українських розробок взагалі немає подібних пристроїв, що зумовлює особливу актуальність теми даної роботи для України.
У рамках даної дисертаційної роботи розроблений ряд апаратно-орієнтованих алгоритмів і структур відеопроцесорів, націлених на використання найпростіших технічних засобів для реалізації складних нелінійних і комбінованих аффінних перетворень некомпресованого телевізійного зображення у реальному часі. Це дозволило одержати істотний виграш у швидкодії і вартості в порівнянні з аналогічними за функціональністю закордонними пристроями перетворення телевізійних зображень.
Зв'язок роботи з науковими програмами, планами, темами. Робота виконана в рамках держбюджетних і госпдоговірних тем, що виконувалися в Харківському національному університеті радіоелектроніки. Розроблені і досліджені в дисертації алгоритми використовувалися під час виконання роботи № “Розробка математичних методів, алгоритмів і інструментальних засобів надшвидких перетворень зображень”. Розроблені алгоритми нелінійних перетворень телевізійних зображень і відповідні структури відеопроцесорів також були використані при виконанні робіт № “Дослідження і розробка методів, структурних і архітектурних принципів, апаратних і програмних засобів швидких цифрових перетворень зображень” і № “Розробка і виготовлення системи збору й обробки інформації про стан обертових трубчастих печей виробництва феросплавів”. У зазначених роботах автор брав участь як виконавець.
Мета і задачі дослідження. Метою даного наукового дослідження є підвищення ефективності перетворення координат телевізійних зображень у реальному часі шляхом розробки нових апаратно-орієнтованих поліноміальних методів і відповідних апаратних структур відеопроцесорів.
Основні задачі наукового дослідження:
? дослідження існуючих алгоритмів трансформації телевізійних зображень, аналіз їхніх недоліків і обмежень;
? розробка швидких апаратно-орієнтованих алгоритмів різних геометричних перетворень телевізійних зображень, що задовольняють критеріям точності і швидкодії;
? моделювання на ЕОМ розроблених алгоритмів, дослідження отриманих результатів;
? дослідження питань точності подання вхідних даних і результатів для конкретних прикладних задач;
? розробка структур відеопроцесорів, що реалізують розроблені алгоритми в реальному часі.
Об’єкт дослідження – цифрові перетворювачі координат телевізійних зображень реального часу.
Предмет дослідження – методи, алгоритми і структури відеопроцесорів поліноміальних перетворень телевізійних зображень реального часу.
Методи дослідження. У роботі були використані методи елементарної геометрії, аналітичної геометрії та обчислювальної математики, що дозволили синтезувати алгоритми обчислення складних геометричних функцій. Для оцінки похибки результатів обчислення використовувалися елементи теорії ймовірності. Для перевірки працездатності отриманих алгоритмів, а також для з'ясування характеристик отриманих результатів були використані методи математичного та імітаційного моделювання.
Наукова новизна отриманих результатів. Наукова новизна результатів, отриманих у процесі виконання дисертаційної роботи, полягає в наступному:
? вперше запропоновано метод перетворення координат телевізійних зображень, заснований на використанні “аффінного” поліному і орієнтований на проектування апаратно-програмних засобів систем перетворення зображень, що дозволяє здійснювати нелінійні перетворення телевізійних зображень у реальному часі, без їх компресії і декомпресії;
? набув подальшого розвитку апаратно-орієнтований метод створення телевізійних відеоефектів реального часу, заснований на комбінованих аффінних перетвореннях, що дозволяє шляхом використання декількох “аффінних” відеопроцесорів водночас здійснювати у реальному часі проекції телевізійних зображень на поверхні деяких многогранників;
? вперше запропоновано метод визначення точності подання вхідних даних “аффінного” поліному для відображення графічних даних конкретного перетворення на екрані телевізійного індикатора із заданою точністю, що дає можливість визначити мінімальну розрядність обчислювача;
? вперше запропоновано модель нелінійних перетворень телевізійних зображень, засновану на розроблених апаратно-орієнтованих поліноміальних методах, що дає можливість моделювати різні режими роботи відеопроцесора.
Практичне значення отриманих результатів. Результати теоретичних досліджень реалізовані новими апаратно-орієнтованими алгоритмами і структурами відеопроцесорів, що забезпечують здійснення нелінійних і комбінованих аффінних перетворень телевізійних зображень у реальному часі. Отримані результати дозволяють значно поширити перелік напрямків застосування пристроїв, заснованих на існуючих “аффінних” відеопроцесорах, забезпечуючи при цьому необхідну швидкість перетворень та якість одержуваних зображень.
Розроблені і досліджені в дисертації моделі, алгоритми і структури були використані у генераторі логотипів і титрів, що використовується для супроводження телевізійних програм на Харківській обласній державній телерадіокомпанії (акт про впровадження від 16.11.2005), а також в інфрачервоній телевізійній системі вимірювання температурних полів обертових трубчастих печей Побузького феронікелевого комбінату, смт Побузьке, Голованівський р-н, Кіровоградська обл. (акт про впровадження від 14.07.2005).
Основні положення, висновки і рекомендації, викладені в дисертаційній роботі, були використані при підготовці курсів “Моделювання систем” і “Цифрова обробка інформації” на кафедрі ЕОМ Харківського національного університету радіоелектроніки (акт про впровадження від 16.11.2005).
Особистий внесок здобувача. Основні результати отримані особисто автором. У роботах, виконаних у співавторстві, особистий внесок здобувача полягає у тому, що: у роботі [3] запропоновано метод та алгоритм перетворення координат телевізійних зображень, заснований на використанні “аффінного” поліному, що дозволяє здійснювати перспективні трансформації телевізійних зображень; у роботах [4, 8] запропоновано метод та алгоритм створення проекцій телевізійних зображень на поверхні деяких многогранників у реальному часі; у роботах [2, 9] автором розроблено програмне забезпечення управління пристроєм відеоефектів; у роботі [5] запропоновано модель нелінійних перетворень телевізійних зображень, засновану на розроблених апаратно-орієнтованих поліноміальних методах; у роботі [1] запропоновано метод визначення точності подання вхідних даних “аффінного” поліному; у роботах [7, 11] розроблені алгоритми проектування телевізійних зображень на деякі поверхні 2-го порядку.
Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на 1-му та 2-му Міжнародному радіоелектронному форумі “Прикладна радіоелектроніка. Стан та перспективи розвитку” МРФ-2002, МРФ-2005 (ХНУРЕ, м. Харків, 2002 р., 2005 р.), 10-й Міжнародній науковій конференції “Теорія і техніка передачі, прийому й обробки інформації” (ХНУРЕ, м. Харків, 2004 р.), на Міжнародній науково-технічній конференції “Технічні та економічні перспективи розвитку автотранспортного комплексу і дорожнього будівництва” (ХНАДУ, м. Харків, 2005 р.), на 6-й Міжнародній науково-практичній конференції “Сучасні інформаційні та електронні технології” (ОНПУ, м. Одеса, 2005 р.), на Науково-практичній конференції “Інформаційні технології – в науку і освіту” (ХНУРЕ, м. Харків, 2005 р.), на 7-й науково-практичній міжнародній конференції “Інформаційні технології в освіті і управлінні” (НКПІ, м. Нова Каховка, 2005 р.) і на 12-й Міжнародній конференції з автоматичного управління “Автоматика-2005” (НТУ “ХПІ”, м. Харків, 2005 р.). Розроблені в дисертації алгоритми і структури реалізовані у пристрої перетворення телевізійних зображень, який був представлений на обласній виставці “Освіта, наука, виробництво Харківщини 2003” (м. Харків, 2003 р.), а також на 10-й Київській міжнародній телерадіоярмарці (м. Київ, 2004 р.).
Публікації. За результатами виконаних досліджень опубліковано 11 друкованих праць, у тому числі 5 статей, 5 матеріалів конференцій різного рівня, 1 тези доповіді. З них 4 роботи опубліковано у виданнях, затверджених ВАК України.
Структура та обсяг дисертації. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел, що містить 95 найменувань на 10 сторінках, 31 рисунка та додатків на 5 сторінках. Загальний обсяг роботи – 127 сторінок, з них 122 сторінки основного тексту.
1
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі обґрунтовується актуальність теми досліджень, наводяться мета, наукова новизна та практичне значення роботи.
У першому розділі розглянуті сфери застосування пристроїв перетворення зображень, визначені рамки застосування розроблених у роботі методів, алгоритмів і структур пристроїв перетворення зображень, відзначені пріоритетні напрямки впровадження результатів роботи.
Дано визначення пристроїв відеоефектів, зазначені основні напрямки їх розвитку, зроблений огляд існуючих закордонних пристроїв відеоефектів. Відзначені деякі принципи роботи подібних пристроїв відеоефектів, наведений стислий опис окремих компонентів, що входять до їх складу.
Сформульовано визначення для самих відеоефектів. У результаті аналізу ефектів, які використовуються у даний час, були виділені дві великі групи відеоефектів: ефекти мікшування та ефекти перетворення. Перераховано основні можливості, які надають сучасні пристрої відеоефектів для створення ефектів обох груп. Наведено окремі методи створення відеоефектів як на програмно-апаратному рівні, так і на рівні кінцевого дизайну ефекту.
Зроблено аналіз методів і алгоритмів трансформації телевізійних зображень, які використовуються у відеоефектах перетворення. До них належать базові тривимірні перетворення, що включають перетворення зрушення, масштабування і повороту. Далі йдуть аффінні перетворення – група перетворень, що, зберігаючи прямі лінії і паралельність, змінюють довжини відрізків, величини кутів і площі фігур. Аффінні перетворення описуються лінійними співвідношеннями вигляду:
(1)
Виділяють наступні аффінні перетворення і відображення площини: коса симетрія, стиск, косий стиск, гіперболічний і еліптичний повороти, зрушення. Дуже важливим видом аффінних відображень є рівнобіжне проектування, окремим випадком якого є ортогональне проектування.
Наступним видом перетворень є центральні (перспективні) проекції. При центральній проекції відстань від центру проекції до площини проектування є скінченною, тому проектори являють собою пучок променів, що виходять з центру проекції. Зображення на площині проекції мають так звані перспективні перекручування, коли розмір видимого зображення залежить від взаємного розташування центру проекції, об'єкта і площини проекції. Через перспективні перекручування зображення, отримані центральною проекцією, виходять більш реалістичними, ніж при ортогональній проекції. Розрізняються одно-, дво- і триточкові центральні проекції в залежності від того, по скількох осях виконується перспективне перекручування. На рис. 1 зображений простий випадок одноточкової проекції:
Рис. 1. Центральна проекція точки на площину
З рисунку видно, що між координатами точки об’єкта і точки екрану виконуються наступні співвідношення:
(2)
У кінці розділу перераховано основні труднощі, що виникають при розробці пристроїв перетворення зображень реального часу, а також наведені деякі з відомих методів вирішення зазначених проблем. Сформульовано задачу дослідження.
У другому розділі розглядається апаратно-орієнтований метод створення телевізійних відеоефектів реального часу, що дозволяє здійснювати комбіновані аффінні перетворення телевізійних зображень.
Усі запропоновані в роботі методи і алгоритми засновані на аффінних перетвореннях зображень вигляду (1). Як видно, ці співвідношення являють собою двовимірні аффінні перетворення. Однак, в деяких працях були запропоновані алгоритми, що дозволяють за допомогою двовимірних аффінних перетворень отримати імітацію видових перетворень площини телевізійного зображення у просторі (масштабування, зрушення і поворот зображення для усіх трьох координат).
Запропонований метод безпосередньо реалізується існуючими аффінними відеопроцесорами. Однак, дозволяє комбінувати зображення, отримані від декількох аффінних відеопроцесорів, дозволяючи в такий спосіб істотно розширити набір доступних ефектів.
У даному розділі наводиться алгоритм відеоефекту, суть якого полягає в проектуванні телевізійного зображення на грані куба, що обертається. Для створення проекцій на кожну грань окремо використовуються звичайні аффінні перетворення. Однак, при об'єднанні отриманих зображень виходить зовсім інший ефект (рис. 2).
Задача зводиться до обчислення аффінних коефіцієнтів для кожної грані куба при певному положенні куба у просторі. Крім того, виникає задача визначення 3-х видимих граней куба із 6-ти. Для цього необхідно враховувати глибину розташування ( координату) точок зображення. Необхідно також для кожної видимої грані куба правильно визначити її зсув відносно центру повороту куба, так щоб не було розривів на ребрах куба.
Уведемо наступні позначення:
– координати точки екрану;
– координати точки зображення;
– зсуви зображення відносно екрану відповідно по осям та ;
– координати центру повороту зображення;
– кути повороту зображення відповідно навколо осей .
Для розрахунку проекцій була прийнята певна послідовність повороту куба відносно осей координат: навколо осі , навколо осі , навколо осі . Проаналізувавши задачу, можна помітити, що в такому випадку для розрахунку проекцій чотирьох граней, які паралельні осі куба, можуть бути використані однакові вирази:
(3)
Різне початкове положення цих граней у просторі враховується шляхом завдання їх початкових кутів повороту навколо осі .
Для граней, які перпендикулярні осі куба, змінена послідовність повороту, і розрахунок їх проекцій виконується у відповідності з наступними співвідношеннями:
(4)
Аффінні коефіцієнти легко можна знайти, порівнявши вирази (3), (4) з аффінними перетвореннями (1).
На рис. 2 наведений результат роботи запропонованого алгоритму. Зображення отримане за допомогою спеціально розробленої моделюючої програми.
Рис. 2. Проекція зображення на поверхню куба
Третій розділ присвячений розробці апаратно-орієнтованого метода перетворення координат телевізійних зображень, що дозволяє здійснювати нелінійні перетворення телевізійних зображень у реальному часі.
Спочатку пропонується алгоритм, що реалізує перспективні перетворення телевізійних зображень. Алгоритм імітує видові перетворення площини телевізійного зображення в просторі з урахуванням перспективних перекручувань трансформованого зображення.
В аналітичній геометрії припустиме центральне проектування простору на будь-яку площину прямими, що проходять через довільно задану точку , що не лежить у заданій площині. Таке перетворення описується виразами вигляду:
(5)
Це перетворення належить до числа проективних перетворень. Як видно, для обчислення координати кожної точки зображення необхідно виконати 5 операцій множення і 1 розподілу, що потребує значних часових витрат.
Однак, у нашому випадку виникають природні обмеження, оскільки мова йде про телевізійне зображення, яке сприймається людиною завжди в одній проекції. Очевидно, центром проекції буде око спостерігача, а площиною, на яку здійснюється проекція – телевізійний екран. Логічним буде також зафіксувати центр проекції на прямій, що проходить через центр екрану, перпендикулярно його площині, оскільки зображення, що формується, не залежить від положення ока спостерігача.
Враховуючи введені обмеження, у відповідності із запропонованим методом розрахунок перспективної проекції телевізійного зображення зводиться до обчислення виразів вигляду:
(6)
Отримані поліноми, в свою чергу, можна подати у такому вигляді:
(7)
Очевидно, що як самі ці перетворення в цілому, так і коефіцієнти при і окремо являють собою аффінні перетворення, що дозволяє організувати обчислення отриманих виразів з використанням існуючих аффінних відеопроцесорів.
Вирази для розрахунку коефіцієнтів , і , необхідних для обчислення виразів (7), виходять шляхом порівняння співвідношень (6) і (7).
Ефективність запропонованого алгоритму перевірялася шляхом комп’ютерного моделювання за допомогою розробленої програми. За результатами моделювання очевидна перевага розробленого алгоритму, побудованого на основі аффінних перетворень з урахуванням перспективних перекручувань зображень.
Розглянутий алгоритм дозволяє створювати лише ефекти, у яких плоске телевізійне зображення в результаті перетворення все одно залишається плоским. Це обмеження також стосується й алгоритму, що реалізує проекції телевізійних зображень на грані куба.
Однак, при створенні імітаторів візуальних обстановок тренажерів наземних транспортних засобів і літальних апаратів часто виникає необхідність синтезу проекцій телевізійних зображень більш складної форми. Це пов'язано, у першу чергу, з тим, що в реальній обстановці набагато частіше зустрічаються складні рельєфи, ніж плоскі ландшафти. Для синтезу таких рельєфів на основі плоского зображення виникає необхідність в одержанні проекцій телевізійних зображень на різні поверхні. Далі в роботі наводиться ряд алгоритмів, що дозволяють здійснювати проекції телевізійних зображень на деякі поверхні 2-го порядку.
Для обчислення проекції зображення на поверхню циліндра були отримані вирази вигляду:
(8)
Видно, що всі терми цих виразів є членами поліномів (6). Таким чином, для отримання потрібної проекції можуть бути використані співвідношення (7), що були використані також для одержання перспективних проекцій телевізійних зображень. Звісно, коефіцієнти , і будуть мати вже зовсім інший вигляд, деякі з них дорівнюватимуть 0. І хоча вирази (7) складніші, ніж співвідношення (8), саме їх використання спрощує апаратну реалізацію пристрою і робить його більш універсальним.
Коректність розрахунку коефіцієнтів , і для обчислення проекції зображення на поверхню циліндра була перевірена за допомогою моделюючої програми.
Наступний алгоритм розроблений для створення ефекту “натягування” телевізійного зображення на поверхню кулі. Для одержання цього ефекту спочатку потрібно “нанести” телевізійне зображення на поверхню кулі, а потім здійснити проекцію отриманого тривимірного зображення на площину екрану.
Одним з основних застосувань проекції зображення на кулю є геодезія. Для одержання таких проекцій існує безліч методів. Однак, усі вони потребують обчислення виразів, складних для апаратурної реалізації. Наприклад, є метод, який дозволяє отримати стереографічну проекцію за наступною схемою:
Рис. 3. Схема стереографічної проекції
Для обчислення координат екрану за наведеною вище схемою використовуються наступні співвідношення:
(9)
Метою запропонованого в роботі алгоритму є реалізація аналогічних перетворень найпростішими засобами. У ході досліджень здійснення згаданих перетворень було зведено до обчислення таких поліномів:
(10)
Поліноми (10) можуть бути подані в наступній формі:
(11)
Вигляд співвідношень (11) явно вказує на можливість реалізації обчислення цих виразів шляхом використання аффінних відеопроцесорів.
Результат роботи цього алгоритму, отриманий за допомогою моделюючої програми, зображений на рис. 4.
Рис. 4. Проекція зображення на сферу
Останній алгоритм, що стосується нелінійних проекцій телевізійних зображень на поверхні 2-го порядку, здійснює проекцію зображення на поверхню конуса. Цей алгоритм також заснований на аффінних перетвореннях і потребує для своєї реалізації обчислення наступних співвідношень:
(12)
В усіх перетвореннях, описаних вище, основні формули для розрахунку координат зводилися до вигляду, що являє собою певний поліном. Причому кожен такий поліном може бути зведений до форми, що є комбінацією аффінних перетворень вигляду (1). Будемо називати такі поліноми “аффінними”. Таким чином, “аффінним” поліномом є, наприклад, згаданий вище поліном вигляду
(13)
який, у свою чергу, може бути поданий у “аффінній” формі:
(14)
Дослідження показали, що за допомогою “аффінних” поліномів різних ступенів можна отримувати ще безліч криволінійних перетворень зображень, окрім наведених в даній роботі. Використання “аффінних” поліномів вищих ступенів також дає можливість отримувати більш точні апроксимації функцій, що застосовуються для аналітичного описання відповідних перетворень, але потребує суттєвих додаткових апаратурних витрат.
Рис. 5. Загальна структура пристрою відеоефектів
Маючи на увазі те, що всі розроблені алгоритми є апаратно-орієнтованими, особливо актуальними є питання точності, необхідної для подання координат, а також коефіцієнтів “аффінних” поліномів при їхній апаратній реалізації. Тому у даному розділі проведений аналіз методів розрахунку похибок і запропонований метод розрахунку точності подання даних для алгоритму, що реалізує проекцію телевізійного зображення на поверхню кулі.
У четвертому розділі розглядається система оформлення ефіру реального часу, у тому числі блок відеоефектів, у складі якого використовуються розроблені відеопроцесори. Виконаний огляд основних функцій пристроїв відеоефектів, сформульовані основні вимоги щодо подібних пристроїв, позначене місце відеопроцесорів у пристроях телевізійних відеоефектів.
На рис. 5 наведена загальна структура пристрою відеоефектів. На вхід пристрою відеоефектів аналогові сигнали надходять у форматі Betacam (сигнал яскравості Y, і два коліроворізнецевих сигнали PR, PB). Комутація вхідних сигналів на вхідні пристрої (ВП) здійснюється аналоговим комутатором (АК). З виходів АК сигнали надходять на декодувальні матриці YPRPB-RGB, яка перетворює сигнали в систему кодування, що використовується усередині пристрою відеоефектів. ВП ідентичні й виконують аналого-цифрове перетворення відеосигналів, запис відліків в ОЗП, вибірку з ОЗП раніше записаної інформації і підключення цього ВП до шин даних. На виході одного каналу АЦП сигнал поданий 8-ми бітним кодом. Відліки, що надходять від блоку АЦП, записуються в ОЗП за адресами, що генеруються формувачем адреси запису (ФАЗ). Читання ОЗП може здійснюватися від зовнішнього стосовно ВП аффінного процесора, а також від внутрішнього лінійного геометричного процесора (ЛГП). ЛГП дозволяє переміщати зображення по екрану, здійснювати його поворот на 90, 180, 270 градусів, дзеркальне відображення та ін.
На рис. 6 наведена структурна схема аффінного відеопроцесора, що здійснює обчислення виразів (1) для координати .
Рис. 6. Структурна схема аффінного відеопроцесора
Для зручності апаратної реалізації аффінних перетворень вирази (1) були подані у наступному вигляді:
(15)
де (16)
Оскільки в співвідношеннях (16) присутня лише координата , то при перетворенні координат усього зображення відповідно до виразів (15) коефіцієнти , будуть змінюватися тільки на початку кожного рядка зображення. Таким чином видається доцільним виконувати обчислення виразів (16) на початку кожного рядка, у період строкового імпульсу, що гасить, а для обчислення координат кожної точки зображення використовувати вирази (15).
Звернемо увагу на те, що, оскільки значення координат та вихідного зображення змінюються лінійно, то для обчислення виразів , , , можна використовувати найпростіші накопичувальні суматори.
У роботі було показано, що усі алгоритми, розроблені для здійснення нелінійних перетворень телевізійних зображень, засновані на аффінних перетвореннях та являють собою комбінацію перетворень (1). Таким чином, схеми для обчислення запропонованих в роботі поліномів можуть бути отримані шляхом певного об’єднання аффінних відеопроцесорів, структура яких наведена на рис. 6. Наприклад, структура пристрою, що здійснює проекцію телевізійного зображення на поверхню кулі, тобто реалізує обчислення співвідношень (11), наведена на рис. 7.
У даному розділі також розглянуто програмне забезпечення комплексу, що містить у собі інтерфейс користувача, керуючу програму, модуль уводу/виводу, а також драйвер пристрою. Наведено короткий опис архітектури драйверів Windows і відзначені особливості реалізації драйвера пристрою відеоефектів.
У висновках викладені найважливіші наукові та практичні результати, одержані в дисертації.
У додатках наведено допоміжні матеріали, деякі ілюстрації та документи щодо впровадження.
ВИСНОВКИ
У ході вирішення наукової задачі реалізації комбінованих аффінних і різних нелінійних трансформацій телевізійних зображень у реальному часі, без їх компресії і декомпресії, були розроблені апаратно-орієнтовані методи і відповідні структури відеопроцесорів. Отримані результати мають важливе наукове і практичне значення як для вдосконалення існуючих, так і для створення нових систем перетворення телевізійних зображень реального часу. Проведені дослідження дозволяють зробити такі висновки:
1. У результаті аналізу математичних методів і алгоритмів геометричних перетворень зображень, а також основних вимог щодо систем перетворення телевізійних зображень реального часу, визначено основні труднощі розробки подібних пристроїв, зроблений обґрунтований вибір напрямку дослідження.
Рис. 7. Структурна схема сферичного аффінного відеопроцесора
2. Одержав подальшого розвитку апаратно-орієнтований метод створення телевізійних відеоефектів реального часу, заснований на аффінних перетвореннях. Були розроблені алгоритми, що дозволяють шляхом використання декількох аффінних відеопроцесорів водночас створювати проекції телевізійних зображень на поверхні деяких многогранників. У роботі наведений метод, що дозволяє здійснювати проекції одного чи декількох телевізійних зображень на грані куба, що обертається, у реальному часі.
3. Вперше запропоновано метод перетворення координат телевізійних зображень, орієнтований на проектування апаратно-програмних засобів систем перетворення зображень, що дозволяє здійснювати нелінійні перетворення телевізійних зображень у реальному часі, без їх компресії і декомпресії. Запропонований метод заснований на поданні аналітичних виразів, які описують відповідні нелінійні перетворення, у вигляді “аффінних” поліномів. Обґрунтовано доцільність реалізації нелінійних перетворень обраними методами. Для окремих перетворень наведені альтернативні методи реалізації і показані переваги розроблених алгоритмів. Здійснення нелінійних перетворень телевізійних зображень шляхом обчислення відповідних “аффінних” поліномів істотно спрощує апаратну реалізацію пристроїв перетворення зображень.
4. Вперше запропоновано модель нелінійних перетворень телевізійних зображень, що дозволяє здійснювати моделювання різних нелінійних перетворень зображень методом, заснованим на використанні “аффінного” поліному. Створена програмна модель відрізняється високою швидкістю обчислення відповідних співвідношень, що вказує на доцільність використання розроблених алгоритмів також в програмних системах перетворення зображень.
5. Розроблено структуру “аффінного” відеопроцесора, відеопроцесорів, що реалізують проекцію телевізійного зображення на поверхню циліндра, перспективні перетворення телевізійного зображення, а також відеопроцесорів, що здійснюють проекції телевізійного зображення на поверхні кулі і конуса. Усі наведені в роботі структури здійснюють реалізацію відповідних “аффінних” поліномів. Запропоновані структури засновано на структурі “аффінного” відеопроцесора, який здійснює обчислення аффінних перетворень.
6. Позначено джерела похибок розроблених алгоритмів. Зроблено обґрунтований вибір оптимального методу розрахунку похибки. Запропоновано метод визначення точності подання вхідних даних “аффінного” поліному для відображання графічних даних конкретного перетворення на екрані телевізійного індикатора із заданою точністю. Аналіз точності вхідних даних дає можливість визначити мінімальну розрядність обчислювача, необхідну для одержання потрібної точності відображення графічних даних.
7. Практичне значення роботи підтверджується впровадженням результатів дисертаційної роботи у Харківській обласній державній телерадіокомпанії, м. Харків (акт про впровадження від 16.11.2005), на Побузькому феронікелевому комбінаті, смт Побузьке, Голованівський р-н, Кіровоградська обл. (акт про впровадження від 14.07.2005), а також у навчальному процесі на кафедрі ЕОМ ХНУРЕ, м. Харків (акт про впровадження від 16.11.2005).
СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
1. Руденко О.Г., Сотников П.О. Аппаратно-программные алгоритмы синтеза проекций ТВ-изображений на некоторые поверхности 2-го порядка // Вестник Херсонского национального технического университета. – 2005. – №1(21). – С. 276-279.
2. Сотников П.О., Удовенко С.Г. Аппаратно-программный видеомонтажный комплекс // Контрольно-измерительные приборы и автоматика. – 2005. – №1. – С. 4-8.
3. Руденко О.Г., Сотников П.О. Об одном алгоритме синтеза перспективных трансформаций телевизионных изображений на основе аффинных преобразований // Бионика интеллекта. – 2004. – №1(61). – С. 46-48.
4. Руденко О.Г., Сотников П.О. Аффинные видеопроцессоры в современных устройствах видеоэффектов // Адаптивні системи автоматичного управління. Міжвідомчий науково-технічний збірник. – Дніпропетровськ: Системні технології, 2004. – №7(27). – С. 89-96.
5. Руденко О.Г., Сотников П.О. Подсистема отображения видеоинформации в системах имитации визуальных обстановок тренажеров транспортных средств // Автомобильный транспорт: Сб. научн. трудов. – Выпуск 16. – Харьков: ХНАДУ, 2005. – С. 330-332.
6. Сотников П.О. Программно-аппаратный комплекс для создания титров на базе устройства видеоэффектов МТВК-3 // 1-й Междунар. радиоэлектронный форум “Прикладная радиоэлектроника. Состояние и перспективы развития” МРФ-2002: Сб. научн. трудов. – Харьков: ХНУРЭ, 2002. – С. 284-285.
7. Бобух В.А., Руденко О.Г., Сотников П.О. Полиномиальные методы проекции плоских изображений на некоторые поверхности 2-го порядка // 10-я Юбилейная междунар. научн. конф. “Теория и техника передачи, приема и обработки информации”: Сб. тез. докл. – Харьков: ХНУРЭ, 2004. – С. 305-306.
8. Руденко О.Г., Сотников П.О. Синтез проекций телевизионных изображений на поверхности некоторых многогранников // 6-я Междунар. научно-практическая конф. “Современные информационные и электронные технологии”: Сб. научн. трудов. – Одесса: Издательство “Негоциант”, 2005. – С. 150.
9. Руденко О.Г., Сотников П.О., Сотников О.М. Информационные технологии в телевизионных устройствах оформления эфира реального времени // Научно-практическая конф. “Информационные технологии – в науку и образование”: Материалы конференции. – Харьков: ХНУРЭ, 2005. – С. 35-37.
10. Сотников П.О. Аппаратно-программный метод синтеза нелинейных проекций телевизионных изображений // 12-я Междунар. конф. по автоматическому управлению “Автоматика-2005”: Материалы конференции. – Харьков: НТУ “ХПИ”, 2005. – С. 18-19.
11. Руденко О.Г., Сотников П.О. Синтез нелинейных проекций телевизионных изображений на основе аффинных преобразований // 2-й Междунар. радиоэлектронный форум “Прикладная радиоэлектроника. Состояние и перспективы развития” МРФ-2005: Сб. научн. трудов. – Харьков: ХНУРЭ, 2005. – С. 244-247.
АНОТАЦІЯ
Сотников Платон Олегович. Цифрові поліноміальні перетворювачі координат телевізійних зображень. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.13 – обчислювальні машини, системи та мережі. – Харківський національний університет радіоелектроніки, Харків, 2005.
Дисертація присвячена питанням розробки відеопроцесорів, що здійснюють геометричні перетворення телевізійних зображень у реальному часі. У роботі запропоновані методи та апаратно-орієнтовані алгоритми, що дозволяють виконувати перспективні трансформації зображень, одержувати проекції зображень на різні поверхні 2-го порядку (поверхня циліндра, кулі, конуса). Також розроблені методи, що дозволяють реалізувати проекції зображень на поверхні деяких многогранників, зокрема, на поверхню куба, що обертається. Викладені в роботі методи засновані на аффінних перетвореннях. Для реалізації більшості трансформацій було запропоновано спеціальні поліноми, які в результаті розкладання являють собою комбінацію аффінних перетворень. Такі поліноми було названо “аффінними”. Для моделювання розроблених алгоритмів було створено програмну модель. Усі запропоновані в роботі алгоритми реалізовані відповідними апаратними структурами. Результати досліджень були використані у генераторі логотипів і титрів та в інфрачервоній телевізійній системі вимірювання температурних полів трубчастих печей, що обертаються.
Ключові слова: апаратно-орієнтований, система перетворення зображень, відеопроцесор, реальний час, нелінійна проекція, аффінне перетворення, перспективне перетворення.
АННОТАЦИЯ
Сотников Платон Олегович. Цифровые полиномиальные преобразователи координат телевизионных изображений. – Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.13 – вычислительные машины, системы и сети. – Харьковский национальный университет радиоэлектроники, Харьков, 2005.
Диссертация посвящена вопросам разработки видеопроцессоров, осуществляющих геометрические преобразования телевизионных изображений. В работе предлагается ряд методов, аппаратно-ориентированных алгоритм и структур видеопроцессоров, позволяющих выполнять различные нелинейные и комбинированные аффинные преобразования телевизионных изображений в реальном времени. В ходе работы исследованы существующие в настоящее время устройства преобразования изображений, определены их основные возможности и недостатки. Главной особенностью данной работы является то, что все преобразования выполняются без компрессии и декомпрессии обрабатываемого изображения. При этом максимальная размерность обрабатываемого массива координат может в несколько раз превышать требования, соответствующие стандарту телевидения высокой четкости. Кроме того, отсутствует необходимость выполнения каких-либо предварительных вычислений. Все преобразования производятся в реальном времени по точным аналитическим зависимостям. Работу отличает также то, что предложенные алгоритмы реализованы простейшими аппаратными структурами, что позволяет существенно снизить стоимость конечного продукта по сравнению с аналогами.
В работе проанализированы основные математические методы и алгоритмы, используемые при выполнении геометрических преобразований изображений. Детально рассмотрен математический аппарат, обеспечивающий реализацию аффинных и перспективных преобразований телевизионных изображений.
Предложены аппаратно-ориентированные алгоритмы, позволяющие получать в реальном времени проекции одного или нескольких телевизионных изображений на поверхности некоторых многогранников. В частности, рассмотрен алгоритм, реализующий проекцию телевизионного изображения на поверхность вращающегося куба.
Разработаны методы и алгоритмы, ориентированные на проектирование аппаратно-программных средств, осуществляющих нелинейные преобразования телевизионных изображений в реальном времени. Разработаны алгоритмы, реализующие проекции телевизионных изображений на поверхность цилиндра, перспективные преобразования телевизионных изображений, а также алгоритмы, осуществляющие проекции телевизионных изображений на поверхность шара и конуса. Предложенные методы основаны на вычислении определенного вида “аффинных” полиномов. Общий вид “аффинного” полинома представляет собой аффинное преобразование. Каждый его коэффициент может быть либо очередным полиномом, также представляющим собой аффинное преобразование, либо константой.
В работе предложена программная модель аффинного видеопроцессора, позволяющая выполнять графическое моделирование различных нелинейных преобразований изображений с использованием “аффинного” полинома.
Все предложенные методы и алгоритмы реализованы аппаратными структурами, выполняющими вычисления соответствующих “аффинных” полиномов. Разработанные структуры основаны на структуре аффинного видеопроцессора, который осуществляет вычисления аффинных преобразований.
В целях оптимизации аппаратных структур были разработаны методы, позволяющие определить минимальную разрядность вычислителя, необходимую для получения требуемой точности отображения графических данных. Для этого были обозначены источники погрешностей предложенных алгоритмов и разработаны методы расчета точности представления коэффициентов “аффинного” полинома для заданной точности отображения графических данных.
Результаты исследований были использованы в генераторе логотипов и титров и в инфракрасной телевизионной системе измерения температурных полей вращающихся трубчатых печей.
Ключевые слова: аппаратно-ориентированный, система преобразования изображений, видеопроцессор, реальное время, нелинейная проекция, аффинное преобразование, перспективное преобразование.
ABSTRACT
Sotnikov Platon Olegovich. Digital polynomial transformers of television image coordinates. – Manuscript.
Thesis for a candidate degree of technical sciences on specialty 05.13.13 – computers, systems and networks. – Kharkov national university of radioelectronics, Kharkov, 2005.
The thesis is devoted to questions of development of the video processors which execute geometrical transformations of television images in real time. Methods and hardware-focused algorithms, allowing to execute perspective transformations of images and to get projections of images to various 2-nd order surfaces (surfaces of cylinder, sphere and a cone) were proposed in this work. Also the methods allowing to realize projections of images to surfaces of some polyhedrons have been developed. The methods stated in this work are based on affine transformations. For realization of the majority of transformations were proposed special polynomials, which as a result of decomposition represent a combination of affine transformations. All suggested in work algorithms are realized by corresponding hardware structures. Results of researches have been used in the generator of logotypes and captions and in infra-red television system of measurement of temperature fields of rotating tubular furnaces.
Key words: hardware-focused, image transformation system, video processor, real time, nonlinear projection, affine transformation, perspective transformation.
Підп. до друку 16.03.06
Умов. друк. арк. 1,2
Зам. № |
Формат 60х84 1/16
Ціна договірна. | Спосіб друку – ризографія
Тираж 100 прим.
ХНУРЕ, 61166, Харків, просп. Леніна, 14.
Віддруковано в навчально-науковому
видавничо-поліграфічному центрі ХНУРЕ
Харків, просп. Леніна, 14.
