Національний університет „Львівська політехніка”

КІРЕНКО ІГОР ОЛЕГОВИЧ

УДК 681.325+621.317

МЕТОДИ ТА ЗАСОБИ КОМПРЕСІЇ ІНФОРМАТИВНИХ

СИГНАЛІВ СИСТЕМ КЕРУВАННЯ

05.13.05 – елементи та пристрої обчислювальної техніки та систем керування

Автореферат дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів – 

Дисертацією є рукопис

Робота виконана у Національному університеті „Львівська політехніка”

Міністерства освіти і науки України

Науковий керівник  доктор технічних наук, професор,

Наконечний Адріан Йосифович,

Національний університет „Львівська політехніка”

завідувач кафедри „Комп’ютеризовані системи автоматики”

Офіційні опоненти  доктор технічних наук, професор

Хома Володимир Васильович,

Національний університет „Львівська політехніка”

професор кафедри „Захист інформації”

кандидат технічних наук, старший науковий співробітник

Гнатів Лев Олексійович,

Інститут кібернетики ім. В.М. Глушкова НАН України, старший науковий співробітник відділу оптимізації чисельних методів м. Київ

Провідна установа  Національний технічний університет України „Київський політехнічний інститут”, кафедра автоматики та управління в технічних системах МОН України, м. Київ

Захист дисертації відбудеться „ 22” червня 2007 р. о 14 годині на засіданні спеціалізованої вченої ради Д 35.052.08 у Національному університеті „Львівська політехніка” (79013, Львів-13, вул.С.Бандери,12, ауд. 226 головного корпусу).

З дисертацією можна ознайомитися у бібліотеці Національного університету „Львівська політехніка” за адресою: 79013, Львів, вул.Професорська,1

Автореферат розісланий „_17 ” _травня _ 2007 р.

Вчений секретар спеціалізованої

вченої ради, д.т.н., проф. Луцик Я.Т.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Характеристики цілого ряду сучасних систем керування, до яких в першу чергу можна віднести аерокосмічні комплекси і навігаційні системи, суттєво залежать від методів перетворення, оброблення, стискання і передавання в них інформативних сигналів. Крім того використання існуючих методів подання сигналів у таких системах стримується складністю математичних моделей та алгоритмами їх реалізації, зменшенням рівня чутливості інформативних параметрів, швидкодії та високою вартістю розробок. Радикальним шляхом підвищення ефективності таких систем є розроблення нових методів подання, які б повніше інтерпретували вхідні сигнали і базувалися на одночасній локалізації сигналів в різних областях.

Інформація про керовані об’єкти в системах керування переважно поступає у вигляді одно-, дво- та тривимірних компресованих сигналів (в тому числі сигналів зображень або відеосигналів), які вимагають високої візуальної якості. Остання здебільшого втрачається через незадовільні умови компресії – декомпресії сигналів. Недосконалість пристроїв стискання і передачі таких сигналів приводить до появи різного роду завад і спотворень, що зумовлює прийняття невідповідних рішень при аналізі сигналів. Незважаючи на певні успіхи у створенні таких пристроїв, існує багато невирішених проблем, серед яких досягнення високого ступеня компресії дво-, та тривимірних сигналів при одночасному забезпеченні високої якості та завадостійкості їх відтворення.

Розвинуті у даній роботі нові підходи до створення методів та засобів оброблення та компресії дво- та тривимірних сигналів базуються на доробку багатьох світових учених. Серед них: А.Гросман, І.Добеші, В.Кінзнер, С.Маллат, Й.Мейєр, Д.Морлет, Ч.Чуі, Д.Шапіро та ін. Вагомий внесок у розвиток теоретичних і прикладних основ даного напрямку внесли також праці вітчизняних авторів: В.О.Гераніна, В.К.Задіраки, А.А.Зеленського, В.В.Лукіна, М.В.Мисловича, Л.Д.Писаренка, Б.П.Русина, Я.Я.Рушицького, В.Г.Шульги.

Суттєвим недоліком відомих методів стискання інформації є локалізація одно-, та багатовимірних сигналів лише в одній із областей, що приводить з однієї сторони до їх надлишковості, а з іншої сторони до втрат інформативних даних про сигнал. Такий підхід ускладнює моделі та структури реалізації алгоритмів компресії сигналів.

Таким чином, актуальною є наукова проблема, яка полягає в необхідності розроблення нових підходів до подання сигналів і створення на їх основі ефективних моделей, алгоритмів та пристроїв компресії сигналів сучасних систем керування.

Зв’язок роботи з науковими програмами, планами, темами. Основний зміст дисертаційної роботи складають результати теоретичних та практичних розробок, проведених автором при виконанні робіт в рамках напрямку наукових досліджень “Створення технічних засобів математичного та метрологічного забезпечення для систем автоматики, зв’язку і передачі інформації, вимірювальної та обчислювальної техніки”, що виконувалися на кафедрі “Автоматика і телемеханіка” і продовжують виконуватися на кафедрі “Комп’ютеризовані системи автоматики” Національного Університету “Львівська політехніка”. Робота тісно пов’язана з планами дослідно-конструкторських робіт з розробки уніфікованої бортової системи збору інформації (відділ №121) Львівського центру Інституту космічних досліджень НАНУ та НКАУ, а також з планами науково-дослідних робіт з розробки систем компресії зображень та відеоінформації, які виконувались на фірмі “Філіпс” (м. Ейндховен, Нідерланди).

Мета і задачі досліджень. Мета роботи полягає в розробленні нових ефективних підходів до перетворення та компресії інформативних, багатовимірних, неперіодичних сигналів систем керування, які б забезпечували високу ступінь стискання, гнучкість і якість їх відтворення.

Згідно з поставленою метою задачами дослідження є:

· аналіз методів та засобів компресії дво- та тривимірних сигналів, які використовуються при передачі і зберіганні інформації;

· вибір доцільної області подання сигналів та аналіз форми їх перетворення;

· вдосконалення алгоритмів та схем організації пам’яті для різних реалізацій алгоритму поетапного перетворення двовимірних сигналів;

· порівняльний аналіз ефективності однорівневого немасштабуючого кодера, масштабуючого багаторівневого кодера та масштабуючого 3D малохвильового кодера;

· дослідження основних причин низької якості просторової масштабованості алгоритму 3D малохвильового кодера та багаторівневої схеми;

· розроблення та дослідження нового масштабуючого відеокодера з використанням 3D малохвильового перетворення сигналів.

Об’єкт дослідження – процеси перетворення та стискання неперіодичних сигналів у комп’ютеризованих системах керування.

Предмет дослідження – методи та засоби перетворення дво- та тривимірних сигналів з використанням часо-частотної області.

Методи дослідження – для розв’язання поставленої задачі використовувались методи математичного аналізу, теорії рядів і цифрової фільтрації, теорії сигналів, теорії малохвильового (wavelet) перетворення, комп’ютерне моделювання.

Наукова новизна одержаних результатів:

· на підставі аналізу методів та засобів компресії двовимірних сигналів показано, що для ефективного їх стискання необхідно забезпечувати максимальну декореляцію сигналу, яка є найбільш повною у випадку використання малохвильового перетворення сигналів при використанні відповідних методів квантування та кодування;

· розроблено алгоритми почергового ітеративного малохвильового перетворення в просторі та часі, які дозволяють спростити операції ЧФКР та забезпечують кращий баланс між просторовою та часовою масштабованістю і таким чином, дають можливості покращання ефективності 2D та 3D малохвильового перетворення для відеокомпресії сигналів;

· вдосконалено алгоритми та схеми організації пам’яті для різних реалізацій малохвильового перетворення двовимірних сигналів, що дозволяє здійснювати вибір між числом звертань до зовнішньої пам’яті та числом використань проміжних внутрішніх буферів і дає можливість системному розробнику вибирати ефективну методологію перетворення відповідно до конкретної прикладної задачі;

· на основі порівняльного аналізу однорівневого немасштабуючого кодера MPEG-4 AVC (H.264) та масштабуючого 3D малохвильового кодера MC-EZBC доведено, що однорівневий кодер H.264 має кращі показники, ніж схема 3D малохвильового кодера MC-EZBC на всіх просторових роздільних здатностях, а багаторівнева схема на основі H.264 переважно має вищу ефективність ніж 3D малохвильовий кодер;

· досліджено основні причини погіршення якості просторової масштабованості алгоритму 3D малохвильового кодера та багаторівневої схеми, що дозволило зробити висновки про поведінку масштабуючих відеокодерів на різних просторових роздільних здатностях при різних часових та просторових активностях;

· запропоновано новий масштабуючий відеокодер, що забезпечує досягнення високоякісної часової декореляції з гнучким масштабуванням якості без внесення похибки дрейфу і зменшення часової затримки кодування до рівня затримки кодера H.264 без погіршення якості кодованого відео на вхідній розмірній здатності та із покращенням якості відео на зменшеній просторовій розмірності.

Практичне значення одержаних результатів:

· вдосконалені алгоритми та схеми організації пам’яті для різних реалізацій забезпечили можливість зменшення об’єму необхідної пам’яті та прискорення процесу подання двовимірних сигналів у часо-частотній області, що дозволило рекомендувати використання розроблених методів в поєднанні із кодуючим алгоритмом JPEG2000, та ефективно використовувати їх у VLSI розробках;

· використання запропонованої структурної методології оптимізації передачі і зберігання цифрових даних дозволяє, в залежності від частоти кадрів, на 70 - 90 відсотків зменшувати споживання потужності кодерів;

· використання результатів аналізу ефективності однорівневого немасштабуючого кодера MPEG-4 AVC (H.264) та масштабуючого 3D малохвильового кодера MC-EZBC дозволяє практично усунути основні причини погіршення якості компресії тривимірних сигналів при запровадженні масштабованості просторової роздільної здатності або якості;

· застосування розробленого нового масштабуючого тривимірного кодера, який базується на комбінації H.264 та 3D малохвильового кодера, дає можливість досягнути високоякісної часової декореляції з гнучким масштабуванням якості та роздільної здатності без внесення похибки дрейфу, а також дозволяє зменшити часову затримку кодування до рівня затримки кодера H.264.

Результати досліджень використані в курсах лекцій “Прикладний аналіз даних” та “Цифрові методи обробки сигналів та зображень”, які читаються для студентів старших курсів Національного університету “Львівська політехніка”, а також при виконанні магістерських робіт, дипломних проектів та наукових досліджень аспірантів.

Проведені автором дослідження та розробки використовувались при розробленні програмно-апаратних засобів уніфікованої бортової системи обробки цифрової інформації, яка виконувалася в рамках ДКР Львівського центру Інституту космічних досліджень НАНУ та НКАУ та при розробленні систем компресії зображень та відеоінформації, які виконувались на фірмі “Філіпс” (м. Ейндховен, Нідерланди).

Публікації. За тематикою дисертаційної роботи опубліковано 16 наукових праць, серед яких 8 статей у фахових виданнях, з них 3 одноосібні, 8 публікацій в працях республіканських і міжнародних конференцій, а також отримані 14 патентів на винаходи.

Особистий внесок здобувача. Всі наукові результати отримані автором самостійно. В друкованих працях, опублікованих у співавторстві, автору належать: [1] – розроблення алгоритму адаптації відеокомпресії для реалізації на VLIW процесорі; [3] – розроблення структури і функціональних перетворень та аналіз похибок; [5] – розроблення алгоритму перетворення; [6,8,14] – розроблення структури компресора сигналів з використанням ПЧК малохвильових коефіцієнтів, обґрунтування висновків і напрямків можливої модифікації; [7] – розроблення математичної моделі та алгоритму перетворення; [9] – розроблення удосконаленого алгоритму малохвильового кодування; [10] – удосконалення алгоритму ПЧК; [11] – розроблення алгоритму просторової масштабованості 3D малохвильового кодера; [12,13] – удосконалення алгоритму відеокомпресії та зменшення артифактів.

Апробація результатів. Основні положення і результати роботи доповідалися на 8 міжнародних науково-технічних конференціях та симпозіумах.

Структура і обсяг дисертації. Дисертаційна робота складається із вступу, чотирьох розділів, висновків, списку літератури з 105 найменувань та 5 додатків. Загальний обсяг роботи складає 220 сторінок, в тому числі 148 сторінок основного тексту, 49 ілюстрацій, 22 таблиці.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність роботи, проведено аналіз стану проблеми, сформульовано мету та задачі досліджень, наукову новизну та практичне значення одержаних результатів, а також описано структуру дисертації та наведено дані про особистий внесок здобувача, апробацію роботи і публікації.

Перший розділ присвячено аналізу існуючих методів та засобів стискання дво- та тривимірних сигналів. Оскільки в сучасних системах керування широко використовується компресія інформативних сигналів, особливо, коли вони складаються з розосереджених частин (робототехнічні комплекси з технічним зором), то на їх основі вказано роль і місце компресії інформативних сигналів таких систем.

Початково розглядаються найбільш поширені формати компресії сигналів зображень, зокрема JPEG, JPEG2000. На основі проведеного аналізу встановлено, що вказані формати відрізняються способами і алгоритмами подання елементів зображень, які забезпечують максимальний ступінь їх стискання при задоволенні певних вимог до якості відновленого зображення. При цьому показано, що ефективне статистичне кодування має нижню межу стискання, яка за теоремою Шеннона визначається ентропією джерела. З огляду на це проведено пошук методів, які забезпечують максимальну декореляцію опису зображення, що сильно ускладнюється особливостями цифрових зображень.

В процесі аналізу методів розкладу встановлено, що на даний час найефективнішими є ті, що базуються на малохвильовому (wavelet) перетворенні. Вони дозволяють розкладати сигнали у вигляді ієрархічно зростаючих роздільних здатностей і як наслідок, дають можливість розглядати більше шарів роздільної здатності, отримувати більш детальний вигляд зображення, а також покращати співвідношення сигнал – шум [7].

В роботі відзначається, що незважаючи на те, що новий стандарт компресії JPEG2000 базується на використанні малохвильового перетворення, без використання в ньому ефективного квантування та кодування малохвильових коефіцієнтів неможливе забезпечення високих ступенів компресії та мінімальних спотворень нерухомих зображень. Таким чином, з метою підвищення вказаних показників проведено аналіз відповідних методів квантування та кодування, які в поєднанні з ефективними алгоритмами часо-частотного представлення сигналів забезпечують більш високі показники [6].

Крім аналізу стискання нерухомих зображень в роботі аналізуються основні методи та засоби компресії відеосигналів [4]. Так в результаті аналізу схем масштабованостей кодерів MPEG-2 і MPEG-4 показано, що оскільки в них у більшості випадків під час кодування на покращаючому рівні вибирається передбачення “наперед”, то інформація, яка міститься в них на базовому рівні повністю не використовується, а це приводить до того, що розмір бітового потоку на покращаючому рівні практично співпадає з розміром звичайно закодованого однорівневого бітового потоку, в результаті чого не можна досягнути високого ступеня компресії відеосигналів. Для усунення цього недоліку запропоновано розглядати нову структуру просторово-масштабуючої відеокомпресії, яка базується на використанні стандарту H.264.

Обґрунтовано перспективність використання малохвильового перетворення для підвищення ефективності відеокомпресії сигналів [3]. У випадку використання 3D підсмугових малохвильових кодерів з компенсацією руху часове фільтрування пропонується здійснювати не за напрямками часових осей, а вздовж траєкторії руху, що дає можливість отримувати низький рівень помилок руху в часових підсмугах і підвищувати ефективність кодування.

Відзначено, що завдяки структурі багаторівневого аналізу, масштабування в 3D малохвильових відеокодерах досягається натуральним шляхом. При цьому використання вмонтованого нульового блоку компенсації руху в таких кодерах дозволяє усувати надлишок інформації про рух, яка визначається різницею зображень у двох сусідніх кадрах, за допомогою часового фільтрування з компенсацією руху і, таким чином, забезпечувати генерування повністю масштабованого бітового потоку і будь-якої просторової або часової роздільної здатності шляхом простого відсікання частини закодованого потоку.

На основі проведеного аналізу зроблено висновок про те, що розв’язання проблеми підвищення ефективності компресії інформативних сигналів потребує попереднього розроблення принципів і моделювання компресії сигналів зображень та відеосигналів у часо-частотній області.

В другому розділі розглянуті основні алгоритми подання сигналів у малохвильовій області та можливі напрямки їх вдосконалення. Так для обчислення ортогональних дискретних малохвильових функцій запропоновано використовувати швидке малохвильове перетворення або, так званий, пірамідальний алгоритм Маллата. При цьому вхідні дані обробляються за допомогою двох послідовностей фільтруючих коефіцієнтів, кожна з яких створює вихідний потік довжиною вдвічі меншою за довжину вхідного потоку. Перша половина вихідних даних визначається на основі імпульсної характеристики фільтра нижніх частот (ФНЧ) , в результаті отримуються масштабні коефіцієнти

де  – миттєві значення вибірок сигналу;  – аналізуюча масштабна функція; j = 1,, J.

Друга половина вихідних даних визначається на основі імпульсної характеристики фільтра верхніх частот (ФВЧ) , в результаті отримуються малохвильові коефіцієнти

де  – аналізуюча дискретна малохвильова функція.

Повний розклад дискретизованого в часі малохвильового ряду полягає в проходженні сигналу через ідентичні структурні блоки ДМП. Отже, на усіх виходах ФВЧ отримуються малохвильові коефіцієнти, які є новим представленням сигналу [1].

Відповідно до ДМП існує обернене дискретне малохвильове перетворення (ОДМП).

В роботі відзначено, що функції блока ДМП досить точно описуються особливим набором фільтрових коефіцієнтів, через які остаточно визначаються малохвильові коефіцієнти. Аналізуються фільтрові коефіцієнти різних порядків, які були отримані І. Добеші.

Крім розглянутого пірамідального алгоритму Маллата в роботі аналізуються удосконалений алгоритм Койфмана-Вікергойзера та алгоритм поетапного перетворення. Останній алгоритм запропоновано використовувати для обчислення ДМП, оскільки він забезпечує двократне зменшення обсягу арифметичних операцій порівняно з класичним швидким малохвильовим перетворенням, а крім того його організація даних дозволяє легко оптимізувати виконання деревоподібних алгоритмів компресії зображень.

Відзначається, що на даний час існує ряд методів малохвильового перетворення тривимірних сигналів, серед яких найбільш поширеним є метод тривимірного 3D масштабуючого кодування відеосигналу. Однак такий метод має ряд недоліків. Перш за все, операції оцінки руху та часової фільтрації з компенсацією руху (ЧФКР) є складними для обчислення і викликають затримку при кодуванні та декодуванні. Крім того декодування закодованого потоку на роздільній здатності, нижчій за оригінальну, викликає неточне часове відновлення. І нарешті, такий метод кодування має малу обчислювальну масштабованість. З метою усунення згаданих недоліків сучасних схем 3D малохвильової відеокомпресії, в роботі запропоноване покращення процесу просторово-часового малохвильового перетворення шляхом почергового ітеративного малохвильового фільтрування в просторі та в часі. Запропонований підхід дозволяє спростити операцію ЧФКР та забезпечує кращий баланс між просторовою та часовою масштабованістю.

Даний метод передбачає розбиття кадрів на групи з послідовних кадрів. В подальшому здійснюється один етап просторового фільтрування кожного із кадрів групи кадрів. Дане просторове фільтрування (для ) реалізується шляхом малохвильового перетворення з генеруванням чотирьох рівнів просторових підсмуг . Перша просторова підсмуга містить 8 просторово фільтрованих кадрів , друга – 8 кадрів , третя – 8 кадрів , а четверта 8 – кадрів . Кожний з просторово фільтрованих кадрів має розмір . На наступному етапі запропонованого алгоритму здійснюється операція оцінки руху для кожної пари низькочастотних кадрів першої просторової підсмуги , тобто непарних кадрів та парних кадрів . В результаті отримується перший набір векторів руху , на основі якого здійснюється ЧФКР над низькочастотними кадрами . Таким чином, отримується перша часова підсмуга першого рівня розкладу, що містить 8 кадрів, з яких 4 є низькочастотними часовими кадрами , а решта 4 - високочастотними кадрами ( означає результат малохвильового перетворення в часі, а результат малохвильового перетворення в просторі). Наведений етап часового фільтрування здійснюється за допомогою поетапного перетворення з метою отримання малохвильових коефіцієнтів на базі функції прогнозування (передбачення) та функції оновлення (корекції) .

Етапи прогнозування та оновлення поетапної схеми перетворення на основі малохвильового перетворення Добеші D4 мають вигляд:

Запропонований алгоритм передбачає ітерацію етапів просторового фільтрування, етапу оцінки руху та етапу ЧФКР до отримання підсмуг останнього рівня розкладу, або до тих пір поки не залишиться один низькочастотний часовий кадр в часовій підсмузі. Після виконання описаних етапів фільтрування, на наступних етапах алгоритму здійснюється квантування та ентропійне кодування малохвильових коефіцієнтів відфільтрованих кадрів у відповідній послідовності. Запропонований алгоритм також містить етап кодування векторів руху з застосуванням різницевої компресії без втрат або за допомогою арифметичного кодування. Генеровані просторово-часові підсмуги кодуються у вихідний бітовий потік з різною пріоритетністю.

На противагу іншим відомим методам малохвильової компресії відеосигналів, в яких здійснюється повний часовий розклад з наступним просторовим малохвильовим перетворенням отриманих часових підсмуг, запропонований метод дозволяє зупинку малохвильового розкладу в будь-який момент після отримання першого рівня малохвильового розкладу і при цьому досягнути масштабованість в просторі та часі.

Оскільки часове малохвильове фільтрування має високу обчислювальну складність і викликає суттєву затримку під час кодування, пропонується покращання 3D малохвильового відеокодера шляхом зведення затримки ЧФКР до мінімуму. Одночасно такий підхід дозволяє реалізувати відеокодер з обчислювальною масштабованістю та паралельною обробкою.

На рис 1. наведена блок-схема запропонованого методу кодування. На першому кроці алгоритму, відеосигнал поділяється на послідовні групи кадрів (ГК) кількістю, наприклад 8 кадрів. На другому кроці алгоритму обробляється перша половина ГК, в даному випадку чотири кадри та . Така обробка передбачає етап оцінки руху (МЕ) для кожної пари кадрів і , в результаті чого отримується набір векторів руху MV11 першого рівня розкладу та етап ЧФКР з використанням малохвильової функції Хаара і векторів руху MV11, отриманих на попередньому етапі.

Часове фільтрування базується на використанні реверсивної поетапної схеми, яка адаптована для генерування низькочастотних малохвильових коефіцієнтів та високочастотних малохвильових коефіцієнтів . Таке перетворення виконується згідно наступних рівнянь:

де та – значення пікселів парних та непарних вхідних кадрів, вибраних вздовж векторів руху; – функція передбачення, а – функція корекції.

Після часового розкладу отримані високочастотні кадри H[n] проходять через чотирирівневе просторове малохвильове перетворення, операції квантування та ентропійного кодування отриманих просторово-часових малохвильових коефіцієнтів. Крім кодування малохвильових коефіцієнтів, здійснюється також кодування векторів руху.

В роботі, крім запропонованого звичайного алгоритму перетворення кодера, розроблений розширений його варіант, який дозволяє покращати якість та ступінь компресії.

Таким чином, запропонований метод реалізації просторово-часового розкладу забезпечує можливість здійснення гнучкої реконфігурації схеми безпосередньо під час кодування залежно від доступних обчислювальних ресурсів, допустимої затримки та необхідної візуальної якості.

В третьому розділі увага концентрується на зменшенні домінуючих вузьких місць передачі і зберігання даних для отримання максимально ефективної реалізації алгоритмів поетапного малохвильового перетворення двовимірних сигналів зображень. Теоретично визначені вдосконалені моделі пам’яті для різних схем реалізацій алгоритму поетапного перетворення двовимірних сигналів, які мають незалежну платформу, що вигідно відрізняє їх від інших відомих методів.

З метою усунення вузького місця, в роботі запропоновано використати проміжний лінійний буфер, що значно покращує використання пам’яті в архітектурі поетапного малохвильового перетворення. На рис. 2 наведена загальна структура пам’яті. Зазвичай елемент пам’яті відповідає однорівневій кеш-пам’яті на мікросхемі, – основній пам’яті, а – регістровому файлу.

У випадку стрічково-стовпцевого (СС) алгоритму поетапного перетворення двовимірних сигналів, коли довжина фільтра прогнозування є більшою ніж фільтра обновлення виникають ускладнення перезапису обчислених даних. В цьому випадку запропоновано використовувати проміжний буфер , який значно покращує використання пам’яті.

В роботі розраховані необхідні об’єми пам’яті для , та регістра для СС алгоритму. Проведено аналіз числа передач між різними елементами наведеної структури, зокрема проаналізовано число зчитувань і записів у комірки пам’яті

де , – ширина зображення, – висота зображення.

Недоліком стрічково-стовпцевого наближення є нерівномірність генерування дерева у випадку необхідності проведення узгодження взаємодії перетворення з кодером нуль-дерева. Незважаючи на це можна зробити висновок, що запропоноване вдосконалення дозволило зменшити об’єм необхідної основної пам’яті та прискорити процес подання двовимірних сигналів у часо-частотній області.

У випадку багаторівневої лінійної фільтрації (БЛФ) частково усувається згаданий вище недолік шляхом об’єднання горизонтального і вертикального етапів фільтрування [5]. Відзначається, що для лінійного фільтрування також доцільно використовувати буфер , оскільки дані повинні зберігатися локально для обох процесів фільтрування: оновлення і прогнозування одночасно. При цьому для багаторівневої лінійної обробки підвищується ефективність передачі даних в пам’яті.

Аналогічно як і у попередньому випадку розраховані необхідні об’єми пам’яті для , та регістра та число передач між елементами БЛФ, а число зчитувань і записів у комірки пам’яті складає

Запропоноване рішення дає можливість зменшення завантаження від передачі даних в пам’яті поза кристалом приблизно на 20% шляхом майже 100% збільшення необхідних ресурсів пам’яті P1. Рекомендовано використовувати метод багаторівневої лінійної фільтрації у поєднанні із кодуючим алгоритмом JPEG2000.

З метою покращання ступеня деталізації виділення даних з кодера, розглядається рекурсивний пірамідальний алгоритм (РПА). Затримка обчислення малохвильових коефіцієнтів в даному випадку зменшена порівняно з багаторівневим лінійним перетворенням. Оскільки зображення сканується лінійним чином, то результати проміжного горизонтального фільтрування для різних малохвильових рівнів мають бути тимчасово збережені. Отже для реалізації даного алгоритму необхідне використання лінійного буфера , об’єм пам’яті якого буде рівним буферній пам’яті для БЛФ. Характеристики вхідної і вихідної пам’яті також залишаються без змін порівняно із ситуацією БЛФ. Число зчитувань і записів у комірки пам’яті для даного випадку визначається як

З проведеного аналізу випливає, що в процесі РПA дані генеруються з меншою затримкою ніж при запропонованому БЛФ для однакового об’єму пам’яті. Однак це відбувається за рахунок більшого завантаження шини даних між регістровим файлом і пам’яттю P1. Таким чином, запропонована архітектура є ефективнішою для VLSI розробок [1].

В роботі відзначається, що локальне малохвильове перетворення (ЛМП), об’єднує переваги попередньо розглянутих СС, БЛФ і РПА технологій. У випадку ЛМП зображення ділиться на блоки і здійснюється багаторівневе малохвильове перетворення для кожного блоку окремо. Відзначається, що система відрізняється від відомої мозаїчної фрагментації зображення, що використовується в JPEG2000 [7] за кількома важливими аспектами. Одним з найбільш важливих є те, що ЛМП використовує коефіцієнти сусідніх блоків для обчислення відповідних малохвильових коефіцієнтів. Як результат, окрім лінійного буфера, повинні бути передбачені буфери узгодження, які б гарантували достовірність даних поблизу границь блоку під час процедури фільтрування. Отримано вирази для розрахунків розмірів таких буферів, числа зчитувань і записів у комірки їх пам’яті, а також числа передач з пам’яті та . Зокрема для останнього число зчитувань і записів визначається як

Проведений аналіз та отримані результати досліджень дають можливість здійснювати вибір між меншим числом звертань до „off-chip” пам’яті і використанням більших проміжних „on-chip” буферів. Таким чином, системному розробнику надається можливість вибирати ефективну методологію перетворення відповідно до конкретної прикладної задачі.

З метою оцінки запропонованої технології, в поєднанні з вмонтованим кодером нуль-дерева проводились експерименти для різних методів перетворень (СС, БЛФ, РПА і ЛМП). Дослідження проводились відносно зміни вхідних параметрів, зміни об’єму пам’яті і , розміру зображень та кількості малохвильових рівнів. Так, зокрема, на рис.3 наведене представлення різних реалізацій з різним числом рівнів малохвильових перетворень та розмірів зображень і їх вплив на вимоги до пам’яті .

В роботі показано, що використання структурної методології оптимізації передачі і зберігання цифрових даних (ПЗЦД) може приводити до дуже ефективної реалізації вмонтованого кодера нуль-дерева. Загальне зменшення споживання потужності отримане після оптимізації ПЗЦД для цього кодера коливається між 70 і 90 відсотками, залежно від частоти кадрів.

Розглянуто можливість реалізації малохвильового перетворення на паралельних платформах TI TMS320C40. Результати отримані для цих реалізацій підтвердили результати теоретичних досліджень. Показано, що отримані результати можуть бути використані в інших малохвильових системах, наприклад, в кодеку JPEG2000.

В четвертому розділі наведені результати порівняльного аналізу ефективності просторової масштабованості двох технологій відеокодування, а саме: 3D малохвильового кодера МC-EZBC та багаторівневої схеми відео компресії на основі останнього стандарту відеокомпресіїї H.264 або MPEG-4 AVC. Дослідження здійснювались з використанням декількох тестових відеосигналів при різних значеннях просторової роздільної здатності та бітової швидкості. Входячи з отриманих результатів порівняльного аналізу можна стверджувати, що однорівневий кодер H.264 має кращі показники, ніж 3D малохвильовий кодер на всіх просторових роздільних здатностях. Недолік MC-EZBC найбільш значний на низьких бітових швидкостях та для відео-послідовностей з інтенсивним характером руху. Відзначено, що ефективність кодування MC-EZBC дуже чутливе до характеру та інтенсивності руху у відеосигналі, а часта зміна характеру руху та іррегулярний рух малих об’єктів значно погіршують якість відеокомпресії. Незважаючи на те, що кодер MC-EZBC забезпечує чіткіше зображення нерухомих об’єктів, якість рухомих об’єктів є гіршою. Відзначено, що помітними є часові артефакти навколо рухомих контурів, які можуть бути викликані неефективністю часового фільтрування з компенсацією руху.

Показано, що на оригінальній розмірності SD схема MC-EZBC має кращі показники порівняно з багаторівневою схемою, тоді як на зменшених роздільних здатностях SIF та QSIF – значно гірші. Загалом результати комплексних досліджень показують, що стосовно просторової масштабованості, схема MC-EZBC має для всіх послідовностей ефективність нижчу за багаторівневу схему, як відносно показників PSNR, так і згідно візуального аналізу. Відзначено, що низька якість просторової масштабованості 3D малохвильового кодера викликана декількома факторами, в першу чергу послідовністю обробки даних у схемі MC-EZBC. Для того, щоб декодувати відеосигнал з роздільною здатністю, меншою за оригінальну, підсмуги з високочастотною просторовою інформацією відсікаються з закодованого потоку. Однак, разом з просторовою інформацією губиться частина часової інформації. Відсікання просторової високочастотної інформації з низькочастотних часових підсмуг особливо негативно впливає на якість декодованого відео, оскільки низькочастотні часові підсмуги містять усереднену часову інформацію з декількох кадрів.

Доведено додаткові причини погіршення якості просторової масштабованості алгоритму MC-EZBC, серед яких надлишкова кількість інформації завдяки кодуванню векторів руху для повної роздільної здатності, та похибка, що виникає через використання векторів руху високої роздільної здатності для декодування сигналів меншої роздільної здатності. У випадках сигналів з низькою часовою активністю такі негативні фактори мінімізуються, оскільки повільний рух дозволяє просте і ефективне визначення та кодування векторів руху, зменшуючи видимість можливих помилок, а для сигналів з високою активністю – навпаки. Відносна частка бітів, витрачених на кодування векторів руху, збільшується при зменшені бітової швидкості. Тому, при цьому, загальна якість кодованого відео стрімко зменшується. Як результат, зменшується робочий діапазон бітових швидкостей, на якому кодер MC-EZBC може забезпечити прийнятну якість.

На основі результатів порівняльного аналізу досліджені шляхи усунення недоліків багаторівневої схеми, найбільш ефективним з яких є використання оптимальних масштабуючих фільтрів, що викликають найменші спотворення.

Виходячи з результатів досліджень ефективності 3D малохвильової та багаторівневої схем відеокомпресії запропонований новий масштабуючий відеокодер (Рис.4), що базується на комбінації MPEG-4 AVC (H.264) для компресії базового рівня на низькій роздільній здатності з малою бітовою швидкістю та 3D малохвильового кодера для компресії покращуючої інформації на оригінальній роздільній здатності, що дозволило досягнути високоякісної часової декореляції з гнучким масштабуванням якості (SNR) без внесення дрейфуючої похибки.

Розроблена схема дозволяє значно зменшити кількість рівнів часового розкладу, необхідних для 3D малохвильового кодування, що в свою чергу приводить до зменшення його затримки до рівня затримки кодера H.264, без зменшення якості кодованого відео на розмірності SD та із збільшенням якості відео на розмірності SIF. Така перевага особливо важлива для пристроїв з малою затримкою кодування, наприклад у відеоконференції.

Результати досліджень показують, що запропонована схема забезпечує високий рівень гнучкості, дає можливість досягати високих ступенів компресії для всіх типів відеосигналів та має зворотну сумісність з поширеним стандартом відео компресії MPEG-4 AVC (H264). Експериментальні дослідження показали, що запропонована комбінація класичної багаторівневої схеми та новітнього алгоритму 3D малохвильової компресії відеосигналу дозволила досягнути покращання об’єктивної візуальної якості в межах від 0,5 до 1,0Суб’єктивна оцінка результатів кодування показує, що відео закодоване за допомогою запропонованої схеми є більш чітким та містить менше часових помилок в порівнянні з кодуванням MC-EZBC.

Розроблена структура масштабованої відеокомпресії була запропонована до міжнародного комітету стандартизації, групи кодування рухомих зображень (MPEG), як один з можливих шляхів покращання масштабованості відеокомпресії.

У висновках сформульовані основні результати дисертаційних досліджень.

В додатках подано основні формати запису зображень, часові діаграми результатів експериментальних досліджень, кадри відеосигналів, закодованих досліджуваними кодерами, тексти програм, впровадження результатів роботи.

ОСНОВНІ ВИСНОВКИ РОБОТИ

1. На основі проведеного аналізу існуючих методів та засобів компресії нерухомих зображень встановлено, що для їх ефективного стискання необхідно забезпечувати максимальну декореляцію сигналу зображення. З огляду на це відзначено, що для аналізу двовимірних сигналів найефективнішими на даний час є методи та засоби, які базуються на малохвильовому перетворенні сигналів, зокрема реалізовані за стандартом JPEG-2000, для підвищення показників яких необхідно використовувати відповідні методи квантування та кодування у поєднанні з ефективними алгоритмами часо-частотного перетворення сигналів.

2. Проаналізовано концепції розкладу і відтворення сигналів за допомогою ДМП і ОДМП відповідно. Відзначено, що такі концепції можуть бути використані для розроблення математичних моделей ефективного перетворення цифрових еквівалентів дво- та тривимірних сигналів при їх компресії. Показано, що для підвищення інформативності таких перетворень доцільно використовувати удосконалений алгоритм Койфмана-Вікергойзера, а для забезпечення безвтратності перетворень, підвищення їх швидкодії та зменшення об’єму пам’яті доцільно використовувати алгоритм поетапного перетворення.

3. Теоретично обґрунтовано моделі пам’яті для різних схемних реалізацій алгоритму поетапного перетворення двовимірних сигналів. Вдосконалено алгоритми та схеми організації пам’яті для різних реалізацій, що дозволило зокрема, для стрічково-стовпцевого алгоритму зменшити об’єм необхідної пам’яті та прискорити процес подання двовимірних сигналів у часо-частотній області, для багаторівневої лінійної обробки зменшити завантаження від передачі даних в пам’яті поза кристалом приблизно на 20% шляхом майже 100% збільшення необхідних ресурсів пам’яті лінійного буфера, що дозволило рекомендувати використання даного методу в поєднанні із кодуючим алгоритмом JPEG2000, для рекурсивної пірамідальної архітектури генерувати дані з меншою затримкою, що дозволило ефективно використовувати її у VLSI розробках, для локального малохвильового перетворення зменшити об’єм необхідної буферної пам’яті. Проведений аналіз дозволяє здійснювати вибір між меншим числом звертань до зовнішньої пам’яті та використанням більших проміжних внутрішніх буферів і дає можливість системному розробнику вибирати ефективну методологію перетворення відповідно до конкретної прикладної задачі.

4. Показано, що використання запропонованої структурної методології оптимізації передачі і зберігання цифрових даних приводить до зменшення споживання потужності і для такого кодера залежно від частоти кадрів коливається між 70 і 90 відсотками.

5. Проведено порівняльний аналіз ефективності однорівневого немасштабуючого кодера MPEG-4 AVC (H.264) та масштабуючого 3D малохвильового кодера MC-EZBC. На основі результатів аналізу доведено, що однорівневий кодер H.264, на всіх просторових роздільних здатностях, має кращі показники ніж схема 3D малохвильового кодера MC-EZBC. Схема MC-EZBC відносно показників PSNR та візуального аналізу для всіх послідовностей має також нижчу ефективність за багаторівневу схему на основі H.264, лише на розмірності SD схема MC-EZBC має кращі показники порівняно з багаторівневою схемою (на 1 – 3dB), тоді як на роздільних здатностях SIF та QSIF – значно гірші (до 5dB).

6. Проаналізовано і обґрунтовано основні причини погіршення якості просторової масштабованості алгоритму 3D малохвильового кодера, серед яких надлишкова кількість інформації обумовлена кодуванням векторів руху для повної роздільної здатності та похибки, що виникають через використання векторів руху високої роздільної здатності для декодування сигналів меншої роздільної здатності. На основі аналізу отриманих результатів, зроблено висновки про поведінку 3D малохвильового відеокодера на різних просторових роздільних здатностях при різних часових та просторових активностях.

7. Для покращання ефективності 3D малохвильової схеми кодування запропоновано схему IBMCTF, алгоритм якої використовує передбачення руху в просторових малохвильових коефіцієнтах, що робить можливим здійснення оцінки руху на кожній з роздільних здатностей. Однак, існуюча імплементація алгоритму IBMCTF у випадках сигналів з великою інтенсивністю руху не забезпечує покращання якості в порівнянні з алгоритмом MC-EZBC через виникнення часових спотворень.

8. Досліджено шляхи усунення недоліків багаторівневої схеми на основі H.264, найбільш ефективним з яких є використання масштабуючих фільтрів, що викликають покращання якості (до 1dB).

9. Запропоновано новий масштабуючий відеокодер, побудований на комбінації кодера за стандартом MPEG-4 AVC (H.264) для компресії базового рівня на низькій роздільній здатності з малою бітовою швидкістю та 3D малохвильового кодера для компресії додаткової інформації на вхідній роздільній здатності, що дозволило досягнути високоякісної часової декореляції з гнучким масштабуванням якості (вище SNR) без внесення похибки дрейфу, зменшити часову затримку кодування до рівня затримки кодера H.264, без погіршення якості кодованого відео на оригінальній розмірності SD та із покращенням якості відео на зменшеній розмірності SIF (на 1 – 1,5 dB).

СПИСОК ОСНОВНИХ НАУКОВИХ ПРАЦЬ ОПУБЛІКОВАНИХ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.