Міністерство освіти і науки України

Національний аерокосмічний університет

ім. М.Є. Жуковського "Харківський авіаційний інститут"

КОЛЯДІН Володимир Леонідович

УДК 621.396

СИНТЕЗ НЕПАРАМЕТРИЧНИХ ПРОЦЕДУР ВТОРИННОЇ ОБРОБКИ ДАНИХ В РАДІОТЕХНІЧНИХ СИСТЕМАХ НА ОСНОВІ НЕКЛАСИЧНИХ МЕТОДІВ СТАТИСТИКИ

05.12.17 - радіотехнічні та телевізійні системи

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

доктора технічних наук

ХАРКІВ-2005

Дисертацією є рукопис.

Робота виконана у Національному аерокосмічному університеті

ім. М.Є.Жуковського “ХАІ” Міністерства освіти і науки України

Науковий консультант: доктор технічних наук, професор |

Баришев Ігор Володимирович,

Національний аерокосмічний університет

ім. М.Є.Жуковського “ХАІ”, завідуючий кафедрою“

Проектування радіоелектронних систем літальних апаратів” (501)

Офіційні опоненти:

· Доктор технічних наук, професор Леховицький Давід Ісаакович, головний науковий співробітник Науково-дослідного центру інтегрованих інформаційних радіоелектронних систем і технологій при Харківському національному університеті радіоелектроніки;

· Доктор технічних наук, професор Костенко Павло Юрійович, професор кафедри експлуатації авіаційних засобів зв’язку та радіотехнічних систем Харківського університету повітряних сил;

· Доктор технічних наук, старший науковий співробітник Лещенко Сергій Петрович, начальник науково-дослідного управління Об’єднаного науково-дослідного інституту Збройних сил.

Провідна установа – Радіоастрономічний інститут НАН України (м. Харків),

відділ декаметрової радіоастрономії

Захист відбудеться 31.03.2006 року о 13-30 годині на засіданні спеціалізованої вченої ради Д 64.062.07 у Національному аерокосмічному університеті ім. М.Є.Жуковського “Харківський авіаційний інститут” за адресою: 61070, м. Харків, вул. Чкалова, 17.

З дисертацією можна ознайомитись у бібліотеці Національного аерокосмічному університету ім. М.Є.Жуковського “Харківський авіаційний інститут” за адресою: 61070, м. Харків, вул. Чкалова, 17.

Автореферат розісланий 28.02.2006 року

Учений секретар спеціалізованої вченої ради В.В. Лукін

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Радіотехнічні системи (РТС) широко використовують у різних галузях економіки України. Ефективність багатьох видів економічної активності істотно залежить від якісних показників РТС - вимірювальних, навігаційних, зв'язкових, оглядових. Результуючі характеристики більшості сучасних РТС здебільшого визначаються тими процедурами, що застосовують для обробки інформації, зокрема процедурами вторинної обробки даних, модернізація яких не вимагає зміни апаратної частини РТС. Тому розробка нових процедур вторинної статистичної обробки даних і методів синтезу таких процедур має вирішальне значення для ефективного вирішення широкого кола задач у різних галузях економіки України.

Теоретичні основи синтезу процедур статистичної обробки даних у РТС закладені працями В.О.Котельникова, С.Є.Фальковича, Я.Д.Ширмана, Р.Л.Стратоновича, В.І.Тихонова, Б.Р.Левіна, Я.С.Шифріна та інших авторів на базі фундаментальних ідей параметричної статистики, створеної в 1920-1940 рр. у працях Р.Фішера, К.Пірсона, Дж.Неймана, Н.Вінера. Центральне місце тут посідають концепції байєсовських рішень і оцінювання скінченного числа параметрів за максимумом правдоподібності. Ця теорія узагальнена на задачі відновлення континуальних об'єктів (сигналів, зображень, полів) у роботах А.Н.Тихонова, Ю.П.Питьєва, вітчизняних учених Ю.В.Шкварко, В.І.Пономарева; на задачі фільтрації первинних вимірювань - Р.Калманом, Р.Л.Стратоновичем, вітчизняним ученим Е.Н.Хом’яковим; на методи комплексної оптимізації РТС - В.К.Волосюком.

Принциповою особливістю вказаних підходів є необхідність апріорного завдання виду параметричних моделей, що описують статистичні властивості корисного сигналу та завад. При цьому синтезовані вирішальні процедури характеризуються високою ефективністю в умовах, коли закони розподілу завад за ступенем важкості хвостів зіставлені з нормальним розподілом. Проте в реальних умовах функціонування багатьох класів РТС розподіли мають важкі хвости, що викликане, наприклад, дією імпульсних завад, аномальними похибками первинних вимірювань. У таких умовах ефективність процедур, синтезованих у рамках класичної параметричної теорії, різко знижується аж до повної втрати працездатності.

Тому іншим напрямом в області синтезу процедур статистичної обробки даних у РТС є підходи, основані на методах та ідеях непараметричної й робастної статистики, розвинені П.Хьюбером, Б.Р.Левіним, Дж.Астолой, вітчизняними вченими Э.А.Корнільєвим, І.Г.Прокопенко, О.Я.Калюжним, Л.Г.Красним. Процедури, синтезовані на основі ідей непараметричної й робастної статистики, мають високу ефективність в істотно ширшому діапазоні апріорно невідомих умов функціонування РТС і стійкі до наявності у розподілу важких хвостів.

Основна проблема на шляху ширшого впровадження непараметричних методів у практику статистичної обробки даних у РТС - відсутність регулярних методів синтезу нових непараметричних процедур. На відміну від класичної параметричної теорії, де домінують достатньо строгі математичні методи синтезу, класична непараметрична теорія є набором вже побудованих процедур. Нові непараметричні процедури створюються евристично (тобто винаходяться), що вимагає високої математичної кваліфікації, інтуїції, винахідливості й великих часових витрат. Розробники РТС вимушені вибирати базові непараметричні методи з уже відомих, що не дозволяє повною мірою врахувати специфіку конкретної задачі.

Вказана ситуація в області непараметричних методів радикально змінилася в 1980-1990-х роках завдяки появі та швидкому розвитку принципово нових підходів до синтезу непараметричних процедур - "бутстреп-методів". Ці підходи орієнтовані на числові методи реалізації і тому не вимагають використання аналітичних методів математичної статистики, що різко розширює їх область застосовності, радикально прискорює і спрощує процес синтезу нових непараметричних процедур, дозволяє максимально врахувати специфіку конкретної задачі.

Бутстреп-методи вже широко використовують у багатьох областях прикладної статистики. В той же час при статистичній обробці даних у РТС бутстреп-методи поки практично не застосовують. Разом із значною обчислювальною складністю, використання цих методів стримується і суб'єктивним чинником - непоінформованістю фахівців в області статистичної радіотехніки про існування і можливості бутстреп-методів. Швидке зростання потужності доступних обчислювальних засобів створює реальні передумови для успішного застосування бутстреп-методів для вторинної обробки даних у РТС.

Тому актуальним є вирішення проблеми створення основ теорії й практичної методології оперативного синтезу стійких непараметричних процедур вторинної обробки даних у РТС на основі залучення нових некласичних ідей і підходів, зокрема бутстреп-методів. Досвід використання цих методів, накопичений в інших областях, свідчить про те, що таким чином може бути забезпечений оперативний синтез нових непараметричних процедур обробки даних для РТС, що функціонують в умовах високої апріорної невизначеності щодо статистичних властивостей сигналів і завад.

Зв'язок роботи з науковими програмами, планами, темами. Дослідження проводилися автором у рамках фундаментальних НДР "Високоефективні технології для обробки вимірювальної інформації в супутникових радіонавігаційних мережах, радіотехнічних комплексах управління і засобах дистанційного дослідження" (№ держ. реєстр. 0103U005068), "Теоретичні основи і математичний інструментарій просторово-часової обробки вимірювальної інформації в радіоелектронних комплексах аерокосмічного базування" (№ держ. реєстр. U003431), прикладної НДР "Розробка методів, засобів і алгоритмів просторово-часової вимірювальної інформації в аерокосмічних системах" (№ держ. реєстр. 0198U005680), виконуваних за замовленням МОН України. Роль автора у вказаних НДР полягала в розробці і дослідженні методів обробки вимірювальної інформації на основі використання некласичних статистичних методів.

Мета і задачі дослідження. Метою дисертаційної роботи є створення теоретичних і методологічних основ оперативного синтезу робастних статистичних вирішальних і дескриптивних процедур для вторинної обробки сигналів, полів і зображень у РТС, що функціонують в умовах істотної апріорної невизначеності щодо статистичних властивостей зондованих об'єктів і завадової обстановки, на основі залучення нових некласичних методів і підходів до статистичної обробки даних.

Для досягнення поставленої мети в дисертаційній роботі були сформульовані й розв'язувалися такі задачі:

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

Об'єктом дослідження є сигнали, поля і зображення, реєстровані радіотехнічними та іншими інформаційно-вимірювальними системами.

Предметом дослідження є методи синтезу непараметричних вирішальних і дескриптивних процедур для обробки сигналів, полів і зображень, основані на використанні нових нетрадиційних методів статистичного аналізу.

Методи дослідження. При вирішенні теоретичних задач застосовувалися методи теорії ймовірності і математичної статистики, некласичні методи статистичного аналізу - бутстреп і пермутаційні критерії, апарат теорії обернених задач математичної фізики, методи регулярізації інтегральних рівнянь, апарат функціонального аналізу. При дослідженні розроблених методів і підходів використовували методи цифрового статистичного моделювання, числового розв’язання нелінійних рівнянь, спектрального та кореляційного аналізу, а також дескриптивної статистики.

Наукова новизна одержаних результатів. Наукова новизна одержаних результатів полягає в тому, що на основі використання нових некласичних ідей і методів статистичного аналізу до задач обробки вимірювальної інформації в РТС розвинено новий науковий напрям - створені основи теорії й методології оперативного синтезу непараметричних вирішальних і дескриптивних процедур вторинної обробки даних у РТС, які мають високу робастність і стійкість до апріорної невизначеності щодо статистичних властивостей сигналів і завадової обстановки. Зокрема:

1.

2.

3.

4.

5.

6.

Обґрунтованість і достовірність наукових положень, висновків і рекомендацій. Обґрунтованість і достовірність наукових положень, висновків і рекомендацій підтверджуються аналітично доведеними властивостями бутстреп-оцінок і пермутаційних критеріїв, що використовуються, результатами численних обчислювальних експериментів, апробацією синтезованих на основі запропонованих підходів алгоритмів на даних з повністю контрольованими статистичними характеристиками і на реальних даних, узгодженістю одержуваних результатів, збігом експериментально знайдених властивостей синтезованих процедур з теоретично очікуваними.

Практична значущість одержаних результатів. Розроблена теорія й методологія оперативного синтезу непараметричних вирішальних і дескриптивних статистичних процедур є основою для принципово нової стратегії вторинної статистичної обробки даних у РТС. Така стратегія характеризується оперативним синтезом непараметричних вирішальних процедур, які максимально адаптовані до специфіки конкретної РТС і вирішуваної нею задачі, ефективно функціонують у широкому діапазоні апріорно невідомих умов. Область використання результатів включає в себе широке коло практичних задач, вирішуваних сучасними РТС із використанням вторинної статистичної обробки вимірювальної інформації, а також задачі статистичного опису, оцінювання параметрів сигналів, перевірки статистичних гіпотез, обробки зображень, відновлення полів і сигналів. Алгоритми, синтезовані в рамках запропонованих підходів, достатньо просто реалізуються в рамках більшості сучасних мов програмування, а також добре адаптовані до реалізації в паралельних і розподілених обчислювальних середовищах. Практична значущість роботи підтверджується позитивним ефектом від використання основних наукових положень і результатів: розроблені підходи і синтезовані алгоритми були впроваджені в НДІ Радіосистем (м. Житомир), Радіоастрономічному інституті НАН України (м. Харків), Харківському університеті повітряних сил, НПП "Навігаційно-геодезичний центр".

Особистий внесок автора в роботах, виконаних і опублікованих у співавторстві. В роботах, виконаних і опублікованих у співавторстві, особистий внесок автора полягає в такому: в статті [1] - постановка і вирішення задачі оптимального узгодження підпросторів при алгебризації рівняння спостереження; в статті [2] - постановка задачі та виведення умови статистично оптимального узгодження підпросторів.

Апробація результатів наукового дослідження. Основні положення дисертаційної роботи були представлені на всесоюзних симпозіумах "Радіолокаційні дослідження природних середовищ" (Ленінград, квітень 1989 р., квітень 1990 р., квітень 1991 р.), 2-й всесоюзній науково-технічній конференції "Методи уявлення і обробки випадкових сигналів і полів" (Туапсе, 30 вересня  жовтня 1991 р.), на 7-й європейській конференції з обробки сигналів EUSIPCO-94 (Единбург, Великобританія, 1994 р.), 8-й міжнародній конференції "Теорія і техніка передачі, прийому і обробки інформації" ("Інтегровані інформаційні системи, мережі й технології") "ІІСТ-2002" (Туапсе-Харків, 2002 р.), міжнародній науково-практичній конференції “Інформаційні технології управління екологічною безпекою, ресурсами та мірами у надзвичайних ситуаціях" (Рибаче, 2002), 11-й міжнародній конференції "Нові технології в машинобудуванні" (Рибаче 2002), міжнародній науково-технічній конференції "Iнтегрованi комп'ютернi технологii в машинобудуваннi - IКТМ'2002" (м. Харкiв, 2002), 5-й міжнародній науково-практичній конференції "Людина і космос" (Дніпропетровськ, 2003). Результати також докладалися на щорічній науковій конференції співробітників Національного аерокосмічного університету ім. М.Є. Жуковського "ХАІ", на засіданнях семінару, діючого на кафедрі 501 факультету радіотехнічних систем літальних апаратів.

Публікації. Основні результати дисертації опубліковані в 22 статтях у наукових спеціалізованих журналах і науково-технічних збірках, що входять до переліку ВАК України (19 статей), і провідних наукових журналах колишнього СРСР (3 статті). З указаних 22 статей 20 статей виконані без співавторів. Результати дисертації також опубліковані в 6 збірках праць і тез доповідей міжнародних конференцій, в трьох коротких повідомленнях у бюлетені Королівського статистичного товариства (Великобританія).

Структура і обсяг дисертації. Дисертація складається із вступу, семи розділів, висновків щодо роботи, списку літератури і додатків. В роботі 294 сторінки основного машинописного тексту, 79 рисунків і 26 таблиць, розміщених на 61 окремої сторінці, список літератури на 21 сторінці, який включає 229 найменувань, дев’ять додатків на 72 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтована актуальність теми дисертаційної роботи, проаналізовані основні існуючі підходи до синтезу процедур статистичної обробки даних і проблеми, що виникають при їх практичній реалізації в РТС, сформульовані мета і задачі дослідження, наукова новизна і практичне значення одержаних результатів.

У першому розділі проведено аналітичний огляд підходів до синтезу вирішальних процедур, розвинених у рамках класичної статистичної теорії вимірювальних РТС (СТВРС), проаналізовані проблеми практичного використання цих підходів для вторинної обробки даних у РТС, що функціонують в умовах істотної апріорної невизначеності щодо статистичних характеристик первинних даних, а також проведено огляд нових некласичних методів синтезу непараметричних процедур, відомих як "бутстреп" і пермутаційні критерії. На основі проведеного аналізу обґрунтовані основні напрями досліджень дисертаційної роботи.

Проаналізовано особливості задач вторинної обробки вимірювань у РТС і їх відмінності від задач первинної обробки. На прикладі задач оцінки параметрів сигналу показано, що задачі вторинної обробки в РТС відрізняються від задач первинної обробки істотно великою різноманітністю можливих ситуацій, цілей обробки, моделей помилок і апріорною невизначеністю щодо статистичних властивостей даних. При первинній обробці первинними даними звичайно виступає сигнал (t), що приймається:

(t) = (t,) + (t)

де (t,) - корисний сигнал; - вектор оцінюваних параметрів сигналу; (t) - адитивна завада.

Для випадку стаціонарної гауссівської завади (t) у рамках СТВРС розвинена могутня теорія оптимального синтезу оцінок параметра . Проте при вторинній обробці первинними даними є вже не самі спостережувані сигнали (t), а первинні оцінки i, i = 1,...,N параметра , одержані на N інтервалах спостереження. Із СТВРС відомо, що навіть при стаціонарній гауссівській заваді (t) розподіл похибок i==i _ i оптимальних первинних оцінок через наявність аномальних викидів у загальному випадку є негауссівським і може мати істотно важчі хвости, ніж нормальний розподіл. При цьому ймовірність таких аномальних похибок зростає із зменшенням відношення сигнал/завада і збільшенням розміру апріорної області можливих значень оцінюваного параметра .

Показано, що в багатьох реальних задачах радіолокацій, де завада (t) породжена віддзеркаленням зондуючого сигналу від підстеляючої поверхні, відношення шум/сигнал 1/м і, отже, ймовірність аномальних помилок не можуть бути зменшені за допомогою підвищення потужності передавача і чутливості приймача. Більше того, в цьому випадку сама адитивна завада (t) звичайно має істотно негауссівський розподіл з важкими хвостами, вигляд якого апріорно невідомий і може змінюватися непередбачуваним чином. Починаючи з 1990 р. опубліковано багато експериментальних робіт, в яких доведено, що віддзеркалення від підстеляючої поверхні добре апроксимуються так званими стійкими розподілами з нескінченним другим моментом.

Таким чином, показано, що при вторинній обробці даних через нелінійність процедури первинної обробки проблема апріорної невизначеності щодо статистичних характеристик первинних даних (похибок i первинних вимірювань) стоїть гостріше, ніж при первинній обробці, а самі похибки мають істотно негауссівський розподіл з важкими хвостами (навіть при стаціонарному та гауссівському характері завади або шуму (t) ). Використання аналітичних методів параметричного оптимального синтезу СВП, розвинених у рамках класичної СТВРС, у цьому випадку проблематичне через негауссовість й істотну непараметричну невизначеність щодо статистичних характеристик похибок.

Загальним напрямом подолання вказаних труднощів є використання непараметричних і робастних методів статистичного виводу, які забезпечують прийнятну якість остаточного рішення в істотно ширшому діапазоні апріорно невідомих умов, ніж параметричні методи. Проте в рамках класичної статистики на сьогодні практично відсутні розвинені регулярні аналітичні методи синтезу непараметричних СВП і нові непараметричні СВП створюються евристично. Такий шлях побудови нових СВП вимагає високої математичної кваліфікації та значних часових витрат. Тому фахівцям в області обробки даних у РТС доводиться вибирати непараметричні процедури з порівняно вузького набору СВП, уже створених математиками. При такому підході проблематично повною мірою врахувати специфіку конкретної РТС і вирішуваної нею задачі.

Вказана проблема обумовлена принциповими математичними труднощами і навряд чи може бути вирішена в досяжному майбутньому. Одним із шляхів практичного вирішення проблеми створення регулярних методів синтезу нових непараметричних СВП, на погляд автора, є залучення нових числових методів непараметричного статистичного аналізу – так званих "бутстреп-методів". Ці методи вже добре зарекомендували себе в багатьох областях прикладного статистичного аналізу даних, але поки не знайшли широкого застосування для обробки даних у РТС.

Хоча бутстреп-методи через свою числову природу не дозволяють одержати готових аналітичних виразів і побудувати аналітичну теорію, вони дозволяють з прийнятною для практики точністю розв’язувати конкретні практичні задачі статистичного виводу, для яких відсутні аналітичні методи вирішення. В рамках цієї роботи використовують два класи бутстреп-методів: власне бутстреп і наближені пермутаційні критерії.

Бутстреп орієнтований на апостеріорне оцінювання характеристик статистичної точності практично довільної функції t(X) від вибірки X = (1,..., n) . При цьому яка-небудь апріорна інформація про закон розподілу елементів xi не потрібна. Елементи xi вибірки X і значення статистики t(*) можуть бути об'єктами довільної природи - скалярами, векторами, матрицями, зображеннями і т.п. При цьому природа значень t(*) у загальному випадку відрізняється від природи первинних даних xi. Статистика t(*) може бути довільно складною функцією і навіть не мати аналітичного уявлення взагалі, а бути заданою, наприклад, алгоритмічно або програмно. (Наприклад, xi - статистично незалежні радіозображення ділянки поверхні, t(*) - деяка процедура оцінювання векторного параметра (x1,..,xN) стану поверхні, задана у вигляді комп'ютерної програми з невідомою внутрішньою структурою).

Незважаючи на таку загальну постановку задачі, бутстреп дозволяє одержати обґрунтовані оцінки довільних характеристик статистичної точності, наприклад, коваріаційної матриці похибок оцінювання параметра (або будь-якої іншої міри дисперсії). Базова ідея бутстрепу - заміна невідомої генеральної сукупності (ГС) нескінченним числом копій елементів xi первинної вибірки X і розрахунок шуканої міри варіабельності статистики t(*) на псевдовибірках Х*(Х) з такої сурогатної ГС.

Пермутаційні критерії подають загальну схему непараметричної перевірки двох широких класів статистичних гіпотез: 1) гіпотези про те, що дві вибірки X(1) = (х,...,x) і X(2) = (х,...,x) (або більше число вибірок) витягнуті з однієї ГС, тобто мають один і той же невідомий розподіл (наприклад, х  і х  - амплітуди сигналів, відображених від двох ділянок зондованої поверхні, підкоряються одному і тому ж невідомому розподілу); 2) гіпотези про те, що деяка міра t(x,y) зв'язку або залежності двох величин x і у дорівнює нулю (наприклад, у задачі виявлення сигналу xi - відліки коливання, що приймається, yi - відліки опорного сигналу, а t(X,Y) - деяка міра вибіркової кореляції). При цьому для практично будь-якої статистики t(*) гарантується задана ймовірність помилок І-го роду.

Відзначено, що бутстреп і пермутаційні критерії на практиці реалізуються числовими методами Монте-Карло і потребують багатократне обчислення первинної статистики t(*) для псевдовибірок, що вимагає значних обчислювальних витрат – 10_100 разів більших для бутстрепу, і 100_1000 для пермутаційних критеріїв (у порівнянні з однократним обчисленням статистики t(*)Швидкий розвиток засобів цифрової обчислювальної техніки і менші вимоги до оперативності вторинної обробки створюють передумови для успішного використання бутстреп-методів для вторинної обробки даних у РТС при сучасному технічному рівні.

Сформульовані основні напрями досліджень. Основна увага зосереджена на розвитку методів оперативного синтезу непараметричних процедур оцінювання параметрів і перевірки гіпотез у РТС на основі адаптивного вибору вирішальної процедури з множини первинних процедур в умовах непараметричної апріорної невизначеності щодо статистичних властивостей первинних даних. При цьому орієнтація на числові бутстреп-методи статистичного виводу дозволяє істотно розширити множину статистик і використовувати структурно складні й істотно нелінійні статистики, які не піддаються аналітичним методам дослідження.

Другий розділ присвячений синтезу розширеної множини дескриптивних статистик для опису статистичних властивостей сигналів, полів, зображень, первинних вимірювань, реєстрованих РТС. Такі узагальнені статистики побудовані на основі запропонованої концепції узагальнених моментів дробового порядку, де вибір порядку дозволяє змінювати дескриптивні властивості, наприклад, підвищити стійкість при описі розподілів з важкими хвостами, обумовленими аномальними похибками первинних вимірювань. Показано, що, хоча такі узагальнені статистики погано піддаються аналітичним методам статистичного дослідження, вони достатньо просто можуть аналізуватися на основі бутстреп-методів. Синтезовані сім’ї статистик використовують у наступних розділах роботи.

Визначено мінімальний набір обмежень на властивості мір центрального положення, ширини, асиметрії і важкості хвоста розподілів, необхідних для забезпечення трансляційної та зсувної інваріантності відповідних статистик. Введені концепції узагальнених парних та узагальнених непарних моментів довільного (дробового) порядку, на основі яких за аналогією з класичною статистикою потім будуються сім’ї дескриптивних статистик. При цьому для одного і того ж дійсного порядку визначені парний і непарний узагальнені моменти. Узагальнені парні мб(x) і непарні нб(x)моменти порядку  > 0 визначені таким чином:

мб(x)= (x) p(x) dx,

нб(x)= (x) p(x) dx,

де p(x) - щільність розподілу випадкової величини x;
(x) = | x |б - парна функція; (x) - непарна функція вигляду

(x) =

Однопараметричну сім’ю узагальнених мір Cб(x), б ? 0 центрального положення визначено як розв’язання нелінійного рівняння

нб(x ? Cб) = 0, б ? 0.

При цьому C1 (тобто Cб при б = 1) збігається із середнім значенням x, C0 - з медіаною розподілу, C? - із середнім значенням мінімального та максимального елемента вибірки.

Двохпараметричну сім’ю узагальнених мір ширини розподілу (масштабу) Sб,в визначено таким чином:

Sб,в = [мв(x ? Cб(x))]1/в, б ? 0, в > 0.

При цьому S1,2 збігається із середньоквадратичним відхиленням (СКВ) - традиційною мірою ширини розподілу; S0,1 - з середнім модулем ухилень від медіани (що використовується в робастній статистиці); S?,? - з половиною розмаху вибірки.

Запропоновані трипараметричні сім’ї мір Аб.в.г асиметрії і мір Kб.в.г важкості хвоста розподілу (ТХР) визначені такими співвідношеннями:

Аб.в.г (x) = нг, г > 0, г б;

Kб.в.г (x) = мг, г > 0, г в.

При цьому узагальнена міра асиметрії A1,2,3 збігається з класичною мірою асиметрії, а узагальнена міра K1,2,4 збігається з класичною мірою ТХР - ексцесом.

Одержано конструктивні вирази для всіх указаних мір і відповідних дескриптивних статистик і показано, що вони задовольняють визначені раніше вимоги інваріантності.

Запропоновано також сім’ю мір Нб.в. нерівномірності розподілу невід’ємної адитивної величини m (наприклад, ймовірності, енергії або потужності сигналу, радіояскравості і т.п.) за дискретною множиною з N елементів, яка визначається співвідношенням

Нб.в,

а >0, в> 1.

Всі міри Нб.в набувають мінімального значення Нб.в = 1,0 при рівномірному розподілі (m1 = m2 = ... = mN, наприклад, рівномірному розподілі потужності по N спектральних інтервалах), і максимального значення Нб.в = N при максимально нерівномірному розподілі mi = т, тj = 0, j (наприклад, концентрація всієї потужності сигналу в одному з N частотних інтервалів). Зміна значення параметра б дозволяє варіювати дескриптивні властивості - великі значення б роблять значення Нб.в чутливішими до елементів з великими значеннями mi і навпаки. Разом із мірами Нб.в запропоновано комплементарну ним сім’ю мір б.в =  ? /Hб,в , значення яких змінюються від 0 (рівномірний розподіл) до 1 ? /N (максимально нерівномірний розподіл). Наведено приклади апостеріорного оцінювання СКВ значень міри Hб,в на основі бутстрепа і показано збіжність бутстреп-оцінок.

Проведено детальне дослідження дескриптивних властивостей запропонованих узагальнених мір Kв,г ТХР та їх порівняння з класичною мірою - ексцесом (яка збігається з K1,2,4). Дослідження виконано на сім’ї тестових розподілів із щільністю вигляду

pt(x; е,д) = (1 ? е)рп(х) - ерп , (1)

де pn(x) - щільність стандартного нормального розподілу; е - імовірність аномальних похибок (0 ? е ? 1) ; д > 1 - відносне СКВ аномальних похибок д > 1. Щільність pt(x) є простою моделлю аномальних похибок первинних вимірювань, що мають в д разів більше СКВ, ніж похибки нормальних вимірювань.

На рис. показано залежність значень класичної міри ТХР-ексцесу K1,2,4 - від ймовірності е аномальних помилок при різних значеннях д. Чітко спостерігається незадовільна поведінка ексцесу, що виявляється в зниженні значення K, починаючи з деякого "критичного" значення е ес. При цьому значення ес швидко зменшується із зростанням д. Наприклад, для д 10 маємо ес ? ,01 - тобто збільшення ймовірності е аномальних похибок вище 1% супроводжується зменшенням значення класичної міри ВХР К2,4, а не збільшенням (що вимогається від адекватної міри ВХР).

Рис. 1. Залежність значень класичної міри K2,4 важкості хвоста розподілу (ексцесу) від імовірності е аномальних похибок.

Проведено дослідження значень ес для запропонованих узагальнених мір ВХР Kв,г, деякі результати якого наведені в табл. . Із результатів видно, що узагальнені міри ТХР при малих значеннях порядку в узагальнених моментів мають істотно кращі дескриптивні властивості в порівнянні з ексцесом, а саме мають в 20_разів більші критичні значення е.

Таблиця 1

Критичні значення параметра е при д = 10

в | г – в

0,25 | 0,5 | 1,0 | 2,0 | 3,0

0,25 | 0,36 | 0,32 | 0,25 | 0,15 | 0,11

0,5 | 0,28 | 0,24 | 0,18 | 0,11 | 0,076

1,0 | 0,15 | 0,12 | 0,09 | 0,054 | 0,037

1,5 | 0,07 | 0,06 | 0,04 | 0,025 | 0,016

2,0 | 0,03 | 0,025 | 0,017 | 0,01 | 0,007

3,0 | 0,0047 | 0,0038 | 0,0026 | 0,0015 | 0,001

На основі запропонованих узагальнених мір ТХР синтезовані статистичні критерії виявлення негауссовості для задачі прямих спостережень і спостережень амплітуди сигналу, а також проведено статистичне моделювання. Показано, що використання узагальнених мір забезпечує істотне збільшення потужності критерію в порівнянні з традиційним ексцесом - зниження ймовірності помилки ІІ-го роду 8_ раз.

Третій розділ присвячений непараметричному синтезу адаптивних робастних процедур оцінювання на основі бутстрепу. В основі запропонованого підходу лежить принцип адаптивного вибору оцінки з множини L первинних оцінок Ei(X), i = 1,...,L на основі формування бутстреп-оцінок i дисперсії первинних оцінок і вибору первинної оцінки з мінімальним значенням i. Така процедура синтезу може бути реалізована оперативно і не вимагає яких-небудь аналітичних викладень через властивості бутстрепа.

Запропоновано робочу концепцію та кількісну міру відносної робастності двох СВП. У рамках цього визначення довільна СВП E1(•) є більш робастною на множині С вимірювальних ситуацій p P (наприклад, розподілів p похибок первинних вимірювань параметра сигналу), ніж інша СВП Е2(•), якщо вона забезпечує велике максимальне (на P) значення виграшу G (у значенні заданого показника якості Q(E,p)) при малому значенні максимального програшу g у порівнянні з СВП Е2(•). Наприклад, при обробці незалежних первинних вимірювань i статичного параметра л сигналу оцінка по медіані вибірки є більш робастною на множині P, що складається з нормального розподілу і розподілів з важкими хвостами, в порівнянні з оцінкою за середнім значенням, оскільки програє останній по СКВ похибки 20% на нормальному розподілі, але забезпечує багатократний виграш за наявності аномальних помилок (важких хвостів розподілу помилок еi i — л).

Проведено дослідження точності й відносної робастності первинних Lp-оцінок, тобто оцінок за мінімумом Lp  норми нев'язок. Сім’я Lp- оцінок включає в себе оцінки за методом найменших модулів (МНМ) (при p = ), за методом найменших квадратів (МНК) (при p ), за мінімумом чебишевської норми нев'язок (при p = ?). Дослідження проведено для задачі вторинної обробки прямих вимірювань параметра сигналу для одинадцяти Lp  оцінок, що охоплюють весь діапазон можливих значень 1 ? p ? ? і включають такі практично важливі випадки: р = 1 - оцінка по медіані вибірки, p = - по середньому значенню, p = ? - по середньому значенню мінімального та максимального елементу вибірки.

Як тестові розподіли помилок первинних вимірювань використовувався нормальний розподіл, два розподіли з важким хвостом із щільністю вигляду (1) при д = і ймовірність аномальних похибок е = ,05 і е ,2 (далі іменованих "засмічений 5%" і "засмічений 20%"), а також два розподіли з легкими хвостами: арксинусний розподіл (якому підпорядковуються випадкові відліки гармонійних сигналів і сигналів з фазовою або частотною модуляцією) і рівномірний розподіл (який апроксимує похибки аналого-цифрового перетворення). Шляхом статистичного моделювання знайдені значення СКВ похибки для всіх 55 комбінацій оцінок і тестових розподілів. Результати наведені в табл. у вигляді СКВ похибки оцінки, віднесеної до СКВ найточнішої для даного розподілу оцінки.

Результати в табл. свідчать про те, що жодна з первинних оцінок не є робастною на всій множині можливих розподілів P . Введення розподілів із легкими хвостами в P привело до ситуації, коли оцінка по медіані (p ? 1 ) вже не може вважатися робастною, оскільки багато разів програє в точності Lp-оцінкам високого порядку р 2 на розподілах з легкими хвостами, зокрема 37 разів оцінці L? на арксинусному розподілі.

Таблиця 2

Відносне СКВ похибки Lp-оцінок при розмірі вибірки N = 50

p-1 | Тестовий розподіл

арксинусовий | рівномірний | нормальний | засмічений

5% | засмічений

20%

0 | 37,1 | 5,09 | 1,25 | 1,03 | 1,00

1/16 | 34,2 | 4,77 | 1,19 | 1,01 | 1,02

1/8 | 32,6 | 4,63 | 1,17 | 1,00 | 1,04

1/4 | 28,8 | 4,25 | 1,11 | 1,00 | 1,16

1/2 | 23,6 | 3,70 | 1,04 | 1,22 | 1,83

1,0 | 17,7 | 3,04 | 1,00 | 3,67 | 5,82

2,0 | 12,2 | 2,38 | 1,08 | 16,8 | 17,5

4,0 | 7,94 | 1,81 | 1,45 | 34,9 | 30,7

8,0 | 5,03 | 1,39 | 1,96 | 46,0 | 37,3

16,0 | 3,18 | 1,14 | 2,23 | 50,9 | 39,2

+? | 1,00 | 1,00 | 2,34 | 53,6 | 39,9

На основі запропонованої методики була синтезована і досліджена шляхом статистичного моделювання адаптивна СВП Eб, що використовує якості результуючої ту первинну оцінку, для якої бутстреп-оцінка СКВ мінімальна. Результати моделювання для розміру вибірки N = 30 наведені в табл. .

З результатів табл. видно, що синтезована адаптивна оцінка істотно перевершує за ступенем робастності будь-яку з первинних оцінок, тобто при малому максимальному програші (10_%) забезпечує великий максимальний виграш (до 38 разів). Таким чином, доведено, що запропонована методика синтезу адаптивних оцінок на основі бутстрепа дозволяє на основі набору первинних оцінок одержати нову непараметричну СВП, яка має істотно більшу робастність у порівнянні з будь-якою з первинних оцінок. При цьому ніякої апріорної інформація при синтезі не вимагається, що дозволяє використовувати адаптивні оцінки для вторинної обробки даних у РТС, які функціонують в умовах сильної апріорної невизначеності.

У четвертому розділі запропоновано і досліджено загальний метод синтезу непараметричних процедур вторинної обробки даних у РТС, які дають можливість проводити оцінювання параметрів в умовах високої частки аномальних похибок у первинних вимірюваннях - до 80_% і вище. Показано, що при такій високій частці аномальних вимірювань традиційні робастні процедури на основі МНМ, що є найбільш робастними в класі Lp - оцінок, не працездатні. Процедури, які зберігають працездатність при великій (>50%) довше аномальних похибок, в роботі називаються "надробастними" (НР). Запропоновано загальний принцип оцінювання по мінімуму приведеної інтенсивності (МПІ) нев'язок, що дозволяє будувати НР СВП, досліджено властивості МПІ-оцінок, запропоновано і досліджено процедури НР оцінювання та фільтрації на основі МПІ.

Таблиця 3

Виграш у точності адаптивної оцінки щодо різних первинних оцінок (значень p ? 1)

Первинна оцінка (p_) | Тестовий розподіл | min | max

арксину-совий | рівно-мірний | нормаль-ний | засміче-ний 5% | засміче-ний 20%

0 | 11,1 | 3,19 | 1,09 | 1,03 | 0,86 | 0,86 | 11,1

1/16 | 10,1 | 2,96 | 1,03 | 1,00 | 0,89 | 0,89 | 10,1

1/8 | 9,80 | 2,92 | 1,02 | 1,00 | 0,90 | 0,90 | 9,80

1/4 | 8,77 | 2,70 | 0,97 | 1,00 | 1,00 | 0,97 | 8,77

1/2 | 7,25 | 2,35 | 0,91 | 1,22 | 1,57 | 0,91 | 7,25

1 | 5,46 | 1,93 | 0,87 | 3,60 | 4,76 | 0,87 | 5,46

2 | 3,83 | 1,52 | 0,94 | 13,9 | 13,0 | 0,94 | 13,9

4 | 2,54 | 1,17 | 1,22 | 26,1 | 21,5 | 1,17 | 26,1

8 | 1,64 | 0,94 | 1,51 | 33,4 | 25,6 | 0,94 | 33,4

16 | 1,09 | 0,84 | 1,64 | 36,9 | 27,0 | 0,84 | 36,9

+? | 0,58 | 0,81 | 1,70 | 38,9 | 27,5 | 0,58 | 38,9

На першому етапі розгляду запропоновані евристично побудовані СВП для оцінювання скалярного параметра, які дозволяють проводити НР оцінювання завдяки чутливості використовуваних статистик до моди розподілу. Шляхом статистичного моделювання доведено, що такі процедури дають можливість проводити оцінювання в умовах наявності до 80_% аномальних вимірювань, коли традиційні МНК- і МНМ-оцінки непрацездатні.

Подальший розгляд присвячено регулярним методам синтезу НР СВП на основі запропонованої концепції МПІ-оцінювання. МПІ-оцінки будуються на основі пошуку мінімуму приведеної інтенсивності (ПІ) нев'язок за оцінюваним параметром. ПІ In(X) порядку n?N множини X = (x1,... ,xN) N дійсних значень xi визначається таким співвідношенням:

In(X, I(•)) = I(x(1),…, x (n)), n?N,

де I(*) - деяка міра інтенсивності або ефективної амплітуди, наприклад СКВ, середній модуль, максимальне значення модуля; х(k) - к-й елемент варіаційного ряду для всіх xi . Показано, що при достатньо малих значеннях порядку n, що не