КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ

ІМЕНІ ТАРАСА ШЕВЧЕНКА

МЕРГЕЛЬ Віктор Володимирович

УДК 519.21

СТАТИСТИЧНЕ ОЦІНЮВАННЯ ЕНТРОПІЇ ТА ЙОГО ЗАСТОСУВАННЯ ДО ПОБУДОВИ СТАТИСТИЧНИХ КРИТЕРІЇВ

01. 01. 05 — теорія ймовірностей і математична статистика

А В Т О Р Е Ф Е Р А Т

дисертації на здобуття наукового ступеня

кандидата фізико – математичних наук

Київ – 2001

Дисертацією є рукопис.

Робота виконана на кафедрі теорії ймовірностей і математичної статистики механіко-математичного факультету Київського національного університету імені Тараса Шевченка.

Науковий керівник

Доктор фізико – математичних наук, професор

ЛЕОНЕНКО Микола Миколайович

Київський національний університет імені Тараса Шевченка,

Професор кафедри теорії ймовірностей і математичної статистики механіко-математичного факультету.

Офіційні опоненти:

Доктор фізико – математичних наук,

СВІЩУК Анатолій Віталійович

Міжнародний математичний центр НАН України,

Завідувач відділу математичних проектів і програм.

Кандидат фізико – математичних наук

ПАШКО Анатолій Олексійович

Український науково-дослідний інститут прогнозування та випробування техніки та технологій для сільськогосподарського виробництва, провідний науковий співробітник відділу математичного моделювання та прогнозування.

Провідна установа:

Інститут кібернетики, ім. В.М. Глушкова НАН України (м. Київ)

Захист відбудеться “_18_” __ червня _____ 2001 року о _14_ годині на засіданні спеціалізованої вченої ради Д 26. . при Київському національному університеті імені Тараса Шевченка за адресою: 03022 м. Київ – , проспект Академіка Глушкова, 6, корпус 7, механіко–математичний факультет.

З дисертацією можна ознайомитись у бібліотеці Київського національного університету імені Тараса Шевченка (м. Київ, вул. Володимирська 58).

Автореферат розіслано “_15_” __травня______ 2001 р.

Вчений секретар

Спеціалізованої вченої ради Моклячук М. П.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. В m-вимірному евклідовому просторі з відстанню

де x=(x1, x2, …, xm) -m та y=(y1, y2, …,ym) -m, по незалежним спостереженням X1 , X2 , ……, XN , N>1 вектора з апріорі невідомою щільністю ймовірності f(x), x-m, будуються оцінки ентропії:

H=H(f)=

Найбільш типовий підхід при оцінці цього функціоналу полягає в заміні функції щільності розподілу f(x) її емпіричним аналогом. При такому підході, як правило, умови, що накладаються на функцію розподілу, для того, щоб отримані оцінки були конзистентними виявляються дуже обмежуючими, що значно ускладнює можливість побудови критеріїв згоди, основаних на властивостях ентропії випадкової величини.

Ядерні оцінки, що базуються на ядерних оцінках щільності, досить складні для дослідження та практичного використання.

Оцінки ж, основані на так званому "методі спейсингів" виявляються значно простішими для дослідження, завдяки чому виявляється можливим їх використання як при перевірці гіпотез про розподіл випадкових величин, так і в інших галузях науки.

Такі оцінки для одновимірних неперервних розподілів при деяких умовах, накладених на функцію щільності, виявляються конзистентними. Крім того, нещодавно для таких оцінок була сформульована ЦГТ, що дає змогу будувати критерії перевірки гіпотез про розподіли в.в., основані на таких оцінках.

У багатовимірному випадку для оцінок типу Козаченко-Леоненка навіть питання про корінь з N конзистентність до теперішнього часу залишалося відкритим.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота є частиною комплексної наукової програми Київського Національного Університету імені Тараса Шевченка на 1997-2000 р. по темі "Вивчення властивостей деяких оцінок ентропії та використання цих оцінок при характеризації ймовірносних розподілів".

Мета і задачі дослідження. Об'єкт дослідження - узагальнені оцінки ентропії, що побудовані з використанням ідей багатовимірного аналога методу спейсингів для неперервних розподілів в.в.

Предмет дослідження - поведінка об'єкту дослідження при зростанні кількості незалежних спостережень в.в., його властивості, можливості застосування для побудови критеріїв згоди та перевірки деяких властивостей розподілів в.в.

Головною метою дисертаційної роботи було побудувати узагальнення оцінок ентропії випадкової величини, вивчити умови, накладені на функцію розподілу випадкової величини, при яких ці оцінки будуть конзистентними, та дослідити питання про можливість застосування принципу максимальної ентропії та властивостей побудованих оцінок для характеризації деяких ймовірносних розподілів випадкових величин.

Методи дослідження. В дисертаційні роботі було запропоновано узагальнення оцінок Козаченко-Леоненка, яке основане на понятті к-спейсингів. Завдяки такому узагальненню та інтенсивному використанню теореми Лебега про поведінку середніх по кулі від щільності розподілу, теореми відокремленості та принципу Лагранжа, були показані асимптотична незсуненість та конзистентність побудованих оцінок. Вперше, завдяки використанню узагальнення нерівності Островського, була доведена корінь з N конзистентність та оцінена в термінах О-великого швидкість збіжності таких оцінок до дійсного значення ентропії ймовірносного розподілу. Крім того, було сформульовано принцип максимальної ентропії для широкого класу, як одновимірних, так і багатовимірних ймовірносних розподілів.

Наукова новизна одержаних результатів. Найбільш часто оцінки ентропії ймовірносного розподілу опирались на ідею заміни функції щільності, або відповідної їй функції розподілу їх емпіричними аналогами (ядерні та гістограмні оцінки). Вони досліджувались, наприклад, Дмитрієвим та Тарасенком для ядерних оцінок, або Д’юдевіцом та Ван дер Мюленом для гістограмних.

В даній дисертації автор, взявши за основу, так званий, "метод спейсингів", запропонував його узагальнення на багатовимірний випадок, що дало змогу побудувати однопараметричний клас оцінок ентропії випадкової величини.

Виявилося, що оцінка ентропії випадкового вектора, одержана в роботі Козаченко Л.Ф. та Леоненка М.М., належить до цього класу і відповідає оцінці при значенні параметра 1.

Крім того, вдалося сформулювати умови, що потрібно накласти на функцію розподілу, для того, щоб оцінки з цього класу були асимптотично незсуненими та конзистентними, що сформульовано у вигляді двох теорем в основній частині, а також вперше сформулювати умови, при яких такі оцінки будуть корінь з N конзистентними та вперше оцінити у термінах О великого швидкість збіжності цих оцінок до дійсного значення ентропії багатовимірного ймовірносного розподілу. В результаті проведеного дослідження виявилося, що обмеження, отримані Козаченко Л.Ф. та Леоненком М.М., можна значно послабити, що значно розширює клас функцій щільності, для яких запропонована статистична оцінка ентропії буде асимптотично незсуненою та конзистентною.

Використовуючи побудовані статистичні оцінки ентропії ймовірносного розподілу та, так званий, принцип максимальної ентропії в дисертаційній роботі вперше критерії перевірки гіпотез про деякі розподіли випадкової величини, зокрема про Інверс-Гаусівський розподіл та багатовимірний розподіл Пірсона типу II та VII.

Практичне значення отриманих результатів. Головним практичним висновком, що випливає з результатів, отриманих в дисертації, є те, що стало можливим значно розширити клас розподілів, для яких статистична оцінка ентропії буде конзистентною, що призводить, в свою чергу, до можливості побудови критеріїв згоди для цих розподілів. Отримані результати доповнюють відповідні дослідження властивостей оцінок ентропії, побудованих, з використанням запропонованого узагальнення методу спейсингів.

Особистий внесок здобувача. В першій публікації є два співавтори один з яких це науковий керівник Леоненко М. М., якому належить тільки теоретична постановка задачі, та ідея використання статистичних оцінок ентропії для побудови критеріїв перевірки статистичних гіпотез про розподіли випадкових величин. Іншим співавтором є Горія М. Н., який запропонував ідею критерію перевірки гіпотези про незалежність двох випадкових величин.

У публікації, опублікованій у співавторстві з Крвавичем Ю.В., всі результати, що стосуються побудови критеріїв згоди, належать дисертанту.

Властивості статистичних оцінок ентропії та самі оцінки отримані дисертантом самостійно.

Всі інші праці, приведені в розділі "публікації" дисертаційної роботи, опубліковані дисертантом без співавторів.

Апробація результатів дисертації. Різні аспекти даної дисертаційної роботи були представлені на наукових семінарах, доповідались з опублікуванням тез на слідуючих наукових конференціях та конгресах:

23rd Research Students' Conference in Probability and Statistics, Cardiff (U. K.), April 11-14, 2000;

3rd European Congress of Mathematics, Barcelona (Spain), July 10-14, 2000;

XXXIst International ASTIN Colloquium, Porto Cervo (Italy), September 17-20, 2000.

Публікації. Основні результати дисертації опубліковано в роботах [1–4].

Структура та об'єм дисертації. Дисертаційна робота складається із вступу, чотирьох розділів, розбитих на 21 підрозділ, висновків та списку використаних джерел (56 найменувань). Загальний обсяг дисертації становить 119 стор.

Автор дисертації висловлює щиру подяку своєму науковому керівнику Леоненко Миколі Миколайовичу за постановку розглянутих в дисертаційній роботі задач та постійну увагу до роботи.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У дисертації наведене теоретичне узагальнення і нове вирішення наукової задачі оцінювання ентропії ймовірносного розподілу випадкової величини та дослідження властивостей побудованих оцінок, що виявляється можливим завдяки використанню деяких ідей методу спейсингів. В роботі запропоновано багатовимірний аналог спейсингів к-того порядку, які використовуються для побудови оцінки ентропії ймовірносного розподілу. Крім того, отримані деякі властивості побудованих оцінок і побудовані ентропійні критерії перевірки гіпотез про деякі ймовірносні розподіли випадкових величин.

У вступі аналізується сучасний стан питання про результати досліджень властивостей статистичних оцінок ентропії ймовірносних розподілів. Обгрунтовується актуальність побудови оцінок, основаних на узагальненому методі спейсингів, та актуальність дослідження властивостей таких оцінок. Встановлена наукова новизна та практичне значення роботи, вказується особистий внесок здобувача, апробація роботи та публікації автора, в яких викладено основний зміст. Вказано на зв’язок проведеного дослідження з науковими темами, що являються частиною комплексної наукової програми Київського Національного Університету імені Тараса Шевченка.

У першому розділі дисертації зроблено огляд наукових праць за даною проблематикою, описано головні методи побудови статистичних оцінок ентропії та властивості цих оцінок. Викладені основні ідеї методу спейсингів, його узагальнення на багатовимірний випадок та застосування для побудови деяких класів статистичних оцінок. Зокрема, викладено результати Козаченко Л. Ф. та Леоненка М. М. по дослідженню властивостей оцінок, побудованих за допомогою багатовимірного аналогу методу спейсингів, а також результати Цибакова А. Б. та Ван дер Мюлена по дослідженню властивостей модифікованих оцінок Козаченко-Леоненка.

У другому розділі дисертації представлено ідею побудови багатовимірного аналогу спейсингів к-того порядку і за допомогою цього аналогу побудовано новий клас оцінок ентропії ймовірносного розподілу випадкової величини, причому, оцінки Козаченко-Леоненка, належать до цього класу.

Розглядається m-вимірний евклідів простір з евклідовою метрикою:

,

де та.

Нехай у цьому просторі - відкрита куля радіуса з центром у точці і нехай її об’єм, де.

У цьому просторі розглядається набір N незалежних випадкових спостережень деякого випадкового вектора з апріорі невідомою щільністю ймовірності. Нехай ці спостереження: і для фіксованого спостереження та фіксованого визначимо випадкові величини слідуючим чином:

Тоді з імовірністю 1 маємо

Для фіксованого покладемо

Тоді, на основі так отриманої випадкової величини будується оцінка невідомої ентропії ймовірносного розподілу:

де - дігамма функція, а .

Для так побудованої оцінки у дисертації доведені властивості асимптотичної незсуненості та конзистентності, що сформульовано у вигляді наступних двох теореми:

Теорема 2.2.1. Нехай - фіксоване, і крім цього існує >0 таке, що

тоді

де

- ентропія ймовірносного розподілу m-вимірної випадкової величини із щільністю ймовірності f.

Ідейно доведення теореми 2.2.1. реалізоване в роботі наступним чином. Для доведення теореми оцінка була представлена у слідуючому вигляді:

де деякі однаково розподілені випадкові величини. Виходячи з цього, замість того, щоб досліджувати поведінку математичного сподівання запропонованої оцінки ентропії ймовірносного розподілу -, при значній кількості спостережень - N можна досліджувати поведінку при фіксованому значенні параметра k.

В роботі показано, що для випадкової величини з функцією розподілу існує випадкова величина, яка не залежить від N, і функція розподілу якої при N, що прямує до нескінченності, являється граничною для функції розподілу. Для випадкової величини в роботі було знайдено вигляд функції щільності, через початкову функцію щільності f(x). Слідуючий етап доведення теореми полягає в обгрунтуванні рівності

Справедливість останньої перевіряється спираючись на лему:

Лема 2.2.2. (Shorack and Wellner) Нехай послідовність випадкових величин, які збігаються за розподілом до випадкової величини, і нехай існує та деяка константа с>0 такі, що для всіх N 1.

Тоді для всіх і для всіх,

З факту, що для деякої додатньої константи с, використовуючи цю лему, випливає рівність з якої і отримується згадана рівність.

Після цього, використовуючи лему Фату, доведено що:

що і завершує доведення Теореми 2.2.1.

З технічної сторони, задача реалізації вищенаведених ідей виявляється досить складною. Для подолання цих труднощів у роботі широко використовується теорема Лебега, яка сформульована у вигляді слідуючої леми:

Лема 2.2.1. Якщо, то для будь-якої послідовності відкритих куль радіуса при і майже для всіх

та дві наступні леми:

Лема 2.2.4. Нехай деяка функція розподілу. Тоді для того, щоб при виконувалося співвідношення

необхідно і достатньо, щоб виконувалося співвідношення

при цьому

Лема 2.2.5. Нехай деяка функція розподілу і. Тоді для того, щоб при виконувалося співвідношення

необхідно і достатньо, щоб виконувалося співвідношення

при цьому

Конзистентність побудованої оцінки представлена у вигляді слідуючої теореми:

Теорема 2.2.2. Нехай k, >0 такі ж як і в попередній теоремі, та

тоді оцінка ентропії буде конзистентною оцінкою H при.

При доведенні цієї теореми в роботі знову використане представлення оцінки у вигляді:

де деякі однаково розподілені випадкові величини. Звідки

Хоча дослідження поведінки з ідейного боку не набагато складніше від теореми 2.2.1., але його технічна реалізація виявляється на багато складнішою, так як природа величин в цьому випадку приводить до того, що в цьому випадку доводиться досліджувати повторні інтеграли.

У одновимірному випадку при к=1 виявляється, що якщо замість відстані розглянути її усічений аналог -

то тоді модифікована оцінка Козаченко-Леоненка:

де - константа ейлера, буде -конзистентною. Цей факт у дисертації сформульований у вигляді слідуючої теореми:

Теорема 2.3.1. Нехай виконуються умови:

f двічі диференційована та додатня на носії функція і крім того;

де b, C - деякі скінченні додатні константи. Тоді оцінка

буде -конзистентною, тобто:

У роботі вперше отримана властивість -конзистентності для такого роду оцінок. Довести цю властивість вдалося значною мірою завдяки використанню так званої інтегральної нерівності Островського, яка сформульована у роботі у вигляді слідуючої леми:

Лема 2.3.1. (Інтегральна нерівність Островського). Нехай диференційоване відображення в (- множина внутрішніх точок), і нехай, де. Якщо обмежена на, тобто, тоді справедлива слідуюча нерівність:

для всіх.

Константа не може бути замінена на меншу.

Крім цієї теореми, для модифікованих оцінок Козаченко-Леоненка у m-вимірному евклідовому просторі доведена слідуюча теорема:

Теорема 2.4.1. Нехай виконуються умови:

;

f двічі диференційована та додатня на носії функція;

де b, C - деякі скінченні додатні константи. Тоді для оцінки

буде виконуватись:

при.

Перед тим як перейти до 3 розділу дисертації сформулюємо основну ідею Принципу максимальної ентропії при характеризації ймовірносного розподілу.

Відомо, що міра невизначеності Шенона досягає свого максимуму, коли всі результати експерименту рівноймовірносні. Це узгоджується з принципом недостатньої причини Лапласа про те, що до тих пір, поки в нас немає протилежної інформації, всі результати експерименту слід вважати рівноймовірносними.

Отже, нехай ми маємо клас ймовірносних розподілів, визначений деякими обмеженнями:

де - абсолютно інтегровані функції по відношенню до щільності f , - деякі числові константи, а X - вектор спостережень результатів експерименту.

Тоді, згідно з принципом максимальної ентропії, пропонується апроксимувати невідому функцію щільності моделлю, що максимізує ентропію Шенона і задовольняє обмеження, які визначають клас F.

У третьому розділі дисертаційної роботи сформульований та доведений принцип максимальної ентропії для таких розподілів як: логнормальний розподіл випадкової величини, хі-квадрат розподіл з n степенями свободи, розподіли Ерланга, Гамма, Інверс-Гаусівського та розподілу загальної помилки.

Усі результати сформульовані у вигляді окремих теорем. Як приклад приведемо теорему про принцип максимальної ентропії для логнормального розподілу.

Теорема 3.1.1. Розглянемо клас К1 щільностей ймовірності f, зосередженої на носії supp(f)=(0,), і такої, що для неї виконуються умови теорем 2.2.1. та 2.2.2., а також фіксовані та.

Тоді серед усіх одновимірних функцій щільності випадкової величини, що належать до класу К1 максимум ентропії досягається на щільності логнормального розподілу f*, тобто

Крім цього, в третьому розділі вперше побудовані критерії перевірки гіпотез про ці розподіли, які базуються на доведеному для них принципі максимальної ентропії. Ідея побудови таких критеріїв полягає в слідуючому:

Нехай, X1,......, XN, N>1 - це випадкові спостереження випадкової величини X, з функцією розподілу, яка належить класу F. І нехай f* це щільність, яку ми отримали згідно з Принципом максимальної ентропії, при обмеженнях, що визначають клас F. Тоді для будь-якого іншого ймовірносного розподілу f з класу F ми маємо: H(f)<H(f*).

Тепер нульова гіпотеза про те, що H0: X1,......, XN, N>1 - вибірка з розподілу, функція щільності якого f* повинна бути відкинута, якщо при де Hk,N конзистентна оцінка ентропії Шенона H(f) і при підрахунках H(f*) використовуються конзистентні оцінки параметрів функції щільності.

Четвертий розділ дисертації присвячений побудові критерію перевірки гіпотези про багатовимірні розподіли Пірсон II та Пірсон VII, а також побудові ентропійного критерію перевірки гіпотези про незалежність випадкових величин.

Ентропія багатовимірного розподілу може розглядатися як міра взаємозалежності. І справді, компоненти випадкового вектора незалежні тоді і тільки тоді, коли ентропія об’єднаної схеми дорівнює сумі маргинальних ентропій для кожної компоненти окремо.

Нехай - двовимірний вектор з двовимірною щільністю і нехай та умовна щільність означають відповідно маргинальні та умовну щільності. Ентропія об’єднаної схеми визначається як:

,

а маргинальні ентропії як:

та

Тоді та будуть незалежними тоді і тільки тоді, коли

Завдяки такій характеризації та Теоремі 2.2.2. в дисертаційній роботі побудовано ентропійний критерій перевірки гіпотези про незалежність випадкових величин.

Нехай незалежні спостереження випадкового вектора з функцією щільності ймовірності. Клас двовимірних функцій щільності, що задовольняють умови теорем 1.2.1. та 2.2.2. для m=2 позначимо L. Тоді як показано в дисертаційній роботі, нульову гіпотезу та - незалежні випадкові величини з класу L слід прийняти тоді і тільки тоді, коли

, при.

ВИСНОВКИ

У дисертації розв'язується задача узагальнення оцінок, побудованих на основі узагальнення методу к-спейсингів на багатовимірний випадок та дослідження властивостей побудованих оцінок.

Встановлені умови, при яких оцінки ентропії, побудовані на основі к-спейсингів, будуть асимптотично незсуненими та конзистенними, корінь з N конзистентними, крім того, для випадку спейсингів першого порядку встановлено швидкість збіжності цих оцінок у термінах О-великого до точного значення ентропії ймовірносного розподілу.

Для дослідження властивостей оцінок широко використовуються методи теорії локальної поведінки функцій у термінах о-маленького та О-великого, теорема Лебега про поведінку середніх по кулі від щільності розподілу, коли радіус кулі прямує до нуля, теорема відокремлення разом із принципом Лагранжа та принципи теорії ймовірностей та математичної статистики.

Крім того, побудовані оцінки, використані для побудови критеріїв перевірки гіпотез про розподіл випадкових величин, зокрема вперше сформульовано принцип максимальної ентропії та побудовано на його основі критерій перевірки гіпотези про інверс-гаусівський розподіл випадкової величини, а також вперше побудовано критерій перевірки гіпотези про незалежність випадкових величин.

Отримані результати мають як теоретичне значення, так і практичне застосування і можуть бути використані як в якості матеріалу для підготовки лекцій для читання спецкурсів по додатковим главам математичної статистики, так і для подальшого дослідження в даному напрямку, особливо для дослідження питання про розподіли випадкових величин.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Mergel V. Test of goodness of fit for inverse-gaussian distribution // Mathematical Communications. – 1999. – Vol. 4, №2. – P. 191–195.

2. Мергель В. В. Про ентропійні критерії перевірки гіпотез про розподіли випадкових величин // Вісник Київського університету, Cер. фіз.-мат. науки. – 2000. №1. – C. 126 – 132.

3. Мергель В. В. Побудова критерію перевірки гіпотези про розподіл випадкового вектора. // Теор. ймовірн. та Мат. Статист. – 1999. – T. 61, №4. – С. 126 - 130.

4. Mergel V., Krvavych Yu. Large loss distributions: probabilistic properties, EVT tools, maximum entropy characterization // Proceedings of XXXIst International ASTIN Colloquium, 2000. – P. 177 - 197.

Мергель В. В. Статистичне оцінювання ентропії та його застосування до побудови статистичних критеріїв. — Рукопис.

Дисертація на здобуття наукового ступеня кандидата фізико–математичних наук за спеціальністю 01.01.05. — теорія ймовірностей та математична статистика.  — Київський національний університет імені Тараса Шевченка, Київ, 2001.

Дисертаційна робота є науковим дослідженням властивостей статистичної оцінки ентропії, побудованої за допомогою узагальненого методу спейсингів, яка використовується для побудови критеріїв перевірки гіпотез про розподіли випадкових величин та критерію перевірки гіпотези про незалежність випадкових величин.

В роботі розв’язано низку цікавих задач по дослідженню властивостей побудованих статистичних оцінок, знайдено умови на функцію щільності випадкової величини, при яких ці оцінки будуть асимптотично незміщеними та конзистентними, - конзистентними, а також умови, при яких порядок відхилення цих оцінок від точного значення ентропії випадкового розподілу при великих N веде себе як О(1/N). Крім того, сформульовано і доведено принцип максимальної ентропії для деяких ймовірносних розподілів і запропоновано використовувати ці оцінки для побудови критерію перевірки гіпотези про незалежність випадкових величин.

Ключові слова: ентропія, принцип максимальної ентропії, статистична оцінка, ймовірносний розподіл, критерій перевірки гіпотези.

Мергель В. В. Статистическое оценивание энтропии и его применение к построению статистических критериев. - Рукопись.

Диссертация на соискание научной степени кандидата физико-математических наук по специальности 01.01.05. - теория вероятностей и математическая статистика. - Киевский национальный университет имени Тараса Шевченко, Киев, 2001.

Диссертационная работа является научным исследованием свойств статистической оценки энтропии вероятностного распределения случайной величины, построенной с помощью некоторых идей обобщенного метода спейсингов, что используется для построения критериев проверки гипотез о распределениях случайных величин и критерия проверки гипотезы о независимости случайных величин.

Для построения оценок энтропии вероятностного распределения в работе построены аналоги спейсингов к-того порядка, что позволяет получить целый класс оценок энтропии вероятностного распределения, зависящих от одного параметра. Оказывается, что при всех значениях параметра к ограничения на функцию плотности, для того, чтобы оценки из этого класса были асимптотически несмещенными и состоятельными, очень общие, что позволяет использовать их для построения критериев проверки гипотез о распределении случайных величин для очень широкого класса вероятностных распределений.

В работе решен ряд интересных задач по исследованию свойств построенных статистических оценок, найдены условия на функцию плотности случайной величины, при которых эти оценки будут асимптотически несмещенными и состоятельными, - состоятельными, а также условия, при которых порядок отклонения этих оценок от точного значения энтропии случайного распределения при больших N ведет себя как О(1/N). Для асимптотической несмещенности и состоятельности, оказывается достаточным конечность для некоторого значения следующих величин: и. Для доказательства - состоятельности условия на функцию плотности более сильные, что сужает класс вероятностных распределений.

Кроме того, сформулирован и доказан принцип максимальной ентропии для следующих одномерных вероятностных распределений: логнормальное, хи-квадрат, эрланга, гамма, инверс-гаусовское и распределения общей ошибки. Используя принцип максимальной энтропии и доказанные свойства построенных оценок энтропии вероятностных распределений, для этих распределений построены критерии проверки гипотез о распределении случайных величин. В последней главе построены критерии проверки гипотезы о распределениях Пирсон II и VII, а также построен критерий проверки гипотезы о независимости случайных величин.

Для построения критерия проверки гипотезы о независимости случайных величин, используется тот факт, что энтропия многомерного вероятностного распределения может рассматриваться как мера взаимозависимости компонент случайного вектора. Компоненты случайного вектора независимы тогда и только тогда, когда общая энтропия объединенной схемы равна суме маргинальных энтропий каждой компоненты в отдельности.

Ключевые слова: энтропия, принцип максимальной энтропии, статистическая оценка, вероятностное распределение, критерий проверки гипотезы.

Mergel V.Statistical estimation of entropy and its application in testing of statistical hypotheses. — Manuscript.

The dissertation on competition of scientific degree of candidate of physical and mathematical science on a specialty 01.01.05. — probability theory and statistics. — Kyiv National University of Taras Shevchenko, Kyiv 2001.

The dissertation work is a scientific research of properties of a statistical estimator of entropy constructed using the generalized spacing method, the last is used for construction of tests of goodness of fit for some probability distributions and for construction of test of independence.

In this research the number of different problems have been studied and there were studied the conditions density function should satisfy to result such an estimators to be asymptotically unbiased and consistent,-consistent, and also there were found the conditions at which the order of a deviation of these estimators from exact meaning of entropy of probabilistic distribution at large N behaves as O(1/N). Besides it was formulated and proved the maximum entropy principle for some probabilistic distributions and it was offered to use these estimators for construction of test of independence.

Key words: Entropy, maximum entropy principle, statistical estimator, probabilistic distribution, test of goodness of fit.