ОСТРОПИЦЬКИЙ Віталій Михайлович

УДК 519.651.3: 519.689.4

Розробка iнформацiйнОЇ технологiЇ

НЕЛІНІЙНОЇ РОБАСТНОЇ СПЛАЙН-ОБРОБКИ ДАНИХ

В системІ монiторингу

05.13.06 Автоматизованi системи управлiння та прогресивнi iнформацiйнi технологiї

Автореферат дисертацiї на здобуття наукового ступеня
кандидата технiчних наук

Київ 1999

Дисертацією є рукопис.

Робота виконана на кафедрi математичного забезпечення ЕОМ Днiпропетровського державного унiверситету Міністерства освіти України.

Науковий керiвник -

доктор технiчних наук, професор ПРИСТАВКА Олександр Пилипович, НДІ геології Дніпропетровського державного університету, головний науковий співробітник.

Офiцiйні опоненти:

доктор технiчних наук, професор, лауреат Державної премiї України IГНАТОВ Володимир Олексійович, КМУЦА, завідувач кафедри;

кандидат технічних наук, старший науковий співробітник
ЧУПРИН Володимир Михайлович, Науково-дослідний інститут автоматизованих систем будівництва, завідувач лабораторії.

Провiдна установа:

Національний технічний університет України “Київський політехнічний інститут”, Міністерство освіти України, м. Київ

Захист вiдбудеться “10” лютого 2000 р. о 14 годинi на засiданнi спецiалiзованої вченої ради Д 26.062.01 при Київському мiжнародному унiверситетi цивiльної авiацiї за адресою: 03058, м. Київ-58, проспект Космонавта Комарова, 1.

З дисертацiєю можна ознайомитися в бiблiотецi Київського мiжнародного унiверситету цивiльної авiацiї.

Автореферат розiсланий “22” грудня 1999 року.

Вчений секретар

спецiалiзованої вченої ради |

ГУЗIЙ М.М.

Актуальність теми. При обробці інформації в системах моніторингу вирішуються як детерміновані задачі на основі рівнянь математичної фізики (методу скінченних елементів, варіаційних задач Коші), так і стохастичні задачі з використанням імітаційного моделювання процесів та статистичного рішення, яке базується на обробці масивів статистичних даних.

Задача підвищення надійності відновлення залежностей та побудови адекватних моделей на основі статистичних даних є актуальною при створенні сучасних інформаційних технологій. При автоматичній обробці статистичних даних контролю параметрів систем, які змінюються з часом та є заданими на дискретній множині, для одержання вірогідних висновків відносно відновлених залежностей необхідно здійснити сплайн-перетворення. Реалізація сплайнів дозволяє підвищувати надійність відновлення моделей та знаходити структурні зміни в процесах та явищах, які спостерігаються. Фундаментальний внесок у теорію наближення сплайнами зроблено вітчизняними та зарубіжними вченими. У статистичній постановці задача побудови сплайнів досліджена в роботах Г.Уаба, І.Шоенберга, Б.Г.Марченка, М.О.Шутка, О.П.Приставки та ін.

Особливістю статистичних масивів є їх зашумованість. Для її зменшення реалізують такі методи:

-

- безпосереднє застосування згладжуючих сплайн-регресій;

- реалізація робастних алгортмів для одержання стійких оцінок.

Існуючі методи та програмні середовища відновлення сплайн-регресійних моделей переважно базуються на інтерполяційних схемах. Їх застосування не завжди дає адекватні моделі при суттєвій осциляції випадкової складової, яка потребує згладжування. Це обумовило вибір згладжуючих та усереднюючих сплайн-функцій для відновлення одновимірних та багатовимірних регресійних залежностей.

Сучасні інформаційні технології дозволяють реалізувати методи відновлення сплайн-регресійних моделей у автоматизованій системі обробки експериментальних даних довільного характеру: показників фізичних приборів, результатів економічних, екологічних спостережень та ін.

У зв’язку із зростаючим антропогенним впливом на довкілля виникає необхідність створення систем екологічного моніторингу, призначених для вирішення задач оперативного аналізу та прогнозу, що визначають параметри навколишнього середовища. Вирішення цієї проблеми потребує розробки автоматизованої системи обробки даних для проведення кількісного аналізу екологічного стану довкілля. Особливо напружена екологічна ситуація склалася в районах розробки корисних копалин, де техногенна діяльність спричинила до необхідність ведення жорсткого моніторингу на території комбінатів, що можливо за умови створення автоматизованих систем оперативного аналізу та прогнозування стану природного середовища. Одним із завдань таких систем є територіальне картографування, яке відтворює функціональні залежності (рельєфи функцій) техногенного впливу за гідрохімічними показниками. Одержані таким чином карти складають основу територіального атласу, який є головним джерелом оперативного аналізу та прийняття рішень щодо зменшення впливу техногенних навантажень. Вирішення сформульованої загальної задачі моніторингу здійснюється шляхом знаходження функціональних залежностей та рельєфів функцій по вибіркових точках на поверхні та виконання картографічного відображення одержаних поверхонь та їх прив’язки до рельєфу місцевості. Отримані в результаті моделі - залежності між певними факторами - реалізуються для оперативного аналізу та прийняття рішень щодо поліпшення стану природного середовища.

Зв’язок роботи з науковими програмами, планами, темами. Результати дисертаційної роботи одержані за період 1995-1999рр. згідно з тематичними планами науково-дослідних робіт:

-

- держбюджетна тема 01-71-98 ДДУ “Розробка автоматизованої системи зберігання, обробки та прогнозу стану природного середовища при техногенному впливі на основі сучасних iнформацiйних технологій (регіон Кривбасу)“ ГР 0198U003757;

- госпдоговірна тема 123 “Вивчення впливу зміни напрямку гірничих робіт на гідрогеологічні та інженерно-геологічні умови в Кривбасі” ГР 194U039231;

- госпдоговірна тема 86003001195 “Дослідження та розробка методики проведення гідрохімічних спостережень за свердловинами режимної мережі на території ПівнГЗК“.

Мета і задачі дослідження полягають у виборі методів, розробці стійких робастних алгоритмів та програмного забезпечення відновлення статистичних оцінок одновимірних та багатовимірних залежностей за експериментальними даними на основі згладжуючих та усереднюючих сплайн-регресій та реалізації розробленої інформаційної технології в системі екологічного моніторингу.

Наукова новизна одержаних результатів полягає в тому, що вперше:

-

- запропонований ітераційний алгоритм пошуку оптимальної сітки розміщення вузлів склеювання одновимірної сплайн-регресії, який дозволяє підвищити точність відновлення моделей та процедури перевірки значимості вузлів склеювання;

- розроблені алгоритми, завдяки яким можна одержати стійкі оцінки багатовимірних залежностей на основі робастних алгоритмів, зокрема побудови поверхонь з використанням усереднюючих двовимірних сплайн-регресій;

- розроблено програмне середовище системи автоматизованої обробки статистичних даних для відновлення залежностей у системах моніторингу.

Практичне значення одержаних результатів дисертаційної роботи полягає в такому:

-

- розроблено інформаційне забезпечення відновлення залежностей для задач обробки експериментальних даних довільного характеру, яка має широке коло застосування;

- реалізовано розроблене програмне середовище для побудови аналітичних моделей та картографування в системах гідрохімічного моніторингу в умовах техногенних навантажень.

Особистий внесок здобувача в роботах, виконаних у співавторстві, полягає в такому:

У роботі [4] запропоновані та розроблені обчислювальні схеми й алгоритми відновлення білінійної усереднюючої сплайн-регресії; в роботі [5] запропонований та реалізований ітераційний метод пошуку вузлів склеювання; в роботі [6] сформульовано обгрунтування середньоквадратичного наближення кубічними сплайн-регресіями, доведено теорему; в роботі [8] наведена структура програмного забезпечення відновлення залежностей у системі моніторингу REGRS та здійснена її реалізація з метою аналізу техногенного впливу; в роботі [9] проведена оцінка динаміки хімічного складу вод, наведені приклади реалізації програмного середовища в задачах картографування;

Апробація результатів дисертації. Результати дисертаційної роботи доповідались на Міжнародній конференції з перспективних досліджень “Конвеpсія та екологія” (Дніпpопетpовськ, 1997); Міжнародній конференції “Питання оптимізації обчислень” (Київ 1997); 1-й МНПК “Стійкий розвиток: забруднення навколишнього середовища та екологічна безпека” (Дніпpопетpовськ, 1995); 1-му Міжнародному симпозіумі “Опеpативний контроль та управління якістю мінеральної сировини при видобуванні та переробці” (Кривий Ріг, 1996); 1-й МНПК “Геодезія, картографія і аерофотознімання” (Львів, 1997); Всеукраїнській конференції молодих науковців “Інформаційні технології в науці та освіті” (Черкаси, 1997); НТК “Проблеми створення нових машин і технологій” (Кременчук, 1998); 4-й Всеукраїнській НПК “Вода - проблеми та рішення” (Дніпропетровськ, 1998); 1-й та 2-й Міждержавних конференціях “Комп’ютерне моделювання” (Дніпродзержинськ, 1997-1998); 4-й МНТК “Контроль і управління в технічних системах (КУТС-97)” (Вінниця, 1997); 4-й, 5-й та 6-й Українських конференціях з автоматичного управління "Автоматика-97" (Черкаси, 1997), "Автоматика-98" (Київ, 1998) та "Автоматика-99" (Харків, 1999); “Картографія та вища школа” (Київ, 1998); 1-й Міжнародній конференції “Наука і освiта'98” (Дніпропетровськ, 1998); Міжнародній конференції “Математичні моделі та сучасні інформаційні технології” (Херсон, 1998); наукових конференціях ДДУ за підсумками науково-дослідницької роботи (Дніпропетровськ, 1995-1999).

Публікації. Основні результати дисертаційної роботи опубліковані в 22 статтях (у тому числі 12 статей опубліковано у фахових виданнях, з яких 7 - одноособові), одному навчальному посібнику, 20 тезах доповідей на конференціях.

Структура та обсяг роботи. Дисертаційна робота складається зі вступу, чотирьох розділів, висновків, що містять основні результати, списку літератури та п‘яти додатків. Загальний обсяг роботи складає 135 сторінок, робота містить 18 таблиць, 38 рисунків та список літератури з 188 найменувань.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі сформульовано мету дослідження, обгрунтовано актуальність, визначено цілі роботи та коло задач, які вирішуються, вказано на наукову новизну та практичне значення.

У першому розділі розглянуто задачу статистичної обробки експериментальних даних у системах моніторингу. Запропоновано використання сплайн-регресій для відновлення статистичних залежностей. Для виключення впливу випадкової складової у статистичній постановці задачі реалізується інтерполювання після первісного згладжування шумів або методи згладжуючих сплайн-регресій. Проаналізовано стан досліджень з використанням сплайн-перетворень для відновлення емпіричних залежностей, зокрема задачі: інтерполювання одновимірними поліноміальними сплайн-функціями; відновлення згладжуючих сплайн-регресійних залежностей, відновлення багатовимірних сплайн-регресійних залежностей; визначення кількості та місцезнаходження вузлів склеювання.

Проаналізовано використання програмних комплексів, які реалізують алгоритми відновлення сплайнів, у різноманітних сферах, зокрема у системах економічного, біологічного, геофізичного та екологічного моніторингу. Особливу увагу приділено створенню нових інформаційних технологій для вирішення задач екологічного моніторингу, які пов’язані з необхідністю розробки інтелектуальних систем. Виділено пріоритетний напрямок, яким є розробка геоінформаційних систем для задач картографування та створення експертних систем.

У другому розділі представлено обчислювальні процедури та алгоритми відновлення одновимірних статистичних залежностей на основі згладжуючих сплайн-регресій.

Виникає задача відновлення за даними статистичних спостережень такими, що сплайн-регресійної моделі на сітці вузлів склеювання , (k<<N):

де - вектор випадкових похибок: ,

Відновлення моделей згладжуючої сплайн-регресії базується на властивостях неперервності сплайн-функцій класу Cd[a,b] та умові

.

При wi=0 формулюється задача середньоквадратичного наближення

,

де wj - вагові коефіцієнти.

Розглянуто середньоквадратичне наближення поліноміальних сплайн-регресійних залежностей

.

З урахуванням того, що кубічні сплайн-регресії (m=3) є узагальненням лінійних та параболічних моделей, проведено обгрунтування обчислювальної процедури середньоквадратичного наближення поліноміальних сплайн-регресій на прикладі кубічного сплайна. Доведено теорему: якщо S02 - мінімум суми квадратів відхилень оцінки кубічного сплайна відносно емпіричних даних, N-загальне число варіант, а k - кількість вузлів склеювання, тоді

є незміщена оцінка дисперсії 2. Звідси випливає, що при заданому математичному очікуванні точності наближення та дисперсії похибки вимірювань 2 емпіричних даних кількість вузлів склеювання визначається як

.

Це дозволяє формулювати пряму та зворотну задачі: мінімізації похибки на даній сітці вузлів склеювання та мінімізації кількості вузлів склеювання на базі припустимої похибки відновлення.

Розроблено обчислювальні схеми та алгоритми відновлення поліноміальних сплайн-регресій з довільною кількістю вузлів склеювання. Три процедури базуються на МНК для функцій класу Cd[a,b]. Параметри визначаються із властивості неперервності

.

Оцінки решти параметрів обчислюються з умови , при цьому ваговий коефіцієнт . Рішення зводиться до систем лінійних рівнянь, які в матричній формі мають вигляд

.

Точність оцінок параметрів характеризується дисперсійно-коваріаційною матрицею. Розроблено три процедури побудови усереднюючих сплайн-регресій. У цьому випадку крім вищезгаданих властивостей реалізується умова

звідки обчислюються , а решта параметрів обчислюється з рішення систем нормальних рівнянь.

Обчислювальні схеми відновлення одновимірних нелінійних сплайн-регресійних моделей базуються на зведенні останніх до поліноміальних (зокрема, лінійних та параболічних) моделей, при цьому використовується перетворення координат z=2(y), t=1(x) та перерозрахунок параметрів сплайн-регресії ,,. Використовуючи одержані оцінки поліноміальної сплайн-регресії , можна реалізувати обчислення оцінок параметрів нелінійної сплайн-регресійної залежності ,,. Розроблено ітераційну процедуру, яка уточнює оцінки параметрів для МНК-оцінок. У цьому випадку ваги обчислюються ітераційно згідно з формулою

Якщо припущення нормальності випадкового вектора не використовується, то оцінки, які були одержані за МНК, втрачають свою оптимальність. Розроблені методи оцінювання, стійкі до відхилень розподілу випадкової компоненти моделі від істинного - робастні методи. Для робастної процедури ваги обчислюються за формулою біквадратного зважування

2(y) - перетворене значення залежної змінної при лінеаризації

c [6,9]; - медіана абсолютних значень залишків

Розроблено алгоритм вибору вузлів склеювання сплайна, ідея якого полягає в ітераційному процесі поділу сегмента, що відповідає умовам =. Процес триває, доки не буде виконана одна з умов: <кр (кр - максимальна припустима похибка); згладжуюча сплайн-регресія перетворюється на інтерполяційну; остаточна дисперсія на ітерації збільшується: S2(i) > S2(i-1). Здійснюється перевірка значимості вузлів склеювання та виключення незначимих. Для перевірки значимості кожного з вузлів склеювання запропоновані два алгоритми, які базуються на перевірці гіпотез та .

Порівняльний аналіз розроблених процедур, здійснений при використанні різноманітних даних, доводить перевагу застосування ітераційної та робастної процедур (табл. 1), що дає більш стійкі моделі, ніж класична процедура МНК, та запропонованого автором ітераційного метода пошуку вузлів склеювання.

Таблиця 1

Оцінки похибки відновлення сплайн-регресії |

Процедура

Модель | Лінійна | Ітераційна | Робастна

S | ср , % | S | ср , % | S | ср , %

| 0.0485 | 4.4512 | 0.0219 | 4.3135 | 0.0242 | 4.6407

| 0.0503 | 4.3209 | 0.0197 | 4.0917 | 0.0218 | 4.2057

| 0.0210 | 4.0910 | 0.0193 | 4.0441 | 0.0204 | 4.0845

| 0.0190 | 4.0780 | 0.0190 | 4.0780 | 0.0190 | 4.0780

| 0.0531 | 4.3179 | 0.0531 | 4.3179 | 0.0219 | 4.2281

У третьому розділі розроблені методи та алгоритми обробки багатовимірних статистичних даних за результатами спостережень функції f(x1,...,xd) (f(x1,...,xd)C) на області REd з використанням сплайн-регресії

,

на сітці вузлів склеювання .

Запропоновано два алгоритми ступінчастої сплайн-апроксимації. Так, у першому методі реалізується відбір найбільш інформативної незалежної змінної, знаходиться її одновимірна проекція та здійснюється звичайне одновимірне відновлення сплайн-регресії. Відхилення від цієї оптимальної лінії розглядаються як новий набір даних та знаходиться друга проекція. Процес триває доки не виконається критерій закінчення процесу. Сума одновимірних сплайнів є значенням багатовимірної залежності. Другий метод спочатку відновлює класичну багатовимірну регресію. Відхилення емпіричних значень залежної змінної від оцінки функції регресії розглядається як новий набір даних, потім знаходиться одновимірна проекція найбільш корельованої незалежної змінної. Далі процес повторюється за тією ж схемою. Це наближення не є оптимальним, але алгоритм не ускладнюється із збільшенням розмірності. Запропоновані алгоритми дозволяють досягнути будь-якої точності відновлення, але в ній не враховується взаємодія між незалежними змінними. Для усунення цього недоліку для обробки результатів спостережень функції двох змінних f(x,y) на області R=[a,b]x[c,d] запропоновані алгоритми відновлення згладжуючих двовимірних сплайн-регресійних моделей, які визначаються у такий спосіб

на сітці вузлів .

Відновлення сплайн-регресій здійснюється на основі умов

, де

Розроблено шість обчислювальних процедур відновлення поліноміальних сплайн-регресій довільного ступеня. Три алгоритми базуються на МНК для функцій класу Cd,d[R]. Оцінки параметрів слід обчислювати з урахуванням властивості неперервності сплайн-функції та її похідних на лініях склеювання

;

.

Задача обчислення оцінок решти параметрів за умови зводиться до kl систем лінійних рівнянь

.

Для оцінки точності відновлення параметрів обчислюються довірчі інтервали.

Для відновлення усереднюючих сплайн-регресій розроблено три процедури, які базуються на умові усереднення

звідки обчислюються , а решта параметрів обчислюється з рішення систем нормальних рівнянь.

Розроблені алгоритми орієнтовані на відновлення поліноміальних сплайн-регресій довільного ступеня. Зокрема, реалізація процедур, які базуються на властивості C0,0[R], відновлює білінійні (m=1), біквадратичні (m=2) та бікубічні (m=3) моделі максимального дефекту; процедури, що реалізують умову C1,1[R], дозволяють одержати біквадратичні моделі мінімального дефекту та бікубічні залежності дефекту 2; алгоритми, побудовані на властивості C2,2[R], за умовою m=3, відновлюють бікубічні моделі мінімального дефекту.

Оцінки МНК у випадку, якщо припущення нормальності вектора залежної змінної не виконується, втрачають свою оптимальність. Тому розроблено робастні алгоритми, які є стійкими до відхилень розподілу випадкової компоненти моделі від нормального. В цьому випадку вводиться задача мінімізації .

Для двовимірної сплайн-регресії застосовані робастні алгоритми: обчислення зсуву з модифікованими залишками, метричне вінзорування даних, репараметризація моделі, обчислення зсуву з модифікованими вагами.

У четвертому розділі наведено реалізацію обчислювальних схем сплайн-регресійного аналізу у вигляді програмних процедур, які були включені до програмного середовища рішення задач кореляційного та регресійного аналізу REGRS. За своєю структурою вона належить до підсистем загального призначення обробки статистичних даних та відновлення залежностей.

Структурно підсистема містить:

-

- розвинений програмний інтерфейс, який дозволяє здійснити керування обчислювальним процесом, управління вводом та виводом інформації;

- організацію обчислювального процесу, який базується на формуванні вирішальних правил для автоматичного вибору найбільш адекватної моделі, зберігання моделей у базі знань в аналітичному й табличному вигляді з метою подальшого аналізу.

Підсистема не є жорстко прив’язаною до даних - можлива обробка статистичних масивів будь-якої природи, наприклад з галузей: аерокосмічної техніки, соціометрії, економіки, картографування, екології.

Програмне середовище REGRS складається із блоків: створення, імпорт і ведення даних; статистична обробка даних; виведення результатів.

База даних організована у вигляді набору DBF-файлів, зібраних в ієрархічну структуру, що дозволяє систематизувати накопичену інформацію та прискорити пошук необхідних даних. Швидкість переходу від однієї задачі до іншої, звертання до баз забезпечується структурою програмного середовища. При управлінні знаннями організовано взаємодію між базою знань та програмними засобами.

Блок роботи з даними призначений для ведення баз даних: створення, наповнення, коригування даних; передбачена конвертація баз даних із однієї структури в іншу. Окрім цього, реалізовано зберігання даних у бінарних і текстових файлах паралельної структури.

У програмному середовищі інтерфейс користувача представлений ієрархічним меню, організацією вводу даних та вихідними формами. Для виводу результатів розроблені вихідні форми у вигляді таблиць та графіків. Виведення інформації здійснюється на екран, на принтер та в базу знань.

Програмне середовище реалізовано в системах моніторингу. Приведено застосування системи REGRS для адекватного відновлення залежностей у задачах гідрохімічного моніторингу техногенних регіонів, зокрема для вирішення задач екологічного моніторингу в зоні дії гірничорудних підприємств Кривбасу. В зоні дії ГЗК існує мережа гідроспостережних свердловин. На основі матеріалів Саксаганської гідрогеологічної партії Міністерства промислової політики України сформовані бази даних, які містять результати спостережень за рівнями розташування та за хімічним складом води у свердловинах.

На основі накопиченої інформації проведені дослідження та визначені основні тенденції техногенної метаморфізації природних вод. Відновлені одновимірні (у точках спостережень і за гідрогеологічними профілями) та багатовимірні (по площах) регресійні моделі вмісту макрокомпонентів (хлор-іону, сульфат-іону, мінералізації) у пробах води із свердловин. Побудовані поліноміальні сплайн-регресійні моделі (рис. 1) дозволяють враховувати точку структурної зміни при оцінці рівня вмісту макрокомпонентів при віддаленні від хвостосховища, де починається вплив промислового майданчика.

Рис. 1. Параболічна сплайн-регресійна модель вмісту хлор-іону за профілем від хвостосховища до р.Саксагань

У технологічному циклі збагачення руд на ПівнГЗК використовуються як води хвостосховища, так і води промислового майданчика. Таким чином, промисловий майданчик є другим джерелом формування гідрохімічних типів підземних вод. Далі за профілем спостерігається незначне підвищення вмісту макрокомпонентів у підземних водах, що може бути пов’язано з впливом комунальної мережі на території житломасиву.

Програмне середовище REGRS дозволяє будувати трьохвимірне відображення поверхонь відновлених моделей. При цьому здійснюється автоматичне прив’язування трьохвимірної карти до схем місцевості та топографічних карт, які зберігаються в графічних файлах поширених форматів (pcx, bmp та ін.), крім того, реалізується відображення поверхонь з прив’язкою до місцевості (рис. 2).

Рис. 2. Відображення карти білінійної поверхні абсолютних відміток рівня підземних вод з прив’язкою до місцевості промислового майданчика ПівнГЗК.

На основі одержаних моделей стає можливим рішення задач кількісної оцінки рівнів підземних вод. На карті ізоліній відтворена лінія склеювання поверхонь, яка є місцем найвищого положення п’єзометричного рівня підземних вод, показані напрямки руху вод від високих відміток до більш низьких. Наявність структурних змін на ділянці поверхні обумовлена тим, що в результаті експлуатації промислового майданчика ГЗК утворився “купол” розтікання грунтових вод, причому потік і лінії розділу поширюються в північно-східному та південно-східному напрямках.

Аналіз одержаних моделей дозволяє характеризувати вузли склеювання поверхневих моделей як зміну джерела впливу на хімічний склад підземних вод на ділянці або виділення декількох джерел. Порівняння декількох моделей, побудованих на різних гідрогеологічних ділянках, дає можливість оцінити ступінь техногенного впливу на природні води. Крім цього, одержані моделі включені в базу знань про стан природного середовища в районах гірничовидобувної промисловості, що є основою для прийняття рішень, метою яких є поліпшення екологічної ситуації на території ГЗК.

Застосування згладжуючих сплайн-регресій при побудові гідрохімічних карт дозволяє вирішувати такі задачі:

-

- визначати оптимальну гідрорежимну мережу спостережень та періодичність пробування;

- оцінювати за допомогою моделей та карт, побудованих на різні дати, мінливість гідрохімічної ситуації та формувати блок баз знань у розробленій автоматизованій інформаційно-картографічній системі.

ОСНОВНІ РЕЗУЛЬТАТИ РОБОТИ Й ВИСНОВКИ:

1. Необхідність підвищення адекватності відновлення залежностей у системах автоматизованої обробки статистичних даних, у тому числі в системах моніторингу, обумовила розробку відповідного інформаційного забезпечення, в основу якого покладено обчислювальні процедури, що базуються на сплайн-перетвореннях. Проведений аналіз дозволив визначити та обгрунтувати задачі та методи їх розв’зання.

2. Стосовно до сформульованих задач розроблені обчислювальні процедури та алгоритм відновлення згладжуючих та усереднюючих поліноміальних сплайн-регресій. Знайдені оцінки точності як параметрів, так і функції регресії. Запропоновано проводити їх довірче оцінювання. Доведено теорему, яка дозволяє обгрунтувати обчислювальні процедури середньоквадратичного наближення поліноміальними сплайн-регресіями з вибором кількості вузлів склеювання по даній похибці апроксимації.

3. Уведені та обгрунтовані обчислювальні схеми для відновлення нелінійних і квазілінійних сплайн-регресійних залежностей, реалізовані алгоритми обчислення стійких оцінок на основі ітераційної та робастної процедур. Розроблені процедури вибору кількості та місцезнаходження вузлів склеювання сплайн-регресії, а також алгоритми перевірки значимості вузлів склеювання. Проведений порівняльний аналіз запропонованих алгоритмів, який дозволяє зробити висновок про ефективність використання згладжуючих та усереднюючих сплайн-регресій, ітераційної та робастної процедур для відновлення адекватних залежностей.

4. Розроблені алгоритми багатовимірної сплайн-апроксимації: ступінчастого відновлення багатовимірної залежності на базі одновимірних сплайн-регресій. Наведені процедури й алгоритми відновлення двовимірних сплайн-регресійних залежностей, які базуються на умовах згладжування та на властивостях сплайн-функцій; передбачена оцінка точності параметрів та довірче оцінювання. Розроблено обчислювальні процедури, які базуються на реалізації крім умови неперервності двовимірних сплайн-функцій додаткової умови усереднення. Для одержання стійких оцінок двовимірної сплайн-регресії запропоновані робастні алгоритми. Приведені оцінки точності відновлення сплайн-регресійних залежностей у програмному середовищі REGRS, на основі практичної реалізації проведений порівняльний аналіз.

5. Розроблено програмне середовище автоматизованої обробки статистичних даних REGRS, де поряд з класичними методами кореляційного та регресійного аналізу реалізовані процедури відновлення одновимірних та багатовимірних сплайн-регресійних залежностей. Організовано взаємодію програмного середовища з базами даних та базою знань; описані її структура та функції, організація обчислювального процесу та інтерфейсу.

6. Проведена реалізація програмного середовища REGRS для відновлення залежностей за статистичними даними в системах екологічного моніторингу в зоні дії гірничорудних підприємств Кривбасу. На основі накопиченої інформації проведено дослідження та визначено основні тенденції техногенної метаморфізації природних вод. Одержані одновимірні моделі вмісту макрокомпонентів у пробах води із свердловин, які дозволяють визначити структурні зміни.

7. Реалізація двовимірних сплайн-регресій для відновлення поверхонь та їх картографічного відображення, одержаних на гідрогеологічних ділянках, дозволяє найбільш адекватно відтворити реальну гідрохімічну ситуацію на досліджуваній території для оцінки екологічної ситуації. Отримані сплайн-регресійні моделі значно підвищують точність опису процесів та явищ, оскільки найбільш точно відтворюють процеси масопереносу в підземних водах. За допомогою розроблених методів визначено оптимальне число пунктів спостережень на території ГЗК.

ОСНОВНІ ПУБЛІКАЦІЇ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

1.

1.

1.

1.

1.

1.

1.

1.

Остропицький В.М. Розробка iнформацiйної технології нелінійної робастної сплайн-обробки даних в системі моніторингу. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 автоматизовані системи управління та прогресивні інформаційні технології. Київський міжнародний університет цивільної авіації, Київ, 1999.

Досліджено проблему відновлення статистичних оцінок залежностей за емпіричними даними. Для підвищення надійності відновлення моделей та виявлення структурних змін у процесах, які спостерігаються, запропоновано застосовувати згладжуючі та усереднюючі сплайн-функції. Доведено теорему, яка дозволяє обгрунтувати обчислювальні процедури середньоквадратичного наближення поліноміальними сплайн-регресіями.

Запропоновано процедури відновлення статистичних оцінок усереднюючих та згладжуючих сплайн-регресійних одновимірних залежностей. Розроблено процедури вибору кількості та місцезнаходження вузлів склеювання сплайн-регресії, а також алгоритми перевірки значимості вузлів склеювання. Розроблено схеми багатовимірної сплайн-апроксимації на базі ступінчастого алгоритму. Реалізовано процедури та алгоритми відновлення двовимірних згладжуючих та усереднюючих сплайн-регресійних залежностей. Для одержання стійких оцінок сплайн-регресії запропоновано реалізувати робастні алгоритми. Проведено порівняльний аналіз класичних та розроблених автором алгоритмів на основі практичної реалізації, який дозволяє зробити висновок про ефективність використання останніх.

Розроблено iнформацiйну технологiю автоматизованої обробки статистичних даних REGRS, де реалізовані, поряд з класичними, запропоновані автором процедури; організовано взаємодію програмного середовища, баз даних і бази знань. Проведено реалізацію інформаційної підсистеми REGRS для адекватного відновлення залежностей за статистичними даними та картографування в системах екологічного моніторингу. Одержані моделі значно підвищують точність опису процесів і явищ, що мають у своїй природі структурні зміни.

Ключові слова: інформаційна технологія, обробка даних, сплайн-регресія, робастні алгоритми, програмне середовище, моніторинг, картографування.

Остропицкий В.М. Разработка информационной технологии нелинейной робастной сплайн-обработки данных в системе мониторинга. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управления и прогрессивные информационные технологии. Киевский международный университет гражданской авиации, Киев, 1999.

Представляемая диссертация является научной работой, в которой предложен и исследован метод, проведена алгоритмизация и разработана информационная технология организации вычислительного процесса автоматизированной обработки статистических данных мониторинга, базирующиеся на сплайн-регрессиях и робастных алгоритмах.

Исследована проблема восстановления статистических оценок зависимостей по эмпирическим данным. Проведенный анализ позволил выбрать и обосновать задачи и методы их решения. Для повышения надежности восстановления моделей и обнаружения структурных изменений в наблюдаемых процессах и явлениях предложено использовать сглаживающие и усредняющие сплайн-функции. Найдены оценки точности как параметров, так и функции регрессии. Предложено проводить их доверительное оценивание. Доказана теорема, позволяющая обосновать вычислительные процедуры среднеквадратического приближения зависимостей полиномиальными сплайн-регрессионными моделями.

Введены и обоснованы вычислительные схемы для восстановления нелинейных сплайн-регрессионных зависимостей. Реализованы алгоритмы получения устойчивых оценок на основании итерационной и робастной процедур. Предложены процедуры выбора количества и расположения узлов сплайн-регрессии, а также алгоритмы проверки значимости узлов склеивания. Проведен сравнительный анализ разработанных алгоритмов, позволяющий сделать вывод об эффективности использования сглаживающих и усредняющих сплайн-регрессий, а также робастных процедур для восстановления моделей.

Разработаны алгоритмы восстановления многомерной сплайн-регрессионной зависимости. Приведены процедуры восстановления двумерных сплайн-регрессионных зависимостей, при этом предусмотрена как оценка точности параметров, так и доверительное оценивание. Разработаны вычислительные процедуры, базирующиеся на реализации условия усреднения. Для получения устойчивых оценок двумерной сплайн-регрессии реализованы робастные алгоритмы. Приведены оценки точности восстановления сплайн-регрессионных зависимостей в программной среде REGRS, на основании практической апробации проведен сравнительный анализ предложенных алгоритмов.

Разработана программная среда автоматизированной обработки статистических данных REGRS, в которой реализованы наряду с классическими методами корреляционного и регрессионного анализа разработанные автором процедуры восстановления одномерных и многомерных сплайн-регрессионных зависимостей. Организовано взаимодействие программной среды, баз данных и базы знаний; описаны ее структура и функции, организация вычислительного процесса и интерфейса. Приведена практическая реализация программной среды REGRS для восстановления зависимостей по статистическим данным в системах экологического мониторинга. На основании накопленной информации проведены исследования и определены основные тенденции техногенной метаморфизации природных вод. Реализация двумерных сплайн-регрессий для восстановления поверхностей и их картографического отображения, полученных на различных участках, позволяет наиболее точно отобразить реальную ситуацию на исследуемой территории в целях оценки экологической ситуации, рекомендовать оптимальную гидрорежимную сеть наблюдений и периодичность опробования.

Ключевые слова: информационная технология, обработка данных, сплайн-регрессия, робастные алгоритмы, программная среда, мониторинг, картографирование.

Ostropitsky V.M. Development of the information technology of non-linear robust spline data process for monitoring system. – Manuscript.

Thesis for a Candidate of Technical Sciences degree by speciality 05.13.06 - automated control systems and progressive information technologies. - Kyiv International University of Civil Aviation, Kyiv, 1999.

The problem of statistical evaluation fitting according to empirical data is researched. Smoothing and averaging spline functions are suggested for adequacy increasing of models fitting and structure changes detection. The theorem is proved, that allows to substantiate computational procedures of least-square fitting of polynomial spline regression.

Procedure of statistical evaluation fitting for smoothing and averaging one-dimensional spline regression is suggested. Procedures for estimation of number and placing of spline regression change-points as well as procedures of their valuability checking are developed. Algorithms for multi-dimensional spline approximation are suggested. Procedures for smoothing and averaging two-dimensional spline regression evaluation are developed. Robust algorithms are suggested for stiable estimation of spline regression. Comparative analisys of algorithms on the base of computational realisation allows to draw the conclusion that they are more effective.

Information technology of automated data processing REGRS is developed; many classical and author-made procedures are realised; interaction with databases and knowledge base are organised. Practical realisation of software REGRS is made for adequate dependencies fitting according to statistical data and map-building in the ecological monitoring system. Estimated models allows to improve quality of evaluation of processes that have structure changes in their nature.

Key words: information technology, data processing, spline regression, robust algorithm, software environment, monitoring, map-building.