Національний університет “Львівська політехніка”

Турченко Володимир Олександрович

УДК 681.324

НЕЙРОМЕРЕЖЕВІ МЕТОДИ І ЗАСОБИ ПІДВИЩЕННЯ

ЕФЕКТИВНОСТІ ДИСТРИБУТИВНИХ МЕРЕЖ ЗБОРУ

ТА ОБРОБКИ СЕНСОРНИХ ДАНИХ

05.13.13 - обчислювальні машини, системи та мережі

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів – 2001

Дисертацією є рукопис

Робота виконана у Тернопільській академії народного господарства Міністерства освіти і науки України

Науковий керівник – доктор технічних наук, професор

Саченко Анатолій Олексійович,

директор інституту комп'ютерних інформаційних технологій, завідувач кафедри інформаційно-обчислювальних систем і управління Тернопільської академії народного господарства

Офіційні опоненти: – доктор технічних наук, професор

Тарасенко Володимир Петрович,

завідувач кафедри спеціалізованих комп'ютерних систем

Національного технічного університету України “Київський політехнічний інститут” –

доктор технічних наук, професор

Черкаський Микола В'ячеславович,

професор кафедри електронно-обчислювальних машин Національного університету “Львівська політехніка”

Провідна установа - Державний науково-дослідний інститут

інформаційної інфраструктури Державного комітету зв'язку та інформатизації і НАН України, відділ інформаційних технологій і систем, м. Львів

Захист відбудеться 26 червня 2001 року о 14 год 30 хв. на засіданні спеціалізованої вченої ради Д 35.052.05 Національного університету “Львівська політехніка” (79013, Львів-13, вул. С. Бандери, 12, ауд. 226 головного корпусу)

З дисертацією можна ознайомитися у бібліотеці Національного університету “Львівська політехніка” (м. Львів, вул. Професорська, 1)

Автореферат розісланий 18 травня 2001 р.

Вчений секретар спеціалізованої вченої ради

кандидат технічних наук, доцент С.П.Ткаченко

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Сучасні промислові технології і наукові дослідження вимагають нових підходів до створення високоефективних (надійних, швидкодіючих та універсальних) обчислювальних засобів збору та обробки сенсорних даних. Перспективною є їх побудова як дистрибутивних мереж (ДМ), основаних на розподіленій обробці сенсорних даних та отриманні комплексної достовірної інформації про параметри досліджуваного об'єкту. ДМ і відповідні засоби збору та обробки сенсорних даних випускаються фірмами Honeywell, Fluke та ін. У 1999 р. Національним інститутом стандартизації і технології США затверджено стандарти серії IEEE1451 на інтерфейси інтелектуальних модулів ДМ.

Важливим кількісним показником надійності ДМ є час напрацювання на відмову, якою є перевищення допустимої границі неадекватності параметрів досліджуваного об'єкту, отриманих в результаті обробки до їх дійсного значення. На сьогодні найбільший вплив на час напрацювання має сенсор, як найбільш нестабільна ланка ДМ. Одним із основних методів підвищення надійності є узагальнення досвіду експлуатації, тобто використання даних про функціонування ДМ у попередні проміжки часу шляхом самонавчання ДМ та наступної адаптації до умов функціонування. Використання засобів штучного інтелекту, зокрема штучних нейронних мереж (НМ), дозволяє адаптувати обробку сенсорних даних до вирішуваної задачі та підвищити надійність і універсальність ДМ. Однак при застосуванні НМ для підвищення надійності збору та обробки сенсорних даних виникають труднощі, пов'язані з обмеженою кількістю даних для навчання НМ, особливо на початковому етапі експлуатації сенсорів. Тому актуальним завданням є розробка нових методів використання штучних НМ для підвищення надійності збору та обробки сенсорних даних в ДМ, а також створення програмно-апаратних засобів реалізації цих методів.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконана в рамках міжнародного науково-дослідного проекту "Development of an Intelligent Sensing Instrumentation Structure I.S.I.S.", реєстраційний номер INTAS-OPEN-97-0606 (1998-2001 рр.) та держбюджетної теми “Розробка наукових основ створення інтелектуальних систем дистрибутивної обробки сенсорних даних з використанням нейронних мереж”, шифр "ІОСУ-06-2000Б" (1999-2002 рр.), що виконуються в інституті комп'ютерних інформаційних технологій Тернопільської академії народного господарства. Автор є відповідальним виконавцем проекту INTAS-OPEN-97-0606 та виконавцем теми "ІОСУ-06-2000Б".

Мета і задачі дослідження. Метою дисертації є розробка нових нейромережевих методів і створення програмно-апаратних засобів їх реалізації, спрямованих на підвищення ефективності збору та обробки сенсорних даних в дистрибутивних мережах. У роботі вирішуються наступні завдання:

· розробка та експериментальні дослідження нейромережевих методів підвищення надійності збору та обробки сенсорних даних при обмежених обсягах навчальної вибірки;

· розробка структури високоефективної ДМ, яка забезпечує задану швидкодію збору та обробки сенсорних даних при виконанні нейромережевих методів підвищення надійності;

· створення апаратних і програмних компонентів ДМ, їх дослідження в складі впроваджених мереж збору та обробки сенсорних даних.

Об'єкт дослідження – дистрибутивні мережі, орієнтовані на збір та обробку сенсорних даних.

Предмет дослідження – нейромережеві методи і засоби підвищення ефективності збору та обробки сенсорних даних в ДМ.

Методи дослідження – структурний і функціональний аналіз; методи теорії нейронних мереж; методи імітаційного моделювання; метод оцінки продуктивності обчислювальних засобів.

Наукова новизна одержаних результатів.

· на основі аналізу протиріччя між потрібним (для якісного навчання НМ) і наявним обсягами навчальної вибірки, запропоновано два нові нейромережеві методи підвищення надійності збору та обробки сенсорних даних, ефективних при обмежених навчальних вибірках:

- метод додаткової апроксимуючої НМ, який дозволив збільшити час напрацювання ДМ на відмову в 6 разів при одночасному підвищенні точності збору та обробки сенсорних даних в 3-5 разів;

- метод інтеграції апріорних даних, який дозволив збільшити час напрацювання ДМ на відмову в 12 разів при одночасному підвищенні точності збору та обробки сенсорних даних в 3 рази.

· на основі аналізу потоків даних та продуктивності необхідних обчислювальних засобів обґрунтовано трирівневу структуру високоефективної ДМ, яка розширює дворівневі структури відомих ДМ використанням для поточної обробки сенсорних даних додаткового універсального вузла середнього рівня з дистанційним перепрограмуванням, що дозволило спеціалізувати обробку сенсорних даних по рівнях ДМ згідно реальних часів обчислення дрейфу (систематичної зміни характеристик перетворення під дією умов експлуатації) та заміни математичної моделі дрейфу, і, тим самим, еквівалентно збільшити швидкодію обробки даних щонайменше в 2 рази.

· на основі аналізу продуктивності і вартості обчислювальних засобів сформульовані рекомендації по вибору структури обчислювального вузла середнього рівня, що дозволило мінімізувати собівартість вузла при умові його функціонування в реальному часі збору сенсорних даних.

· розроблено структуру, алгоритми та програмні модулі комп'ютера верхнього рівня ДМ за технологією клієнт-сервер, що дозволило врахувати специфіку апаратних засобів ДМ шляхом розділення процесів навчання і використання НМ по рівнях з відповідною обчислювальною потужністю, спростити контролери обробки сенсорних даних і забезпечити заміну математичної моделі дрейфу в реальному часі.

Практичне значення одержаних результатів полягає у розробці та впровадженні високоефективних ДМ збору та обробки сенсорних даних:

· апаратних та програмних засобів інтелектуальної сенсорної інструментальної системи збору та обробки даних ISIS-97-0606 (університет ім. Аристотеля, м. Салоніки, Греція), в якій використання запропонованих нейромережевих методів дало змогу збільшити час напрацювання системи на відмову в 6-12 разів при використанні сенсорів типу 30К5А1 і одночасно підвищити точність збору та обробки сенсорних даних в 3-5 разів;

· програмного забезпечення підсистеми підвищення надійності збору та обробки сенсорних даних розподіленої системи автоматизованого контролю та обліку витрат енергоносіїв “ALFIYA” (Івано-Франківський цементно-шиферний комбінат, м. Івано-Франківськ), в якій використання запропонованих нейромережевих методів дало змогу збільшити час напрацювання на відмову в 6-12 разів при використанні сенсорів типу КМТ-4 і одночасно підвищити точність збору та обробки даних в 3 рази.

Теоретичні і практичні результати роботи використані при викладанні дисциплін “Надійність, контроль, діагностика та експлуатація ЕОМ” та “Системи штучного інтелекту” на кафедрі інформаційно-обчислювальних систем та управління Тернопільської академії народного господарства.

Особистий внесок здобувача. Усі теоретичні та експериментальні дослідження, розробка методів, структур, алгоритмічного і програмного забезпечення виконані автором самостійно. Аналіз результатів окремих досліджень, розробка окремих схемних рішень і впровадження результатів дисертаційної роботи проведені у співавторстві згідно з наведеним списком праць, у яких автору дисертаційної роботи належать: метод інтеграції апріорних даних, модель НМ, результати експериментальних досліджень [4-5, 12, 14]; метод додаткової апроксимуючої НМ та результати його експериментальних досліджень [5, 10, 14]; моделі прогнозуючої НМ та результати її експериментальних досліджень [5, 7, 9-10, 14]; базова структура ДМ [1, 6, 9] та структура її апаратного і програмного забезпечення [1, 6-9, 11], розподіл функцій та обчислювальних потужностей по рівнях [6-8]; розробка і дослідження спеціалізованого контролера обчислення НМ [13].

Апробація результатів дисертації. Результати дисертаційної роботи доповідалися на 15, 16, 17 міжнародних конференціях "IEEE Instrumentation and Measurement Technology Conference IMTC/98, IMTC/99, IMTC/2000" (С.Паул, США'98, Венеція, Італія'99, Балтімор, США'2000), "IEEE Region 8 International Conference Africon'99" (Кейптаун, ПАР'99), "International Conference on Neural Networks and Artificial Intelligence ICNNAI'99" (Брест, Білорусь'99), "IEEE-INNS-ENNS International Joint Conference on Neural Networks IJCNN'2000" (Комо, Італія'2000), XII науково-технічній конференції "Датчики и преобразователи информации систем измерения, контроля и управления ДАТЧИК-2000" (Судак, Україна'2000), 6 міжнародній конференції “Досвід проектування і застосування САПР в мікроелектроніці CADSM'2001” (Славско-Львів, Україна'2001), міжнародних симпозіумах "IEEE International Workshop on Intelligent Signal Processing WISP'99" (Будапешт, Угорщина'99), "International Workshop on Virtual and Intelligent Measurement Systems VIMS'2000" (Аннаполіс, США'2000), "2000 IEEE Nordic Signal Processing Symposium NORSIG'2000" (Лінкопінг, Швеція'2000).

Публікації. За результатами виконаних досліджень опубліковано 14 робіт загальним об'ємом 80 сторінок, з них 5 статей у фахових журналах (2 одноосібні), 9 доповідей в збірниках міжнародних науково-технічних конференцій.

Структура та об'єм роботи. Дисертація складається з вступу, чотирьох розділів, висновків, викладених на 130 сторінках основного машинописного тексту, списку використаних джерел (156 найменувань). Робота містить 62 рисунки, 10 таблиць та 15 додатків.

ЗМІСТ ДИСЕРТАЦІЇ

У вступі обґрунтовано актуальність теми, показано її зв'язок з науковими програмами, сформульовано мету і задачі досліджень, наукову новизну і практичне значення отриманих результатів. Наведено дані про впровадження результатів роботи, особистий внесок автора і публікації.

У першому розділі проаналізовано основні складові ефективності ДМ (надійність обчислювального процесу збору та обробки даних, швидкодія, універсальність), основні задачі ДМ, а також структуру каналу обробки даних від сенсорів. Показано, що від якості та надійності збору та обробки даних від сенсорів (першої задачі) залежить ефективність ДМ в цілому. Аналіз факторів, які впливають на надійність збору та обробки сенсорних даних, показав, що одним з найважливіших є дрейф вхідних (сенсорних) даних, який визначається дрейфом характеристики перетворення сенсорів в процесі їх експлуатації.

Проведений аналіз методів підвищення точності обробки сенсорних даних показав, що максимальне збільшення часу напрацювання ДМ на відмову досягається високоякісним індивідуальним прогнозом дрейфу на основі результатів калібрувань або повірок. Однак, кількість даних для прогнозу є обмеженою через високу трудомісткість калібрувань або повірок (прийнятна кількість останніх для більшості сенсорів не перевищує 10). Основним спільним недоліком відомих методів індивідуального прогнозу, зокрема, експоненціального згладжування, лінійної авторегресії та криволінійного вирівнювання, інтерполяційних та апроксимуючих сплайнів, групового врахування аргументу та множинної ідентифікації, є необхідність попереднього вибору класу прогнозуючих функцій, що складно здійснити при малій кількості даних і автоматичному режимі роботи ДМ. Запропоновано використати для прогнозу апарат штучних НМ, які вільні від цих недоліків. Проаналізовано особливості використання апарату НМ для прогнозу, показано, що при обмеженій навчальній вибірці його потрібно відповідним чином адаптувати.

Проведений аналіз структур, апаратного та програмного забезпечення (ПЗ) відомих ДМ показав, що вони складаються з двох рівнів обробки сенсорних даних: на нижньому рівні сигнал сенсора перетворюється в цифровий код та виконуються обчислення по жорстких алгоритмах, реальна обробка сенсорних даних здійснюється на рівні керуючого персонального комп'ютера (ПК). Таким чином, універсальність ДМ забезпечується тільки на рівні ПЗ керуючого ПК. Крім того, ПК працює в реальному часі збору сенсорних даних, що збільшує непродуктивні витрати на ДМ при застосуванні НМ.

Тому підвищити ефективність ДМ доцільно шляхом розробки нових нейромережевих методів прогнозу дрейфу та засобів реалізації цих методів.

У другому розділі розроблені та досліджені шляхом імітаційного моделювання нові нейромережеві методи прогнозу дрейфу сенсорних даних при обмеженій навчальній вибірці на початковому етапі експлуатації сенсора.

Обмеження навчальної вибірки обумовлює суперечність: з однієї сторони, метою використання НМ є збільшення часу напрацювання ДМ на відмову, що зменшує кількість даних для навчання НМ, з іншої сторони, НМ потребує достатньої кількості цих даних для якісного навчання і точного прогнозу. Запропоновано розділити всі дані для навчання НМ на три групи: реальні дані – дрейф сенсорних даних під час експлуатації сенсора ДМ в реальних умовах, апріорні дані – дрейф сенсорних даних за час попередньої експлуатації однотипних сенсорів в аналогічних умовах використання, гіпотетичні дані – узагальнена математична модель дрейфу для сенсорів певного типу. Розроблено узагальнений алгоритм прогнозу дрейфу сенсорних даних (рис. 1), який базується на використанні запропонованих методів додаткової апроксимуючої НМ (АНМ) та інтеграції апріорних даних.

Згідно методу додаткової АНМ, її завданням є отримання поточних значень на кожному з відрізків часу (рис. 2), тоді загальна кількість даних для навчання прогнозуючої нейронної мережі (ПНМ) . Завдання ПНМ – використовуючи значень навчальної вибірки, здійснити високоякісний прогноз на задану кількість кроків.

Обґрунтовано вибір гетерогенного трирівневого персептрону як АНМ (рис. 3). Значення нейрону вихідного рівня

, (1)

де - ваговий коефіцієнт (синапс) від -го нейрону схованого рівня до вихідного нейрону, - вихідне значення -го нейрону схованого рівня, - поріг (зміщення) вихідного нейрону, , де - синапс від вхідного нейрону до -го нейрону схованого рівня, - вхідне значення НМ, - поріг -го нейрону схованого рівня. Для нейронів схованого рівня використана сигмоїдна функція активації

, (2)

та лінійна функція активації для вихідного нейрону , де - коефіцієнт нахилу прямої функції активації.

Рис. 1. Узагальнений алгоритм прогнозу Рис. 2. Графічна інтерпретація

дрейфу сенсорних даних методу додаткової АНМ

Для навчання АНМ використано алгоритм багатократного розповсюдження помилки (multiple propagation error) з адаптивним кроком навчання

(3)

для вихідного нейрону АНМ з лінійною функцією активації, та для нейронів схованого рівня з сигмоїдною функцією активації (2).

Рис. 3. Структура АНМ (а) і ПНМ (б)

Обґрунтовано вибір гетерогенної рекурентної НМ як ПНМ (рис. 3). Значення вихідного нейрону обчислюється згідно з (1), значення нейрону схованого рівня , де - синапс від -го вхідного нейрону до -го нейрону схованого рівня, - -тий елемент вхідного вектору , - синапс від -го нейрону схованого рівня до -го нейрону того ж рівня, - вихід -го нейрону схованого рівня в попередній момент часу , - значення вихідного нейрону в попередній момент часу .

Для навчання ПНМ використано алгоритм зворотного розповсюдження помилки (back propagation error), адаптивний крок навчання для вихідного нейрону обчислюється згідно з (3), для нейронів схованого рівня

, (4)

де . В процесі навчання змінюються синапси та пороги нейронів одночасно для всіх рівнів з урахуванням (3) і (4)

, (5)

, (6)

, (7)

, (8)

(10)

Процес навчання ПНМ згідно з (3-10) продовжується, поки помилка навчання не стане меншою заданого значення. Дослідження методу додаткової АНМ (шляхом імітаційного моделювання на 10 кривих гіпотетичних даних) показали 2% і 11% максимального відносного відхилення (різниця між значенням, отриманим шляхом обробки, і необхідним значенням) апроксимації і прогнозу (рис. 4), що показує перспективність використання запропонованого методу.

Згідно методу інтеграції апріорних даних, метою використання набору НМ інтеграції апріорних даних (НМІАД) є прогноз на основі ряду значень і т.д. (рис. 5), який формує вибірку навчання АНМ. НМІАД повинна спрогнозувати , використовуючи та , (“вікно” апріорних даних). Після навчання НМІАД та прогнозу необхідно здійснити зсув “вікна” вправо на один інтервал. Потім НМІАД повинна спрогнозувати , використовуючи та , і т.д.

Рис. 4. Результати апроксимації і прогнозу Рис. 5. Набір апріорних даних про дрейф

Для формування навчальних векторів НМІАД (для моменту часу ) слід:

1. Прийняти одну з кривих як реальну, всі інші , , - апріорні. При цьому, в момент за реальне значення приймається значення дрейфу ;

2. Визначити абсолютні відхилення в момент часу реального значення від всіх інших , , де , , ;

3. Посортувати отримані на кроці 2 абсолютні відхилення у порядку спадання, знайти максимальне та мінімальне значення ;

4. Формувати навчальний вектор НМІАД як набір значень , , , значення , , необхідно заносити у вектор згідно з посортованими на кроці 3 абсолютними відхиленнями від (табл. 1);

5. Повторити кроки 1-4 для всіх .

Таблиця 1

Структура навчального вектору НМІАД

Максимальне Проміжні Мінімальне Дрейф в Дрейф в

1 2 3 4 5

, при . . . , при

В процесі навчання на вхід НМІАД подаються значення з 1 по 4 колонки табл. 1, бажане значення виходу - 5 колонка табл. 1. При формуванні вектора прогнозу замість значення в колонці 4 використовується значення , всі інші апріорні дані сортуються аналогічно по відношенню до . Вектор подається на вхід НМІАД, на виході отримується результат інтеграції .

Як НМІАД використано однорівневий та багаторівневий персептрони. Дослідження методу (шляхом імітаційного моделювання на 10 кривих гіпотетичних даних) показали 7% і 3% максимального і середнього відносного відхилення для дрейфу “з насиченням” (зниження до 2% і 0.5% в кінці інтервалу інтеграції), 25% і 7% (зниження до 18% і 5%) для дрейфу з “прискоренням”, 52% і 30% (зниження до 18% і 5%) для комбінації дрейфів обох видів (рис. 6). Тому використання методу інтеграції апріорних даних є перспективним і дозволить зменшити кількість даних для прогнозу до двох.

Рис. 6. Комбінація дрейфів “з насиченням” і “з прискоренням” та результати їх інтеграції

У третьому розділі розроблено базову структуру, апаратне і програмне забезпечення ДМ, яка виконує запропоновані нейромережеві методи.

Для розробки базової структури ДМ здійснено аналіз потоків даних та оцінено необхідну продуктивність обчислювальних засобів , де - кількість вхідних каналів, - частота поступлення даних по кожному каналу, - складність алгоритму (кількість операцій додавання/множення за секунду), - кількість елементів вхідних даних. Виділено три масштаби реального часу виконання обчислювальних процедур (збору даних, прогнозу дрейфу та заміни математичної моделі дрейфу), оцінено обчислювальну складність нейроалгоритмів та продуктивність обчислювальних засобів для одного (табл. 2) та багатьох (табл. 3) каналів ДМ. Продуктивність сучасних ПК (основний обчислювальний засіб відомих ДМ) , де операцій – складність тестового фрагменту програми обчислення ПНМ, - час обчислення тестового фрагменту (табл. 4).

Таблиця 2

Оцінка необхідної продуктивності для виконання нейроалгоритмів

Алгоритм , оп , Гц , оп/с

Збір даних 27 2Ч104 5.4Ч105

Прогноз дрейфу 1803 8.3Ч10-4 1.5

Заміна математичної моделі дрейфу 1.8Ч1010 1.4Ч10-5 2.5Ч105

Формування вибірки для АНМ 8.6Ч108 1.4Ч10-5 1.2Ч104

Формування вибірки для НМІАД 1.3Ч1010 1.4Ч10-5 1.8Ч105

Всього для одного каналу збору сенсорних даних ДМ: 9.8Ч105

Таблиця 3 Таблиця 4

Необхідна продуктивність Результати оцінки продуктивності

для багатоканальних ДМ сучасних ПК

Канали , оп/с ПК , с , оп/с

1 9.8Ч105 Intel Pentium MMX, 120 412 8.9Ч106

5 4.9Ч106 AMD Pro, 133 282 1.3Ч107

10 9.8Ч106 Cyrix MMX, 166 503 7.4Ч106

20 1.9Ч107 Intel Celeron, 400 69 5.4Ч107

30 2.9Ч107 Intel Pentium III, 600 52 7.1Ч107

Аналіз табл. 3-4 показує, що ПК може не вистачити продуктивності для підтримки багатоканальної ДМ при використанні запропонованих нейромережевих методів. Тому в дворівневу структуру ДМ запропоновано ввести додатковий проміжний (середній) рівень обробки сенсорних даних (рис. 7): (і) нижній рівень (модулі збору даних - МЗД) перетворює сигнал сенсора в цифровий код (алгоритми незмінні і жорстко записані в пам'ять); (іі) середній рівень (інтелектуальні вузли - ІВ) – поточна обробка сенсорних даних; (ііі) верхній рівень (центральний комп'ютер - ЦК) підтримує функціонування компонентів ДМ і виконує процедури само-адаптації та самонавчання. Здійснено розподіл обчислювальних потужностей – алгоритми збору даних та прогнозу дрейфу доцільно виконувати на ІВ, а алгоритми, пов'язані з навчанням НМ, – залишити на ЦК, що дає змогу щонайменше в два рази підвищити швидкодію обробки сенсорних даних в ДМ.

Аналіз необхідної продуктивності для процесора ІВ показав, що його пікова продуктивність при обчисленні дрейфу сенсорних даних на два порядки вища від його базової продуктивності при виконанні алгоритмів збору даних (рис. 8). Тому вибір структури ІВ та його апаратного забезпечення є нетривіальним завданням. Цифрові процесори обробки сигналів (ЦПОС) мають надлишкову продуктивність (табл. 5) і велику вартість систем розробки, прийнятний рівень продуктивності (табл. 6) забезпечують дешеві однокристальні мікроЕОМ (ОМЕОМ). Тому, як базу середнього рівня ДМ, використано раніше розроблений дешевий контролер на базі ОМЕОМ 89С51, універсальність якого забезпечується оперативною заміною його ПЗ (дистанційне перепрограмування). Проте аналіз продуктивності контролера показав (табл. 6), що він вчасно може виконати тільки алгоритми збору даних. Тому запропоновано ввести в склад середнього рівня ДМ додатковий обчислювальний пристрій – контролер обчислення НМ (КОНМ) і використовувати однопроцесорну або двопроцесорну структуру ІВ (рис. 9) в залежності від періоду поступлення сенсорних даних від нижнього рівня ДМ (рис. 10).

Рис. 7. Базова трирівнева структура ДМ Рис. 8. Залежність продуктивності ІВ від часу

Таблиця 5 Таблиця 6

Продуктивність ЦПОС Продуктивність ОМЕОМ

ЦПОС, фірма , оп/с Алгоритм ОМЕОМ , оп/с

ADSP-21065L, AD 1.8Ч108 Збір даних 89С51 1.4Ч105

TMS320C40/44, TI 6Ч107 Збір даних 87С251 8.8Ч105

TMS320C80, TI 2Ч109 Прогноз дрейфу 89С51 1.8Ч104

NM6403, “Модуль” 2Ч108 Прогноз дрейфу 87С251 9.2Ч104

ПЗ ЦК (модулі супервізора, менеджера надійності, менеджера НМ, менеджера ДМ і база даних ДМ) розроблено за технологією клієнт-сервер з метою забезпечення певного кінцевого часу відповіді на запит при навчанні різних НМ. Використання ІВ наполовину розвантажило ЦК, що різко зменшило час відповіді на запит і дозволило навчати НМ в послідовному режимі. Дослідження послідовного і паралельного навчання 10 ПНМ на однопроцесорному ПК під Windows показали (табл. 7), що НМ доцільно вчити в послідовному режимі через відчутні втрати часу на перемикання між задачами.

У четвертому розділі розроблено апаратне та програмне забезпечення, яке реалізує запропоновані нейромережеві методи в інтелектуальній сенсорній інструментальній системі (ІСІС) по міжнародному проекту INTAS-OPEN-97-0606 та в розподіленій комп'ютерній системі автоматизованого обліку витрат енергоносіїв “ALFIYA”, яка працює на Івано-Франківському цементно-шиферному комбінаті. Особливістю розробленого дослідного взірця ІСІС є використання швидкодіючого апаратного забезпечення нижнього рівня, який передає сенсорні дані для обробки з періодом 44 мкс. Згідно з рис. 10, вибрано двопроцесорну структуру середнього рівня (рис. 11) з використанням КОНМ (ОМЕОМ 87С251 - основний процесор, ОМЕОМ 89С51 – процесор КОНМ, час комунікації між ними не перевищує 2 мкс). В системі “ALFIYA” запропоновані нейромережеві методи реалізовані на рівні програмного забезпечення, яке розроблено на мові програмування С++ в середовищі Windows.

Рис. 9. Одно та двопроцесорні структури ІВ

Рис. 10. Залежність продуктивності процесора ІВ від періоду надходження даних при використанні одно- (а) та двопроцесорної (б) структури

Таблиця 7

Час навчання 10 ПНМ при послідовному і паралельному навчанні

Кількість ПНМ 1 2 3 4 5 6 7 8 9 10

Послідовне навч. (хв.) 10,1 3,9 1,2 6,8 1,4 3,9 3,7 0,8 1,8 5,4

Паралельне навч. (хв.) 32,7 26,8 15 45,2 20,9 8,7 30,1 7 20,8 38,4

З метою дослідження запропонованих нейромережевих методів в реальних умовах розроблені узагальнені математичні моделі дрейфів, побудовані на основі реальних даних про дрейф сенсорів 30К5А1 та КМТ-4 (рис. 12). Наведені результати експериментальних досліджень показують (рис. 13-14), що застосування нейромережевих методів прогнозу дрейфу сенсорних даних дозволило (у порівнянні з системами, які не використовують метод прогнозу) збільшити час напрацювання на відмову в 6-12 разів при одночасному підвищенні точності збору та обробки сенсорних даних в 3-5 разів.

Рис. 11. Структурно-функціональна схема середнього рівня ІСІС

У додатках наведено тексти програмних модулів АНМ, ПНМ, НМІАД, ПЗ КОНМ та ЦК, схему КОНМ, протоколи експериментального дослідження дрейфу сенсорів 30К5А1 та КМТ-4, акти впровадження результатів наукових досліджень.

ОСНОВНІ РЕЗУЛЬТАТИ РОБОТИ ТА ВИСНОВКИ

В дисертації на основі проведених теоретичних і експериментальних досліджень вирішена задача підвищення ефективності збору та обробки сенсорних даних в дистрибутивних мережах шляхом використання нових нейромережевих методів прогнозу дрейфу сенсорних даних. В роботі одержано наступні основні результати:

1. Аналіз відомих методів підвищення надійності збору та обробки сенсорних даних, структур, апаратного і програмного забезпечення дистрибутивних мереж кращих світових фірм показав, що на сьогодні відсутні технічні рішення, які в достатній мірі задовольняють потреби промисловості, технології, наукових досліджень.

2. На основі аналізу особливостей використання нейронних мереж для прогнозу дрейфу сенсорних даних, сформульована основна суперечність, яка полягає в недостатньому обсязі даних для навчання прогнозуючої нейронної мережі на початковому етапі експлуатації сенсора, що створило основу для розробки нових методів підвищення надійності збору та обробки сенсорних даних.

Рис. 12. Дрейф сенсорів 30К5А1 при 150°С (а) та КМТ-4 при 120°С (б)

Рис. 13. Результати прогнозу дрейфу для сенсорів 30К5А1 по методу

додаткової АНМ (а) та по методу інтеграції апріорних даних (б)

Рис. 14. Результати прогнозу дрейфу для сенсорів КМТ-4 по методу додаткової АНМ (а)

та по методу інтеграції апріорних даних (б)

3. Запропоновано та досліджено два нові нейромережеві методи підвищення надійності збору та обробки сенсорних даних (перший - за допомогою додаткової апроксимуючої нейронної мережі, другий – за допомогою набору нейронних мереж інтеграції апріорних даних), що для гіпотетичних даних дозволило збільшити час напрацювання дистрибутивної мережі на відмову у 9-15 разів при одночасному підвищенні точності збору та обробки сенсорних даних в 10 разів.

4. На основі проведеного аналізу потоків даних та продуктивності необхідних обчислювальних засобів обґрунтовано трирівневу структуру дистрибутивної мережі, яка реалізує запропоновані нейромережеві методи підвищення надійності, та здійснено розподіл обчислювальних потужностей, що дозволило спеціалізувати обробку сенсорних даних по рівнях згідно реальних часів прогнозу дрейфу та заміни його математичної моделі, і тим самим, збільшити швидкодію обробки сенсорних даних щонайменше в два рази.

5. На основі аналізу продуктивності та вартості обчислювальних засобів розроблені рекомендації по вибору структури обчислювального вузла середнього рівня дистрибутивної мережі, що дозволило мінімізувати собівартість вузла при умові його функціонування в реальному часі збору сенсорних даних.

6. Розроблено структуру, алгоритми та модулі програмного забезпечення комп'ютера верхнього рівня дистрибутивної мережі по технології клієнт-сервер, що дозволило врахувати специфіку апаратних засобів мережі шляхом розділення процесів навчання і прогнозу по рівнях з відповідною обчислювальною потужністю і забезпечити заміну математичної моделі дрейфу в реальному часі.

7. Розроблено і впроваджено апаратні та програмні засоби в інтелектуальній сенсорній інструментальній системі збору та обробки даних ISIS-97-0606 (Університет ім. Аристотеля, м. Салоніки, Греція) та в розподіленій системі автоматизованого контролю та обліку витрат енергоносіїв “ALFIYA” (Івано-Франківський цементно-шиферний комбінат, м. Івано-Франківськ), в яких застосування методів підвищення надійності для сенсорів 30К5А1 та КМТ-4 дало змогу збільшити час напрацювання на відмову у 6-12 разів при одночасному підвищенні точності збору та обробки сенсорних даних в 3-5 разів.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Саченко А.О. Кочан В.В., Турченко В.О. Дистрибутивна сенсорна мережа підвищеної ефективності // Вісник ДУ “Львівська політехніка”: Комп'ютерні системи та мережі. - №350. - 1998. – С. 77-80.

2. Турченко В.О. Застосування нейронних мереж для підвищення достовірності даних // Вісник ДУ “Львівська політехніка”: Комп'ютерні системи та мережі. – № 385. – 2000. – С. 127-131.

3. Турченко В.О. Спеціалізований контролер нейрообчислень дистрибутивної мережі збору і обробки сенсорних даних // Науковий вісник Чернівецького університету: Фізика. Електроніка. – 2000. – №92. – С. 86-90.

4. Турченко В., Кочан Р., Карачка А. Застосування нейронних мереж для прог-нозування дрейфу характеристик перетворення сенсорів//Вісник Тернопільського державного технічного університету.–2000. – Т.5. – №4. – С. 102-108.

5. Саченко А., Кочан В., Турченко В., Головко В., Савицкий Ю., Дунец А. Прогнозирование ошибок сенсорных устройств с использованием нейронных сетей // Вестник Брестского государственного технического университета “Машиностроение, автоматизация, ЭВМ”. - 2000. - №4. - С. 59-64.

6. A.Sachenko, V.Kochan, V.Turchenko. Intelligent Distributed Sensor Network // Proceedings of the 15th IEEE Instrumentation and Measurement Technology Conference (IMTC/98). - St. Paul (USA). - 1998. - Р. 60-66.

7. A.Sachenko, V.Kochan, V.Turchenko, V.Tymchyshyn, N.Vasylkiv. Intelligent Nodes for Distributed Sensor Network // Proceedings of 16th IEEE Instrumentation and Measurement Technology Conference (IMTC/99). - Venice (Italy). - 1999. - Р. 1479-1484.

8. V.Golovko, L.Grandinetti, V.Kochan, T.Laopoulos, A.Sachenko, V.Turchenko, V.Tymchyshyn. Approach of an Intelligent Sensing Instrumentation Structure Development // Proceedings of the IEEE International Workshop on Intelligent Signal Processing (WISP'99). - Budapest (Hungary). - 1999. - Р. 336-341.

9. V.Golovko, L.Grandinetti, V.Kochan, T.Laopoulos, A.Sachenko, V.Turchenko. Sensor Signal Processing Using Neural Networks // Proceedings of the IEEE Region 8 International Conference Africon'99. - Cape Town (South Africa). - 1999. - Р. 345-350.

10. V.Golovko, J.Savitsky, A.Sachenko, V.Kochan, V.Turchenko, T.Laopoulos, L.Grandinetti. Intelligent System for Prediction of Sensor Drift // Proceedings of the International Conference on Neural Networks and Artificial Intelligence (ICNNAI'99). - Brest (Belarus). - 1999. - Р. 126-135.

11. A.Sachenko, V.Kochan, V.Turchenko, T.Laopoulos, V.Golovko, L.Grandinetti. Features of Intelligent Distributed Sensor Network Higher Level Development // Proceedings of the 17th IEEE Instrumentation and Measurement Technology Conference (IMTC/2000). - Baltimore (USA). - 2000. - Р. 335-340.

12. A.Sachenko, V.Kochan, V.Turchenko. Sensor Drift Prediction Using Neural Networks // Proceedings of the International Workshop on Virtual and Intelligent Measurement Systems (VIMS'2000). - Annapolis (USA). - 2000. - Р. 88-92.

13. A.Sachenko, V.Kochan, V.Turchenko, T.Laopoulos, V.Golovko. Intelligent Node for Sensor Signal Processing // Proceedings of the 2000 IEEE Nordic Signal Processing Symposium (NORSIG'2000).-Linkoping (Sweden).–2000.–Р.367-370.

14. A.Sachenko, V.Kochan, V.Turchenko, V.Golovko, J.Savitsky, A.Dunets, T.Laopoulos. Sensor Errors Prediction Using Neural Networks // Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN'2000). – Como (Italy). – 2000. – Vol. IV. – P. 441-446.

АНОТАЦІЯ

Турченко В.О. Нейромережеві методи і засоби підвищення ефективності дистрибутивних мереж збору та обробки сенсорних даних. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.13 - обчислювальні машини, системи та мережі. - Національний університет “Львівська політехніка”, Львів, 2001.

Дисертацію присвячено підвищенню ефективності (надійності, швидкодії, універсальності) дистрибутивних мереж збору та обробки сенсорних даних за рахунок прогнозу дрейфу сенсорних даних за допомогою нейронних мереж. Запропоновані та досліджені нові нейромережеві методи додаткової апроксимуючої нейронної мережі та інтеграції апріорних даних. Вони дозволяють в 6-12 разів (у порівнянні з системами, які не використовують метод прогнозу) збільшити час напрацювання на відмову (зменшити кількість калібрувань або повірок сенсора) на початковому етапі експлуатації дистрибутивної мережі. Запропоновано трирівневу структуру дистрибутивної мережі, яка забезпечує задану швидкодію обробки даних в реальному часі. Розроблено рекомендації по вибору структури обчислювального пристрою середнього рівня мінімальної собівартості. Розроблено структуру, алгоритми та програмні модулі комп'ютера верхнього рівня з використанням технології клієнт-сервер, що забезпечило заміну математичної моделі дрейфу в реальному часі. Впроваджено розроблені апаратні та програмні засоби.

Ключові слова: дистрибутивна мережа, нейронна мережа, час напрацювання на відмову, адаптивний крок навчання, інтеграція апріорних даних, продуктивність обчислювальних засобів.

АННОТАЦИЯ

Турченко В.А. Нейросетевые методы и средства повышения эффективности дистрибутивных сетей сбора и обработки сенсорных данных. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.13 – вычислительные машины, системы и сети. - Национальный университет “Львовская политехника”, Львов, 2001.

Диссертация посвящена повышению эффективности (надежности, быстродействия, универсальности) дистрибутивных сетей сбора и обработки сенсорных данных за счет прогноза дрейфа сенсорных данных используя нейронные сети. Предложены и исследованы нейросетевые методы дополнительной аппроксимирующей нейронной сети и интеграции априорных данных. Они позволяют в 6-12 раз (в сравнении с системами, которые не используют прогнозирования) увеличить время наработки на отказ (уменьшить количество калибровок и поверок сенсора) на начальном этапе эксплуатации дистрибутивной сети. Предложена трехуровневая структура дистрибутивной сети, которая обеспечивает заданное быстродействие обработки данных в реальном времени. Разработаны рекомендации по выбору структуры вычислительного устройства среднего уровня минимальной себестоимости. Разработаны структура, алгоритмы и программные модули компьютера верхнего уровня с использованием технологии клиент-сервер, что обеспечило замену математической модели дрейфа в реальном времени. Внедрены разработанные аппаратные и программные средства.

Ключевые слова: дистрибутивная сеть, нейронная сеть, время наработки на отказ, адаптивный шаг обучения, интеграция априорных данных, производительность вычислительных средств.

ABSTRACT

Turchenko V.O. Neural network-based methods and means for improving the effectiveness of distributed sensor data acquisition and processing networks. – Manuscript.

Dissertation for a Ph.D. (candidate of sciences) degree on speciality 05.13.13 – computing machines, systems and networks. – The National University “Lvivska Politechnika”, Lviv, 2001.

The dissertation is devoted to the task of effectiveness (reliability, processing speed and universality) improving the distributed networks of sensor data acquisition and processing at the expense of sensor data drift prediction with the use of neural networks.

The main computational tasks of the distributed networks and structure of sensor data processing channel are analyzed. It is shown that the effectiveness of distributed networks on the whole depends on the quality and reliability of sensor data acquisition and processing procedures. The maximum increase of time between failures of distributed network is reached by high quality individual prediction of sensor data drift based on limited number of calibration and testing results. The analysis of the known methods of individual prediction has shown that their common drawback is the necessity of choice of prediction function class. It is proposed to use artificial neural networks for prediction and to adapt them respectively at the usage of limited size of training data. The structures, hardware and software of known distributed networks are analyzed. It is shown, that their main drawback is the necessity of the main (control) computer operating in real time scale of sensor data acquisition.

The new methods of sensor data drift prediction at limited size of training set on the initial stage of sensor exploitation are developed and researched by simulation modeling. It is proposed to divide all data for neural network training into three groups: (i) real data is the sensor data drift during sensor exploitation in the real exploitation conditions; (ii) a priori data is the sensor data drift for the previous exploitation time of the same sensors in the similar exploitation conditions; (iii) hypothetical data is the generalized mathematical model of sensor data drift for particular type of the sensor. The methods of additional approximating neural network allows increasing the training set for predicting neural network by sensor data drift curve approximation. The use of multilayer perceptron as approximating neural network and recurrent neural network as predicting neural network is grounded. The algorithms of multiple and back propagation error with adaptive learning rate have been used for the training. The method of a priori data integration is used to state the relation between general and individual features of sensor data drift using a set of a priori data integrating neural networks. The use of the single-layer and multi-layer perceptrons by way of neural network with back propagation training algorithm is grounded. Experimental researches of additional approximating neural network by simulation modeling have shown 2% and 11% maximum percentage error of approximation and prediction respectively. The method of a priori data integration has been researched on the various kinds of drift and has shown no more than 20% maximal percentage error of integration in the end of the integration interval. The application of the proposed methods using mathematical models of real sensor data based on 30K5A1 and KMT-4 sensors in real industrial conditions allows increasing the time between failures in 6-12 times (in comparison with the systems, which do not use drift prediction) with the simultaneous increase of sensor data processing accuracy in 3-5 times.

Taking into account the dataflow analysis and the estimation of necessary productivity of computing devices, it is proposed a three-level structure of distributed network by including the additional computing device of the middle level into the known two-level structures. It allows increasing the speed of sensor data processing at least in 2 times during the execution of neural network-based algorithms of drift prediction and also providing personal computer