ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ
ІНСТИТУТ ПРОБЛЕМ МАТЕМАТИЧНИХ МАШИН І СИСТЕМ
МАЙСТРЕНКО СВІТЛАНА ЯКІВНА
УДК 681.51:57
МЕТОДИ ТА МОДЕЛІ ЗАБЕЗПЕЧЕННЯ ДОСТОВІРНОСТІ ІНФОРМАЦІЇ
В АВТОМАТИЗОВАНИХ СИСТЕМАХ ОРГАНІЗАЦІЙНОГО УПРАВЛІННЯ
05.13.06 - Автоматизовані системи управління та прогресивні
інформаційні технології
АВТОРЕФЕРАТ
дисертації на здобуття наукового
ступеня кандидата технічних наук
Київ – 2006
Дисертацією є рукопис.
Роботу виконано в Інституті проблем математичних машин та систем НАН України.
Науковий керівник: доктор технічних наук, професор
Литвинов Валерій Андроникович,
Інститут проблем математичних машин та систем
НАН України, провідний науковий співробітник
Офіційні опоненти: доктор технічних наук, професор
Волошин Олексій Федорович,
Київський національний університет імені Тараса Шевченка,
професор кафедри математичних методів еколого-
економічних досліджень
кандидат технічних наук, старший науковий
співробітник
Ігнатенко Петро Петрович,
Інститут програмних систем НАН України,
завідувач відділу
Провідна установа: Науково-виробнича корпорація
„Київський інститут автоматики”, м. Київ
Захист відбудеться „ 26 ”_квітня___2006 року о 16 годині на засіданні спеціалізованої вченої ради Д 26.204.01 в Інституті проблем математичних машин і систем НАН України за адресою: 03187, Київ - 187, проспект Академіка Глушкова, 42.
З дисертацією можна ознайомитись у науковій бібліотеці Інституту проблем математичних машин і систем НАН України за адресою: 031187, Київ-187, проспект Академіка Глушкова, 42.
Автореферат розісланий „16”_березня_ 2006 року.
Вчений секретар
спеціалізованої вченої ради,
кандидат технічних наук |
Ходак В.І.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. У даний час переважна частина комп'ютерної індустрії орієнтована на створення та ефективне використання АСОУ - людино-машинних систем, призначених для автоматизації процесів прийняття рішень управлінським персоналом підприємств, корпорацій, галузей і т.п. та їхнього подальшого виконання. Людино-машинні системи типу EIS, OLTP і раніше, у минулі десятиліття, займали значне місце в області практичного впровадження автоматизованих систем управління і, відповідно, у проблематиці досліджень фахівців з комп'ютерного управління. В останні роки у зв'язку з інтенсивним розвитком інтегрованих систем планування ресурсів підприємств ( ERP) і систем, орієнтованих на аналіз (інтелектуалізованих систем підтримки прийняття рішень, Ситуаційних центрів), питома вага АСОУ в загальній проблематиці комп’ютеризованих систем управління ще більше зросла.
Незалежно від призначення і характеру АСОУ всі основні функції підтримки прийняття рішень і управління здійснюються на основі облікової моніторингової інформації про стан об'єкта управління. У зв'язку з цим ефективність систем моніторингу об'єкта, збору, підготовки і вводу первинної інформації має визначальне значення для ефективності функціонування АСОУ в цілому.
Серед різноманіття задач проектування ефективних систем збору інформації першорядну роль грає задача забезпечення достовірності даних, що вводять в ЕОМ, зокрема, на основі ефективних технологій спілкування користувача з ЕОМ.
Незважаючи на появу й розвиток нових технологій спілкування людина-ЕОМ та електронізацію документообігу в АСОУ, питома вага традиційних технологій вводу інформації поки залишається досить високою. Документообіг в АСОУ набув рис комбінованого (електронно-паперового), зберігаючи значну частку участі людини у формуванні, підготовці й введенні інформації в ЕОМ. Тому задачі вдосконалення технологій вводу і захисту від помилок людини, як і раніше, залишаються актуальними.
Зв'язок роботи з науковими програмами, планами, темами. Робота над дисертацією виконувалася у відділі “Інтелектуальні інформаційно-аналітичні системи” Інституту проблем математичних машин і систем Національної академії наук України в рамках таких держбюджетних фундаментальних тем НАНУ і державних науково-дослідних робіт за договорами з Міністерством оборони України:
1. “Дослідження науково-методичних та інструментальних засад організації обробки знань у системах ситуаційного управління” (№ РК: 0198w000445).
2. “Дослідження базових засад та методів створення інтелектуальних систем автоматизації управління багаторівневими об'єктами на основі методології ситуаційного управління” (№ РК: 0100w000989.ОК: 0204w000508).
3. “Дослідження та розробка інтелектуалізованих технологій для інформаційно-аналітичних систем типу “Ситуаційні центри”” (№ РК: 0104w000646).
4. „Створення та розгортання першої черги програмно-технічного комплексу автоматизованої системи підтримки прийняття рішень Ситуаційного центру Головного командного центру Збройних сил України” (№117520).
5. “Створення бази даних паспортів потенційно-небезпечних об'єктів Збройних сил України” (№ РК: 0102w005275).
6. “Інформаційно-довідкова система відображення інформації з бази даних паспортів потенційно-небезпечних об'єктів з використанням ГІС” (№ РК: 0104w000339).
Мета й задачі дослідження. Загальна мета дисертаційної роботи полягає в аналізі сучасного стану проблеми забезпечення й оцінки достовірності інформації в АСОУ, дослідженні шляхів і конкретних методів її вирішення в напрямку вдосконалення інтерфейсу користувача й технологій вводу на основі автоматичної ідентифікації даних (слів), що вводяться, і автоматичної корекції помилок користувача. З цією метою в роботі обґрунтовуються, ставляться й вирішуються такі науково-практичні задачі:
1. Аналіз відомих методів контролю та автоматичного виправлення типових помилок користувача, а також засобів реалізації методів у рамках “штатних” можливостей сучасних СУБД (на прикладі СУБД ORACLE).
2. Побудова й дослідження моделей, що описують алгоритми автоматичної ідентифікації та корекції (АІК) типових помилок користувача за словником припустимих слів.
3. Побудова й дослідження моделей автоматичної ідентифікації слів, що вводяться, і попередньої підказки користувачеві.
4. Побудова й дослідження моделей оцінки достовірності та точності інформації.
5. Розробка засобів програмної реалізації моделей і методів.
Об'єкт дослідження. Технології вводу інформації в людино-машинних системах і захисту від помилок користувача.
Предмет дослідження. Методи й моделі забезпечення та оцінки достовірності інформації в АСОУ.
Методи дослідження. Проведені дослідження базуються на загальній методології наукового пізнання (аналіз проблемної області, обґрунтування задач досліджень, декомпозиція задач, використання математичної індукції та дедукції при вирішенні задач), а також використанні конкретних методів системного аналізу (класифікація та аналіз методів контролю і автоматичного виправлення помилок користувача), теорії ймовірностей і математичної статистики, алгебри логіки, методів математичного та імітаційного моделювання (побудова і дослідження моделей), методів теорії і практики системного програмування (програмна реалізація моделей).
Наукова новизна отриманих результатів:
1. Побудовано та досліджено логіко-імовірнісні моделі автоматичної ідентифікації і корекції (АІК) типових помилок користувача за словником припустимих слів і словосполучень для різних алгоритмів (стратегій) обробки словника. На основі загальної моделі випробувань Бернуллі вперше отримано оцінки імовірнісних характеристик, що визначають результати процесу (імовірності правильної, хибної та “ручної” корекції) залежно від характеристик словника і обраного ансамблю помилок, що коригуються. Запропоновано і проаналізовано критерій “точки рівноваги”, який визначає поріг надмірності словника, необхідної для підвищення достовірності інформації при використанні методу АІК у порівнянні з ручною корекцією.
У результаті імітаційного моделювання визначено швидкісні характеристики методу та раціональний спосіб його реалізації в комплексі із СУБД (на прикладі СУБД ORACLE). Запропоновано рекомендації щодо практичного застосування.
2. Побудовано модель для методу попередньої ідентифікації слова, що вводиться користувачем, у двох технологічних режимах: автоматичної та візуальної ідентифікації. Модель базується на апроксимації розподілу припустимих слів відповідного словника безперервними функціями. Вперше встановлено залежності між параметрами словника і: а) умовами однозначної автоматичної та візуальної ідентифікації; б) впливом на достовірність інформації, що вводиться.
3. Запропоновано критерій і побудовано модель оцінки точності агрегованих кількісних показників, що включають певну частину недостовірних значень, спотворених “грубими” помилками. Уперше отримано співвідношення, які визначають характеристики відхилення значення агрегату (математичного сподівання та дисперсії) від істинного значення залежно від обсягу агрегату і відносної кількості недостовірних значень.
4. Запропоновано вдосконалений метод і побудовано модель деталізованої оцінки ефективності методів логічного контролю (результуючої достовірності) на основі детального урахування властивостей методу контролю стосовно конкретного ансамблю помилок, що коригуються. Запропоновано алгоритм практичної реалізації моделі, заснований на інструментах методу АІК.
Практична значимість отриманих результатів. Досліджені методи й створені моделі реалізовано у вигляді таких програмних продуктів:
1. Пакет програмних методів контролю - ППМК-1 (СУБД ORACLE).
2. Пакет програмних методів контролю - ППМК-2 (СУБД- незалежний).
3. Програмний модуль автокорекції – ПМ АІК.
4. Програмний модуль визначення точності агрегованих показників.
5. Програмний модуль оцінки ефективності логічного контролю.
Пакети програм 1, 2, 3 впроваджено у складі програмного забезпечення, розробленого для МО України за договорами: № РК: 0102w005275, № РК: 0104w000339; інші було використано у проектних роботах за договором № РК: 0104w000646 з Міністерством оборони.
У цілому практична значимість отриманих результатів визначається можливостями:
а) використання пакетів програм 1, 2, 3 для вдосконалення технології вводу інформації в АСОУ (зниження трудомісткості та підвищення достовірності вводу);
б) використання створених математичних моделей і пакетів програм 4, 5 для одержання оцінок, корисних для проектування АСОУ і, зокрема, СППР різної проблемної орієнтації (економіка, соціологія, збройні сили та ін.).
Особистий внесок здобувача. У працях, опублікованих у співавторстві, здобувачу належать: результати теоретичних та експериментальних досліджень ефективності редакторської обробки сканерної інформації (1), підходи до програмної реалізації засобів контролю інформації, що доповнюють штатні можливості СУБД (на прикладі СУБД ORACLE) (2), алгоритми 1, 3, 4 і моделі автоматичної корекції типових помилок користувача та результати досліджень їх імовірнісних характеристик (3, 4, 5, 6, 13), моделі автоматичної ідентифікації та попередньої підказки користувачу при вводі даних (6, 7, 8, 15), вдосконалений метод та модель деталізованої оцінки ефективності методів логічного контролю інформації (11), підходи до оцінки достовірності та точності елементів інформаційної бази СППР (14, 16), імітаційна модель процесу автоматичної ідентифікації і корекції помилок користувача та результати її експериментальних досліджень, метод ефективної програмної реалізації у комплексі з СУБД (12). Всі положення, що складають наукову новизну одержаних результатів, належать особисто здобувачу.
Апробація результатів дисертаційної роботи. Результати дисертаційної роботи пройшли апробацію на таких науково-технічних конференціях і семінарах: міжнародній науково-технічній конференції “Штучний інтелект. Інтелектуальні й багатопроцесорні системи - 2004” (Кацивелі, 2004, 20-25 вересня); III міжнародній науково-практичній конференції “Моделі та інформаційні технології в управлінні соціально-економічними, технічними та екологічними системами” (Луганськ, 2005, 20-21 квітня); першій науково-практичній конференції за міжнародною участю “Системи підтримки прийняття рішень. Теорія і практика” (Київ, 2005, 7 червня); сьомій міжнародній науково-технічній конференції “Системний аналіз та інформаційні технології” (Київ, 2005, 28 червня - 2 липня); семінарах Наукової ради НАН України з проблеми „Кібернетика”, секція 8, Математичні машини й системи, семінар 8.7 „Обчислювальні машини і інформаційні технології спеціального призначення”.
Публікації. За темою дисертації опубліковано 16 наукових праць. З них 10 - статті у фахових виданнях, рекомендованих ВАК України для спеціальності 05.13.06 (з них 2 - одноосібні), 6 – тези виступів на наукових конференціях (з них 1 - одноосібна).
Структура та обсяг дисертації. Дисертація складається із вступу, чотирьох розділів, висновків, списку використаних джерел з 81 найменування та додатків. Загальний обсяг роботи становить 206 сторінок, містить 30 таблиць, 27 рисунків та 8 додатків на 48 сторінках.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі обґрунтовано актуальність теми дослідження, сформульовано мету і задачі дослідження, визначено наукову новизну і практичне значення отриманих результатів. Наведено інформацію про особистий внесок здобувача у результати досліджень, виконаних і опублікованих разом із співавторами.
У першому розділі розглянуто клавіатурні і сканерні технології вводу інформації в АСОУ, проаналізовано сучасний методологічний та програмний інструментарій систем контролю типових помилок користувача. Обґрунтовано важливість задачі інтелектуалізації інтерфейсу користувача, зокрема, на основі автоматичної ідентифікації й корекції помилок. Класифіковано і співставлено відомі методи автоматичної корекції, оцінено їх характеристики (коригуюча спроможність, інформаційна та операційна надмірність). Обґрунтовано й сформульовано конкретні задачі досліджень.
Другий розділ присвячений побудові та дослідженню моделей автоматичної ідентифікації та корекції (АІК) типових помилок користувача на основі словника припустимих слів (словосполучень).
Відомо, що імовірності появи типових помилок користувача (зокрема, однократних транскрипцій , вставок , пропусків , суміжних транспозицій , двократних транскрипцій ) практично не пов'язані з їх кратністю. Тому застосування класичних “метричних” підходів, заснованих на введенні та обчисленні деякої кратно-залежної відстані (типу, наприклад, Хемінговської) між помилковим словом і словами словника, в цьому випадку недоцільно. Сутність розглянутого методу полягає в генерації зворотних спотворень ("варіацій") помилкового слова різними визначеними (”що коригуються”) помилками, які становлять ансамбль , і перевірці припустимості значення варіації за словником – довідником обсягу символьних слів, представлених в алфавіті . Залежно від рішень, прийнятих у результаті перевірки для усунення можливої багатозначності (- значності), можливі 4 основних алгоритми:
· АКМР - автоматичне коригування по варіації з максимальною імовірністю помилки;
· АОК - автоматичне однозначне коригування по єдиній варіації, що співпала;
· ПКМР - напівавтоматичне коригування за участю користувача по варіації, що відповідає максимальній імовірності помилки;
· АПКК - автоматичне/напівавтоматичне комбіноване коригування.
Можливі такі загальні результати процесу генерації варіацій і пошуку у словнику:
- помилка правильно ідентифікована й автоматично (імовірність ) або напівавтоматично (імовірність ) виправлена;
- помилка не ідентифікована, і вона виправляється „вручну” (імовірність );
- помилка ідентифікована невірно і виправлена хибно (імовірність ).
Повна група всіх подій включає ще випадок, коли на етапі контролю слова за словником, що передує етапу ідентифікації - корекції, помилка не виявляється (імовірність ).
Визначення та аналіз значень для різних рішень (конкретних алгоритмів) є основною метою побудови відповідних моделей.
Для побудови моделей істотне таке твердження:
Якщо , то ; інакше .
Це означає, що якщо помилка, яка відбулася, належить ансамблю , то одна з варіацій обов’язково співпаде з одним із слів словника (а саме, істинним словом). При цьому ще одна або більше варіацій можуть дати хибні співпадіння. У протилежному випадку можливі випадкових хибних співпадінь.
В основу оцінки імовірнісних характеристик покладено допущення про випадковий розподіл слів словника серед множини всіх можливих значень і модель випробувань Бернуллі, що визначає імовірність у точності випадкових співпадінь при перевірці варіацій:
,
де .
Для кожного алгоритму будуються логіко-імовірнісні моделі у вигляді графів, що описують структуру можливих подій і визначають частки складових імовірностей .
Алгоритм 1 (АКМР)
; ;
.
Алгоритм 2 (АОК)
; ; .
Алгоритм 3 (ПКМР)
,
де ;
.
Алгоритм 4 (АПКК)
; ;
;.
У наведених виразах через позначено величину , а через - величину .
У табл. 2.1 міститься ілюстративний приклад розрахунку для та ансамблю помилок з урахуванням літературних даних відносно значень імовірностей .
Таблиця 2.1
Приклад розрахунку
Параметри
АКМР | 10-2 | 4,8962•10-1 | - | 2,5695•10-2 | 4,7468•10-1
10-4 | 8,9124•10-1 | - | 9,9022•10-2 | 9,6346•10-3
10-6 | 8,9910•10-1 | - | 1,0078•10-1 | 1,2008•10-4
10-8 | 8,9920•10-1 | - | 1,0080•10-1 | 1,4320•10-6
АОК | 10-2 | 2,3153•10-1 | - | 7,2378•10-1 | 3,4688•10-2
10-4 | 8,8342•10-1 | - | 1,1472•10-1 | 1,7527•10-3
10-6 | 8,9900•10-1 | - | 1,0097•10-1 | 2,2070•10-5
10-8 | 8,9920•10-1 | - | 1,0080•10-1 | 2,6309•10-7
ПКМР | 10-2 | - | 7,4772•10-1 | 2,4228•10-1 | -
10-4 | - | 8,9906•10-1 | 1,0084•10-1 | -
10-6 | - | 8,9920•10-1 | 1,0080•10-1 | -
10-8 | - | 8,9920•10-1 | 1,0080•10-1 | -
АПКК | 10-2 | 2,3153•10-1 | 5,5325•10-1 | 1,7053•10-1 | 3,4688•10-2
10-4 | 8,8342•10-1 | 1,5686•10-2 | 9,9038•10-2 | 1,7527•10-3
10-6 | 8,9900•10-1 | 1,9600•10-4 | 1,0078•10-1 | 2,2070•10-5
10-8 | 8,9920•10-1 | 2,3379•10-6 | 1,0080•10-1 | 2,6309•10-7
Як показує аналіз отриманих виразів (і це ілюструє наведений вище приклад) при (а практично при ) для всіх алгоритмів . З іншого боку при значення занадто великі навіть для малих ансамблів , так що зону конкуренції практично визначає діапазон .
Для врахування можливості помилкового виправлення користувачем при ручному коригуванні в розгляд вводиться показник
,
де - імовірність хибної “ручної” корекції;
- відносна помилковість напівавтоматичної корекції по відношенню до чисто “ручної”.
При значеннях застосування методу АІК не тільки зменшує трудомісткість вводу, але й підвищує результативну достовірність інформації. Значення , для яких визначають “точку рівноваги”. У табл. 2.2, як приклад, наведено значення , розраховані з урахуванням припущення, що , а дорівнює статистичній імовірності спотворення символу при вводі інформації (за літературними даними).
Таблиця 2.2
Значення для алгоритмів АКМР, АОК, ПКРМ, АПКК |
АКМР | АОК | ПКМР | АПКК
10-2 | 3,6228• 10+1 | 1,4422• 10+1 |
4,0399• 10-1 |
1,4159• 10+1
10-3 | 4,7942• 10+0 | 2,7615• 10+0 |
3,7823• 10-1 |
2,7265• 10+0
10-4 | 8,2932• 10-1 | 6,2917• 10-1 |
3,7790• 10-1 |
6,2557• 10-1
10-5 | 4,2314• 10-1 | 4,0316• 10-1 |
3,7790• 10-1 |
4,0280• 10-1
10-6 | 3,8243• 10-1 | 3,8043• 10-1 |
3,7790• 10-1 |
3,8039• 10-1
10-2 | 5,4082• 10+1 |
4,6813• 10+0 |
2,4473• 10-1 | 4,1225• 10+0
10-3 | 8,0246• 10+0 |
1,5421• 10+0 | 1,0330• 10-1 |
1,4296• 10+0
10-4 | 9,2805• 10-1 |
2,6279• 10-1 |
1,0083• 10-1 |
2,5082• 10-1
10-5 | 1,8389• 10-1 |
1,1719• 10-1 |
1,0080• 10-1 |
1,1599• 10-1
10-6 | 1,0911• 10-1 |
1,0244• 10-1 |
1,0080• 10-1 |
1,0232• 10-1
10-2 | 1,0493• 10+2 | 1,0001• 10+0 |
1,0080• 10-1 |
8,6164• 10-1
10-3 | 5,3000• 10+1 |
3,4416• 10+0 |
6,3556• 10-1 |
2,8637• 10+0
10-4 | 7,7841• 10+0 |
1,0870• 10+0 |
5,3631• 10-1 |
9,7016• 10-1
10-5 | 8,7350• 10-1 | 1,8276• 10-1 |
5,3432• 10-1 |
1,7032• 10-1
10-6 | 1,4944• 10-1 | 8,0147• 10-2 |
5,3430• 10-1 |
7,8896• 10-1
У цілому в розділі 2 розглянуто всі модифікації загального методу АІК, які мають практичний інтерес. Побудовані моделі дають оціночну імовірнісну інформацію для прийняття рішення про доцільність використання АІК у конкретному випадку, про вибір ансамблю помилок, що коригуються, та алгоритму. Успішність застосування методу і, зокрема, доцільний вибір алгоритму й ансамблю помилок, які коригуються, залежить від багатьох факторів. Серед них характеристики інформації, тобто словника ( ), середовище, в якому розміщений словник, обчислювальні потужності комп'ютера, режим вводу й контролю–корекції (on-line, off-line).
У 3-му розділі розглядається 3 моделі, поєднані загальною постановкою задач.
Перша модель описує характеристики попередньої підказки в інтелектуалізованому інтерфейсі користувача. Можливі дві схеми реалізації підказки: візуальна (напівавтоматична) ідентифікація ВІ та автоматична АІВ. Загальна властивість схем полягає в тому, що користувачем вводиться тільки деяка частина символів слова (у середньому, для схеми АІВ і для схеми ВІ, причому ).
Для одержання наближених оцінок при випадковому розподілі розглядається безперервна апроксимація словника й процесу пошуку. Дискретним значенням ставляться у відповідність безперервні значення з розподілом (де - нормуючий множник) що відповідає розподілу інтервалів між подіями в законі Пуасона.
- інтервал між двома довільними сусідніми значеннями слів словника .
Значення визначається таким виразом:
. (3.1)
Таблиця 3.1
Значення для
|
10-3 | 10-4 | 5 •10-5 | 10-5 | 5 •10-6 | 10-6 | 10-7
6 | 3,7312 | 2,7376 | 2,4407 | 1,7383 | 1,4508 | 1,1680 | 1,1162
8 | 5,7292 | 4,7374 | 4,4406 | 3,7382 | 3,4410 | 2,7383 | 1,7384
10 | 7,7272 | 6,7372 | 6,4405 | 5,7382 | 5,4410 | 4,7383 | 3,7383
12 | 9,7252 | 8,7370 | 8,4404 | 7,7382 | 7,4410 | 6,7383 | 5,7383
Для схеми ВІ
, (3.2)
де - обсяг - групи.
Проаналізуємо останній вираз. Прийнятне для візуальної ідентифікації значення навряд чи може перевищувати 10-12, а значення практично не може бути менше 10. Отже, і величина , що визначає очікуване скорочення кількості символів для режиму ВІ у порівнянні з АІВ, перебуває в діапазоні .
Для оцінки впливу на достовірність скорочення слова, що вводиться, з до символів розглядається показник , який визначається на підставі співвідношень відомої задачі про розміщення через середнє значення порожніх ящиків при киданні куль у ящиків.
(3.3)
де .
Таблиця 3.2
Значення для обраних значень параметрів
|
2 | 3 | 4 | 5 | 6 | 7 | 8
(r=10-3, n=6 ) | 3,0• 10-3 | 3,163• 10-3 | 1,576• 10-2 | 1,206• 10-1 | 1,000 | - | -
(r=10-5 , n=8 ) | 4,0• 10-5 | 4,217• 10-5 | 2,101• 10-4 | 1,608• 10-3 | 1,334• 10-2 | 1,142• 10-1 | 1,000
(r=10-5 , n=12) | 6,0• 10-9 | 6,326• 10-9 | 3,152• 10-8 | 2,412• 10-7 | 2,001• 10-6 | 1,14• 10-5 | 1,500• 10-4
У цілому, як показує аналіз (3.1), (3.3) і даних табл. 3.2, попередня підказка дозволяє одержати істотне скорочення трудозатрат при вводі даних. При цьому схема АІВ забезпечує меншу трудомісткість вводу та ідентифікації за рахунок зменшення кількості й спрощення етапів, виконуваних користувачем.
Друга модель розділу 3 призначена для оцінки очікуваної точності агрегованих кількісних показників, частина з яких спотворена у процесі первинного формування або вводу в ЕОМ.
Задача ставиться в такий спосіб. Підсумовується незалежних - розрядних випадкових величин, з яких спотворені статистично однаковими “грубими” помилками з математичним сподіванням (одиничним зміщенням) і дисперсією (одиничною дисперсією). Задача полягає в побудові моделі й визначенні модуля математичного сподівання й дисперсії зміщення значення агрегату від істинного значення. Схема процесу накопичення помилок показана на рис. 3.3.
Показано, що , де
. (3.4)
Таблиця 3.3
Залежність
| 1 | 2 | 3 | 4 | 7 | 8 | 10 | 50 | 100 | 101
1,00 | 1,00 | 1,50 | 1,50 | 2,19 | 2,19 | 2,46 | 5,61 | 7,96 | 8,04
Ілюстративні результати побудови й дослідження моделі для помилок типу однократних транскрипцій відображені на рис. 3.4, де через позначено відносне значення зміщення і прийнято .
Оцінки граничних величин фактичних значень зміщення агрегату щодо математичного сподівання можуть бути отримані на основі відомої нерівності Чебишова.
Істотно, що основний внесок у математичне сподівання й дисперсію зміщення дає найстарший розряд показника. Тому спеціальний додатковий захист старшого розряду (наприклад, шляхом його повторення), який підвищив би імовірність виявлення його спотворення, дозволив би зменшити як , так і .
Третя модель розділу 3 призначена для уточненої оцінки ефективності (тобто контролюючої спроможності ) методів логічного контролю по відношенню до „атомарного” даного або сполуки кількох даних, що пов’язані деяким логіко-арифметичним співвідношенням (ЛАС), наприклад, конструкцією типу CHECK CONSTRAINT SQL-оператора. Найпростіше з ЛАС встановлює належність значення слова або словосполучення відповідному словнику. В основу деталізованої оцінки покладено деталізований аналіз складових окремо для кожного класу помилок, що розглядаються як специфічні (рис. 3.5).
Запропонований спосіб визначення значень базується на імітаційному моделюванні процесу виникнення та виявлення помилок. Упорядкована формалізована реалізація цього шляху полягає в побудові наборів усіх варіацій спотворень типу кожного слова і перевірці наявності відповідної варіації в словнику (реальному або віртуальному), подібно механізму підготовки варіантів ідентифікації помилки користувача в методі АІК. У цілому, модель, заснована на роздільному обліку класу помилок, дозволяє значно більш точно оцінити результативність перевірок достовірності, несуперечливості інформації, заснованих, зокрема, на методах логічного контролю. Наводяться приклади, що ілюструють реалізацію моделі і результати її застосування по відношенню до типових помилок користувача.
Четвертий розділ присвячений програмній реалізації досліджених методів і моделей.
Пакети програмних модулів контролю ППМК-1 та ППМК-2 доповнюють штатні можливості СУБД щодо контролю інформації (зокрема, за довідником, за модулем у різних комбінаціях) і реалізовані у вигляді „заготовок” параметричних тригерів та пакета процедур контролю (ППМК-1, СУБД ORACLE) і DLL-бібліотеки процедур контролю (ППМК-2, СУБД-незалежний).
При розробці програмного модуля автоматичної ідентифікації і корекції (ПМ АІК) виникла необхідність доповнення імовірнісних оцінок розділу 2 оцінками реальної швидкодії алгоритмів. З цією метою, а також для експериментальної оцінки варіантів комплексування ПМ АІК з СУБД побудована імітаційна модель (ІМ), яка враховує такі фактори: 1) ансамблі помилок, що коригуються, і значення , (від цього залежить кількість варіацій, які генеруються); 2) розмір словника та метод його обробки (пошуку варіацій).
З огляду на перший фактор був прийнятий варіант ансамблю . Це найбільш “важкий” випадок, що відповідає максимальному значенню кількості варіацій .
З погляду другого фактора істотним є середовище, в яке завантажено словник і інструмент його обробки. У цьому відношенні розглядалися дві схеми:
1) словник знаходиться в середовищі СУБД і є доменом деякої таблиці БД. У цьому випадку пошук варіацій здійснюється штатними методами та інструментами СУБД;
2) словник знаходиться у власному середовищі системи АІК. Пошук здійснюється методами: а) дихотомії (алгоритм 2.1); б) спільної послідовної обробки синфазно упорядкованих файла варіацій і файла словника (алгоритм 2.2).
Випробування схеми 1 показали її практичну непридатність, особливо для алгоритмів АОК та АПКК, призначених для роботи on-line. В основу реалізації ПМ АІК покладена схема 2, яка забезпечує, як показали експерименти, можливість коригування повного ансамблю помилок при досить великих розмірах словника. Результати експериментів відображені в табл. 4.1, де час повного перебору варіацій наведено в форматі сек.:сек.
Таблиця 4.1
Порівняльні часові характеристики работи алгоритмів 2.1 и 2.2 в мсек
N | q=10 | q=36
n=8 | n=12 | n=16 | n=8 | n=12 | n=16
2.1 | 2.2 | 2.1 | 2.2 | 2.1 | 2.2 | 2.1 | 2.2 | 2.1 | 2.2 | 2.1 | 2.2
| 00:016 | 00:014 | 00:040 | 00:032 | 00:078 | 00:066 | 00:254 | 00:204 | 00:641 | 00:534 | 01:270 |
01:070 | | 00:018 | 00:015 | 00:041 | 00:034 | 00:082 | 00:064 | 00:274 | 00:210 | 00:687 | 00:540 | 01:366 | 01:086 | 00:020 | 00:034 | 00:044 | 00:058 | 00:088 | 00:092 | 00:292 | 00:236 | 00:725 | 00:559 | 01:416 | 01:088 | 00:020 | 00:062 | 00:046 | 00:088 | 00:092 | 00:120 | 00:300 | 00:262 | 00:743 | 00:591 | 01:450 | 01:146 | 00:020 | 00:148 | 00:049 | 00:170 | 00:094 | 00:188 | 00:306 | 00:340 | 00:763 | 00:685 | 01:476 | 01:206 | 00:022 | 00:280 | 00:050 | 00:310 | 00:096 | 00:351 | 00:314 | 00:477 | 00:784 | 00:811 |
01:494 | 01:338 |
00:024 | 00:551 | 00:052 | 00:567 | 00:100 | 00:567 | 00:322 | 00:735 | 00:815 | 01:100 | 01:529 | 01:622 |
Таким чином, у результаті дослідження ІМ встановлено, що практичних обмежень з боку можливості навіть слабкого комп'ютера (Celeron-1000 256MB ОЗУ) не існує.
ПМ АІК реалізовано у вигляді DLL, створеної в Delphi, і складається з блоків генерації варіацій, видачі користувачу варіацій для підтвердження (алгоритми ПКМР, АПКК), передачі обраного варіанта корекції у програму, яка звертається до бібліотеки – DLL.
З урахуванням результатів імовірнісного і імітаційного моделювання запропоновано рекомендації щодо практичного застосування алгоритмів АІК: 1) АКМР - off-line, ( дорівнює відповідно для ); 2) АОК - off-line, ( для , для , для ); 3) ПКМР – on-line, ( для , для , для ); 4)АПКК - on-line, (для , для , для), де через позначено ансамбль варіацій, через - та через -. Для застосування АІК взагалі недоцільно.
Програмний модуль оцінки точності реалізовано в середовищі Delphi як EXE-модуль. Вхідними параметрами є: (відносна кількість спотворених показників).
У вікні видачі результатів приводяться оцінки відносних значень математичного сподівання, дисперсії і середньоквадратичного відхилення відносно середнього значення агрегату.
Програмний модуль оцінки достовірності логічного контролю також створено в середовищі Delphi як EXE-модуль. Вхідним об’єктом являється відповідний довідник дозволених значень. У вікні видачі результатів наводяться розрахункові оцінки контролюючої спроможності стосовно конкретного типу помилок, а також загальної контролюючої спроможності.
ВИСНОВКИ
У дисертаційній роботі обґрунтована актуальність задачі забезпечення й оцінки достовірності вводу інформації в АСОУ, запропоновані методи її рішення на основі автоматичної ідентифікації слів, що вводяться, та автоматичної корекції типових помилок користувача з використанням природної інформаційної надмірності, зокрема, у вигляді словника припустимих слів і словосполучень. Методи базуються на побудові й дослідженні відповідних моделей, з метою одержання інформації для оцінки істотних характеристик, що визначають ефективність вибору варіантів можливих рішень.
У процесі виконання роботи отримані такі основні результати:
1. Проаналізовано сучасний стан методичного забезпечення технологічних етапів контролю й автоматичного виправлення помилок користувача, а також засобів реалізації методів у рамках “штатних” можливостей сучасних СУБД (на прикладі СУБД ORACLE). На основі запропонованої класифікації систематизовано методи автоматичного виправлення помилок і оцінки їхньої коригувальної спроможності стосовно типових помилок. Класифікація методів заснована на урахуванні форм використовуваної надмірності й характері помилок, які виправляються.
2. Побудовано й досліджено логіко-імовірнісні моделі методу автоматичної ідентифікації й корекції (АІК) типових помилок користувача за словником припустимих слів і словосполучень для різних алгоритмів (стратегій) обробки словника. Отримані оцінки імовірнісних характеристик алгоритмів, що визначають результати процесу (імовірності правильної, хибної й “ручної” корекції) залежно від характеристик словника й обраного ансамблю помилок, що коригуються, базуються на загальній моделі випробувань Бернуллі. Запропоновано й проаналізовано критерій “точки рівноваги”, що визначає поріг надмірності словника, необхідної для підвищення достовірності інформації при використанні методу автоматичної корекції в порівнянні з ручною.
У результаті імітаційного моделювання визначено можливі обмеження з боку швидкісних характеристик комп'ютера й запропоновано раціональний спосіб реалізації методу АІК у комплексі із СУБД (на прикладі СУБД ORACLE).
3. Побудовано й досліджено алгоритмічні та імовірнісні моделі методу попередньої ідентифікації слова, яке вводиться користувачем у двох технологічних режимах: автоматичної ідентифікації й відновлення (АІВ) і напівавтоматичної ідентифікації (візуальної ВІ). Модель базується на апроксимації випадкового розподілу припустимих слів словника безперервними функціями закону Пуасона й дозволяє оцінити: а) скорочення трудозатрат користувача при вводі даних у режимах АІВ і ВІ; б) вплив скорочення довжини слова, що вводиться, на достовірність контролю помилок. Показано, що запропонована схема АІВ забезпечує меншу трудомісткість вводу та ідентифікації (у порівнянні з ВІ) за рахунок зменшення кількості й спрощення етапів, які виконуються користувачем.
4. Запропоновано критерій і побудовано модель оцінки очікуваної точності значення агрегованих кількісних показників (агрегатів), певна частина яких спотворена “грубими” помилками, типовими для вводу інформації. Отримані співвідношення і дані, що їх ілюструють, дозволяють орієнтовно оцінити очікуване відхилення значення агрегату від істинного з урахуванням конкретних умов, пов'язаних з технологією формування і контролю достовірності первинних даних.
5. Запропоновано вдосконалений метод оцінки достовірності методів логічного контролю на основі урахування властивостей методів стосовно конкретних типових помилок користувача й побудовано відповідну модель. Метод використовує словник припустимих слів (реальний або віртуальний), реалізація моделі заснована на інструментах генерації типових спотворень слів методу АІК.
6. Досліджені методи й моделі реалізовано у вигляді пакетів програм (ППМК-1, ППМК-2) і програмних модулів (автокорекції ПМ АІК, оцінки точності, оцінка ефективності логічного контролю).
Пакети ППМК-1, ППМК-2 і ПМ АІК впроваджені у складі програмного забезпечення, розробленого для МО України (№117520, № РК: 0102w005275). Програмні модулі визначення точності агрегованих показників і оцінки ефективності логічного контролю були використані у проектних роботах за договором (№ РК: 0104w000339) з Міністерством оборони.
СПИСОК ОПУБЛІКОВАНИХ РОБІТ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
1. Кузьменко Г.Є., Литвинов В.А., Майстренко С.Я. Деякі оцінки характеристик вводу символьної інформації на основі OCR-технологій // Математические машины и системы.-1997.-№.1.-С.104-107.
2. Жевлакова Л.В., Кузьменко Г.Є., Литвинов В.А., Майстренко С.Я. Контроль вхідних даних в СУБД ORACLE // Математические машины и системы.-1997.-№.1.-С.89-94.
3. Кузьменко Г.Є., Литвинов В.А., Майстренко С.Я., Ходак В.І. Алгоритми і моделі автоматичної ідентифікації та корекції типових помилок користувача на основі природної надмірності // Математичні машини і системи.-2004.- №2.-С.134-148.
4. Кузьменко Г.Е., Литвинов В.А., Майстренко С.Я. Автоматическая идентификация и исправление типовых ошибок пользователя по словарю // Материалы международной научно-технической конференции ”Искусственный интеллект. Интеллектуальные и многопроцессорные системы -2004”.-Т.2.- Таганрог: изд-во ТРТУ.- 2004.-С.23-25.
5. Литвинов В.А., Майстренко С.Я., Ступак Н.Б. Некоторые оценки вероятностных характеристик процесса автоматической идентификации ошибок пользователя на основе эталонного словаря // УСиМ.-2001.-№2.- C.21-24.
6. Литвинов В.А., Майстренко С.Я. Некоторые методы и модели “малой интеллектуализации” интерфейса пользователя в системах организационного управления // Матеріали сьомої міжнародної науково-технічної конференції “Системний аналіз та інформаційні технології”.-К.: Національний технічний університет України “Київський політехнічний інститут”.- 2005.- 28 червня –2 липня.- C.197.
7. Белоус Л.В., Литвинов В.А., Майстренко С.Я. Модель упреждающей подсказки в интерфейсе пользователя // Математичні машини і системи.-2004.-№3.-С.156-163.
8. Литвинов В.А., Майстренко С.Я. Опережающая идентификация вводимых данных в интеллектуализованном интерфейсе пользователя. Алгоритмы и модели // Вісник Східноукраїнського національного університету імені Володимира Даля.-2005.-№5[87].-С.124-127.
9. Майстренко С.Я. Ориентировочные оценки точности агрегируемых показателей в многоуровневых информационных системах // Математические машины и системы.-2005.-№2.-С.96-103.
10. Майстренко С.Я. Модель агрегации ошибочных значений количественных показателей в многоуровневых информационных системах // Материалы первой научно-практической конференции с международным участием “Системы поддержки принятия решений. Теория и практика”.- Киев: ИПММС НАН України.- 2005.- 7 июня.- C.116-119.
11. Кузьменко Г.Е., Литвинов В.А., Литвинова А.Н., Майстренко С.Я. Модель анализа и оценки эффективности методов логического контроля информации // Математичні машини і системи.-2002.-№ 1.-C.49-55.
12. Майстренко С.Я. Имитационное моделирование процесса автоматической идентификации и коррекции типовых ошибок пользователя по словарю // Математические машины и системы.- 2005.- № 1.-С.79-83.
13. Литвинов В.А., Майстренко С.Я. Автоматическое исправление ошибок пользователя в человеко-машинных системах. Методы и характеристики // Материалы первой научно-практической конференции с международным участием “Системы поддержки принятия решений. Теория и практика”.- Киев: ИПММС НАН Украины.- 2005.- 7 июня.- C.112-115.
14. Кузьменко Г.Е., Литвинов В.А., Майстренко С.Я. Мониторинг согласованности элементов информационной базы СППР. Подходы, методы и средства // Вісник Східноукраїнського національного університету імені Володимира Даля.-2005.-№5[87].-С.116-118.
15. Литвинов В.А., Майстренко С.Я. Опережающая идентификация вводимых данных в интеллектуализованном интерфейсе пользователя. Алгоритмы и модели // Матеріали III конференції „Моделі та інформаційні технології в управлінні соціально-економічними, технічними та екологічними системами”.- Луганськ.- 2005.- 20-21 квітня.- С.193-196.
16. Кузьменко Г.Е., Литвинов В.А., Майстренко С.Я. Мониторинг согласованности элементов информационной базы СППР. Подходы, методы и средства // Матеріали III конференції „Моделі та інформаційні технології в управлінні соціально-економічними, технічними та екологічними системами”.- Луганськ.- 2005.- 20-21 квітня.- С.191-193.
АНОТАЦІЯ
Майстренко С.Я. Методи та моделі забезпечення достовірності інформації в автоматизованих системах організаційного управління. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології. - Інститут проблем математичних машин і систем НАН України, Київ, 2006.
У дисертаційній роботі обґрунтовано актуальність задачі забезпечення й оцінки достовірності вводу інформації в АСОУ, запропоновані методи її вирішення на основі автоматичної ідентифікації слів, що вводяться, та автоматичної корекції типових помилок користувача за словником припустимих слів і словосполучень. Методи базуються на побудові й дослідженні відповідних моделей з метою одержання інформації для оцінки істотних характеристик, що визначають ефективність вибору варіантів можливих рішень.
Побудовано й досліджено логіко-імовірнісні моделі автоматичної ідентифікації і корекції (АІК) типових помилок користувача за словником припустимих слів для різних алгоритмів (стратегій) обробки словника.
У результаті імітаційного моделювання визначено швидкісні характеристики методу й раціональний спосіб його реалізації в комплексі із СУБД (на прикладі СУБД ORACLE).
Побудовано алгоритмічні та імовірнісні моделі для методу попередньої ідентифікації слова, що вводиться користувачем у двох технологічних режимах: автоматичної й візуальної ідентифікації. Модель базується на апроксимації розподілу припустимих слів відповідного словника безперервними функціями.
Запропоновано критерій і побудовано модель оцінки точності агрегованих кількісних показників, що містять певну частину значень, спотворених “грубими” помилками, типовими для вводу інформації.
Запропоновано вдосконалений метод і побудовано модель деталізованої оцінки ефективності методів логічного контролю на основі детального урахування властивостей методу контролю стосовно конкретного ансамблю помилок, що коригуються.
Представлено опис програмної реалізації, наведено відомості щодо їх впровадження.
Ключові слова: достовірність інформації, автоматична корекція, автоматична ідентифікація, агреговані показники.
АННОТАЦИЯ
Майстренко С.Я. Методы и модели обеспечения достоверности информации в автоматизированных системах организационного управления. – Рукопись.
Диссертация на соискание научной степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управления и прогрессивные информационные технологии. - Институт проблем математических машин и систем НАН Украины, Киев, 2006.
В диссертационной работе обоснована актуальность задачи обеспечения и оценки достоверности ввода информации в АСОУ, предложены методы ее решения на основе автоматической идентификации вводимых слов и автоматической коррекции типовых ошибок пользователя по словарю допустимых слов и словосочетаний. Методы базируются на построении и исследовании соответствующих моделей с целью получения информации для оценки существенных характеристик, определяющих эффективность выбора вариантов возможных решений.
Проанализировано современное состояние методического обеспечения технологических этапов контроля и автоматического исправления ошибок пользователя, а также средств реализации методов в рамках “штатных” возможностей современных СУБД (на примере СУБД ORACLE). На основе предложенной классификации систематизированы методы автоматического исправления ошибок и оценки их корректирующей способности по отношению к типовым ошибкам. Классификация методов основана на учете форм используемой избыточности и характере исправляемых ошибок.
Построены и исследованы логико-вероятностные модели метода автоматической идентификации и коррекции (АИК) типовых ошибок пользователя по словарю допустимых
