Національний аерокосмічний університет ім. М.Є. Жуковського

“Харківський авіаційний інститут”

ГОРДЄЄВ Олександр Олександрович

УДК 004.05+004.415.5

Моделі, методи та інформаційна технологія

оцінки якості програмного забезпечення

на основі профілювання та засіву дефектів

05.13.06 – автоматизовані системи управління і
прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня
кандидата технічних наук

Харків – 2007

Дисертацією є рукопис.

Робота виконана в Національному аерокосмічному університеті імені М.Є. Жуковського “Харківський авіаційний інститут”, Міністерство освіти і науки України.

Науковий керівник: | заслужений винахідник України,

доктор технічних наук, професор

Харченко Вячеслав Сергійович,

Національний аерокосмічний університет ім. М.Є. Жуковського "Харківський авіаційний інститут",
завідуючий кафедрою комп’ютерних систем і мереж.

Офіційні опоненти: | доктор технічних наук, професор

Жолткевич Григорій Миколайович,

Харківський національний університет ім. В.Н. Каразіна,

завідуючий кафедрою теоретичної та прикладної інформатики;

кандидат технічних наук, доцент

Пєвнєв Володимир Якович,

Харківський національний університет внутрішніх справ, завідуючий кафедрою захисту інформації.

Провідна установа: | Харківський національний університет радіоелектроніки, кафедра електронних обчислювальних машин,
Міністерство освіти і науки України, м. Харків.

Захист відбудеться “16” березня 2007 р. о 14 годині на засіданні спеціалізованої вченої ради Д64.062.01 у Національному аерокосмічному університеті ім. М.Є. Жуковського "Харківський авіаційний інститут" за адресою: 61070, м. Харків, вул. Чкалова, 17, радіотехнічний корпус, ауд. 232.

З дисертацією можна ознайомитись у науково-технічній бібліотеці Національного аерокосмічного університету ім. М.Є. Жуковського "Харківський авіаційний інститут".

Автореферат розісланий “7” лютого 2007 р.

Вчений секретар

спеціалізованої вченої ради ___________ М. О. Латкін

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми дослідження. За останні десятиліття зростає обсяг впровадження інформаційно-управляючих систем (ІУС) з інтенсивним використанням програмного забезпечення (ПЗ). Особливо відповідальну роль відіграє програмне забезпечення ІУС ракетно-космічних комплексів, АЕС, банківських систем та інш.

Зі збільшенням попиту на використання ПЗ зростають ризики, пов'язані з відмовами та аваріями, причиною яких є його дефекти. Недостатня якість ПЗ ІУС, як правило, є наслідком недостатньої якості процесів розробки, тестування та верифікації. Це обумовлює актуальність наукових досліджень, присвячених розробці і вдосконаленню методів оцінки якості ПЗ. Значний внесок у розвиток цих наукових напрямів внесли Воас Дж. М., Кард Д., Конорєв Б.М., Ліпаєв В.В., Л’ю М.Р., Майерс Р., Парнас Д. Л. та інш.

Недостатня якість означених процесів обумовлює наявність прихованих дефектів у ПЗ. Особливо небезпечними вважаються дефекти у вимогах до ПЗ та ІУС в цілому, оскільки вони важко виявляються та суттєво впливають на їхні кінцеві характеристики. Тому вельми важливим є досконалість профілювання вимог, тобто формування їх множин з урахуванням діючих національних і міжнародних нормативних документів та особливостей систем. Слід зазначити, що задачі профілювання та шляхи їх вирішення можуть бути узагальнені для визначення профілів метрик, які використовуються для оцінки якості ПЗ, профілів дефектів для реалізації процедур засіву (ін’єкції) при верифікації. Методи одиничної (“крапельної”) ін’єкції, множинного засіву дефектів застосовуються для вирішення задач оцінки якості верифікації, а саме калібрування інструментальних засобів (ІЗ) та оцінки повноти тестових наборів.

Недоліками відомих методів є: недостатня формалізація процесів профілювання ПЗ, відсутність уніфікованих процедур засіву дефектів на всіх етапах життєвого циклу, відповідних моделей та інформаційних технологій оцінки якості програмного забезпечення ІУС.

Таким чином актуальною науковою задачею є розробка моделей, методів та інформаційної технології (ІТ) оцінки якості ПЗ ІУС на основі профілювання та засіву дефектів.

Зв’язок роботи з науковими програмами, планами, темами. Робота над дисертацією проводилася автором у Національному аерокосмічному університеті ім. М.Є. Жуковського “ХАІ” у відповідності з державними планами НДР, програмами і договорами, що виконувалися в університеті та інших організаціях:

? “Розробка науково-методичних основ й інформаційних технологій оцінки та забезпечення відмовостійкості та безпеки комп'ютеризованих систем аерокосмічних комплексів, інших комплексів критичного застосування” (Національний аерокосмічний університет ім. М.Є. Жуковського “ХАІ”, № Г503-42/2003, № ДР 0103U004093, 2003 р.);

? “Розробка науково-методичного забезпечення відмовобезпеки цифрових систем контролю та управління АЕС з використанням програмованих ВІС”, шифр “Надійність – Д” (НПВМП “АСУ ХАІ”, Д2/2002, №0104U003502, 2003 р.);

? “Розробка галузевих нормативних вимог до якості програмного забезпечення та програмно-технічних комплексів критичного застосування для ракетно-космічної техніки, гармонізованих з нормативною базою Європейської кооперації по стандартизації космічної діяльності (ECSS)” (СертЦентр АСУ Держцентрякості ГКЯРУ, НКАУ тема “Якість”, договір № 87/-СЦ/03, 2003 р.);

? “Розробка методів та інформаційних технологій оцінки, підтримки верифікації та проектування ІУС, важливих для безпеки АЕС” (Національний аерокосмічний університет ім. М.Є. Жуковського “ХАІ”, договір № 503-13/2005).

Роль автора у цих науково-дослідних темах і проектах, у яких дисертант був безпосереднім виконавцем, полягає у розробці моделей та методу профілювання ПЗ, методу оцінки якості тестування та верифікації ПЗ, а також у розробці інструментальних засобів, об’єднаних у інформаційну технологію підтримки рішення задач профілювання та оцінки якості верифікації ПЗ.

Мета та задачі досліджень. Метою дисертаційної роботи є підвищення повноти оцінки якості ПЗ ІУС на основі розробки та практичного застосування методів й інструментальних засобів, що базуються на технологіях профілювання та засіву дефектів.

Для досягнення поставленої мети вирішуються наступні задачі:

1) аналіз методів та інструментальних засобів профілювання та оцінки якості ПЗ, заснованих на засіві дефектів;

2) розробка моделей опису і перетворення профілів ПЗ;

3) удосконалення методу профілювання ПЗ, а саме отримання узагальненого профілю на основі часткових профілів з метою підвищення його повноти;

4) розробка методу оцінки якості верифікації ПЗ на основі засіву дефектів;

5) розробка інформаційної технології підтримки процесів профілювання, засіву дефектів та оцінки якості ПЗ;

6) практичне впровадження розроблених моделей, методів та інструментальних засобів при розробці ІУС.

Об’єкт дослідження – процеси оцінки якості програмного забезпечення інформаційно-управляючих систем.

Предмет дослідження – моделі, методи та інформаційна технологія оцінки якості ПЗ ІУС при розробці та експертизі.

Методи дослідження. В основу методології досліджень були покладені принципи системного аналізу. При вирішенні наукових задач використовувалися методи теорії множин і бульових матриць, теорії ймовірностей та метричного аналізу якості ПЗ.

Наукова новизна одержаних результатів:

1) вперше одержано моделі опису та перетворення фасетно-ієрархічних структур (ФІС), які базуються на їх матрично-множинному представленні та використанні операцій об`єднання й розбиття, що дозволяє формалізувати процес профілювання вимог та дефектів для оцінки якості програмного забезпечення;

2) удосконалено метод профілювання програмного забезпечення за рахунок введеної формалізації операцій перетворення та верифікації фасетно-ієрархічних структур, описуючих відповідні профілі, що дозволяє забезпечити повноту оцінки та автоматизувати процес отримання профілю вимог та дефектів програмного забезпечення;

3) удосконалено метод оцінки якості верифікації програмного забезпечення з використанням засіву дефектів на основі розробки процедур формування та аналізу розходження профілів дефектів, що дозволяє підвищити повноту оцінки програмного забезпечення.

Практичне значення отриманих результатів полягає у доведенні теоретичних положень дисертації до конкретних інженерних методик, алгоритмів, реко-мен-дацій, інструментальних засобів та їх безпосереднього використання на підприємствах, що займаються розробкою та модернізацією ІУС критичного застосування, а саме:

? розроблено методики, алгоритми та інструментальні засоби представлення таксономічних структур та профілювання дефектів ПЗ;

? розроблено інструментальні засоби підтримки процесів профілювання, засіву дефектів на етапі кодування, розрахунку та візуалізації показників оцінки якості ПЗ.

Ці результати формують ядро інформаційної технології, що дозволяє автоматизувати процеси оцінки якості ПЗ.

Результати досліджень впроваджені в: навчальному процесі на кафедрі “Комп’ютерних систем і мереж” Національного аерокосмічного університету ім. М.Є. Жуковського “ХАІ” при викладанні дисциплін “Обчислювальна техніка та програмування” й “Системний аналіз” (акт впровадження від 15.10.2006); Сертифікаційному центрі АСУ Держцентрякості Державного комітету ядерного регулювання України при розробці інтегрованої інструментальної системи для підтримки експертизи ПЗ ІУС АЕС та проектів галузевих нормативних документів, які регламентують методики оцінки якості ПЗ (програмно-технічних комплексів космічних систем) та розроблялись за замовленням Національного космічного агентства України за темою “Якість” (акт впровадження від 24.10.2006); НТ СКБ “Полісвіт” у процесі розробки стандарту підприємства “СТП 522-120-2004”, а також при безпосередньому проектуванні та верифікації програмного забезпечення комп’ютерних інформаційно-управляючих систем (ІУС) літака АН-140 (акт впровадження від 19.09.2006); Конструкторському бюро ЗАТ “Радій” при розробці та оцінці якості програмного забезпечення для ІУС АЕС, а саме АЗ-ПЗ та АРМ-РОМ-СІАЗ (акт впровадження від 18.09.06); Державному підприєм-стві “Державний науково-технічний центр ядерної та радіаційної безпеки” при оцінці якості верифікації програмного забезпечення інформаційно-управляючих систем АЕС (акт впровадження від 4.10.06).

Обґрунтованість наукових положень і достовірність наукових положень, висновків і рекомендацій, наведених у дисертації, підтверджується:

? результатами їх практичного впровадження при створенні та верифікації інструментальних засобів підтримки процесу профілювання та засіву дефектів ПЗ, що базуються на запропонованих моделях і методах оцінки якості;

? обґрунтованістю прийнятих припущень та вихідних даних, що були використані при створенні моделей опису та перетворення фасетно-ієрархічних структур;

? проведенням експериментів щодо оцінки якості верифікації ПЗ на етапі кодування для проектів критичних ІУС і комерційних інформаційних систем.

Особистий внесок здобувача полягає в розробці нових моделей, методів і інструментальних засобів, що забезпечили вирішення поставлених у дисертації задач. Всі основні наукові положення, результати, висновки і рекомендації дисертаційної роботи отримані автором самостійно. Роботи [1, 8, 9, 10, 11] були опубліковані без співавторів. У роботах, опублікованих у співавторстві, автору належать: розробка моделей представлення та перетворення таксономічних структур [4, 12], розробка операції розбиття таксономічних структур [6], розробка метода профілювання ПЗ (вимог, метрик, дефектів) [3], аналіз методів та інструментальних засобів оцінки якості ПЗ на основі засіву дефектів та розробка уніфікованої процедури засіву дефектів по етапах життєвого циклу ПЗ [13], розробка метода оцінки якості ПЗ з використанням метрик Холстеда [2], розробка процедури оцінки якості складності ПЗ та коректування графа програми, що базується на комплексуванні метрик Холстеда й Мак-Кейба, яка дозволяє оцінити імовірність присутності дефектів ПЗ ІУС [7], розробка метода статичного тестування з використанням апарату ейлерових графів [5], розробка архітектури та компонент інструментального засобу підтримки розрахунку метрик Холстеда [14], метод оцінки якості ПЗ з використанням метрик якості [15].

Апробація результатів дисертації. Результати наукових досліджень доповідались і обговорювались на Всеукраїнському семінарі “Критичні комп’ютерні технології та системи” на кафедрі комп'ютерних систем і мереж Національного аерокосмічного університету ім. М.Є. Жуковського “ХАІ”, а також на наукових конференціях: Міжнародній науково-технічній конференції “Інтегровані комп’ютерні технології в машинобудуванні” (м. Харків, НАКУ “ХАІ”, 2001 – 2004 рр.), Міжнародній науково-практичній конференції “Проблеми енергозабезпечення та енергозбереження в АПК України” (м. Харків, 2002, 2005 рр.), 8-й Міжнародній конференції “Контроль і управління в складних системах (КУСС-2005)” (м. Вінниця, 2005 р.), Науково-практичній конференції “Інформаційні технології – у науку та освіту” (м. Харків, 2005 р.), 1-й Міжнародній науково-технічній конференції “Гарантоздатні системи, сервиси та технології” (м. Полтава, 2006 р.), Міжнародному симпозіумі “Вимірювання, важливі для безпеки в реакторах” (м. Москва, 2004 р.).

Публікації. Основні результати дисертації опубліковані в 15 друкованих працях, серед яких 5 статей в наукових журналах та 2 статті у збірниках наукових праць, що включені до переліку ВАК України, а також 8 тез доповідей у збірниках праць наукових конференцій.

Структура і обсяг дисертації. Дисертація має вступ, 4 розділи, висновки й додатки. Повний обсяг дисертації складає 207 сторінок, у тому числі: 56 рисунків, з яких 12 рисунків на 11 окремих сторінках, 30 таблиць, з яких 7 таблиць на 5 окремих сторінках, список з 120 використаних літературних джерел на 12 сторінках, а також 5 додатків на 34 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

Вступ дисертаційної роботи містить: обґрунтування актуальності теми і наукових задач; інформацію про її зв'язок з науковими програмами; мету і задачі досліджень; об'єкт, предмет і методи досліджень; характеристику наукової новизни і практичного значення отриманих результатів, а також особистого внеску здобувача; дані щодо реалізації, апробації і публікації результатів.

У першому розділі виконано аналіз впливу дефектів ПЗ на якість та надійність інформаційно-управляючих систем. Аналіз показав, що динаміка відмов ІУС внаслідок програмних дефектів зростає. У процесі аналізу встановлено, що основними причинами недостатньої якості і надійності ПЗ ІУС є такі:

? зростаюча складність специфікацій систем та підвищення складності вимог до ПЗ, програмного коду та інш.;

? відставання за часом в розробці методів і засобів оцінки якості для нових технологій у галузі розробки ПЗ (.NET, C#);

? недостатній облік та систематизація дефектів ПЗ, що виявляються;

? існуючі методи та інструментальні засоби підтримки якості ПЗ повною мірою не враховують специфіку етапів ЖЦ (типи дефектів, що властиві кожному етапу ЖЦ ПЗ);

? збільшення кількості стандартів у галузі програмної інженерії обумовлює труднощі, пов'язані із застосуванням цих стандартів і профілюванням вимог, описаних в них.

При оцінці якості ПЗ застосовують методи профілювання (вимог, дефектів, метрик). У результаті аналізу існуючих методів був визначений ряд недоліків, а в результаті аналізу класифікаційних схем (профілів) вимог, дефектів, метрик зроблено висновок, що абсолютна більшість існуючих профілів сформована на основі класифікації за принципом об'єднання за схожістю, тобто на основі таксономії.

У результаті аналізу існуючих методів оцінки якості було встановлено, що важливе місце серед них займають методи оцінки якості тестування та верифікації ПЗ. До них відносяться методи, засновані на засіві дефектів.

Сформульована загальна наукова задача дисертаційного дослідження, яка розбивається на ряд часткових взаємопов'язаних задач.

Другий розділ присвячений розробці методу профілювання, в основу якого покладені моделі представлення й перетворення таксономічних структур.

Таксономічні структури представлені у вигляді ієрархічних структур (рис. 1-а), сформованих за принципом підпорядкування, та фасетних структур (рис. 1-б), заснованих на декомпозиції множини, що класифікується, за декількома незалежними та рівноправними ознаками одночасно.

Таксономічні структури представлені множиною класифікаційних ознак (О та Ф) і множиною таксонів (Т). Зв'язок елементів цих множин представлений у вигляді матриць суміжності та відповідності для ієрархічних структур і матрицею відповідності для фасетних.

Рис. 1. Таксономічні структури

Для вирішення задачі профілювання вимог і дефектів ПЗ були введені операції об'єднання та розбиття таксономічних структур. Операція об'єднання (рис. 2, 3) базуються на відомих операціях з алгебри множин: – об'єднання множин; – перетинання множин; – строге включення однієї множини в іншу, – та операціях: – таксономічне об'єднання множин таксонів; – ознакове об'єднання множин таксонів; – об'єднання ієрархій у фасетно-ієрархічну структуру. Операція об'єднання включає ознакове і таксономічне об'єд-нання, до того ж об'єднання може відбуватися як з перетином множини класифікаційних ознак (О1О2), так і з перетином множини таксонів (Т1 Т2).

Аналіз операції об’єднання таксономічних структур дозволив на основі простого перебору визначити множину варіантів об'єд-нання таксономічних струк-тур.

При більш ретельному розгляді множини сформова-них варіантів об'єднання були прийняті твердження щодо неприпустимості деяких з них. В результаті була сформо-вана множина з 10 допусти-мих варіантів об'єднання іє-рархічних (рис. 2) та фасет-них структур (рис. 3) і визна-чене математичне представ-лення цих варіантів (табл. 1).

Рис. 2. Варіанти об`єднання ієрархічних структур

Операція розбиття та-ксономічних структур базу-ється на встановленні відпо-відностей між класифікацій-ними ознаками та критеріями вибору (К), таксонами та критеріями вибору.

У резуль-таті встановленої відповідно-сті утворюється необхідна таксономічна структура (профіль ПЗ) і залишкова таксономічна структура.

Запропонований метод профілювання містить наступні етапи: перетворення початкової інформації у вигляді, відповідному ФІС, матрично-множинне представлення ФІС, використання необхідних операцій для перетворювання ФІС, збереження ФІС у базі даних. Вхідними даними для метода є неструктурована інформація щодо вимог, дефектів ПЗ або ФІС часткових профілів. Особливостями методу є те, що в залежності від типу операції формуються еквівалентні відносини між елементами множин таксонів та ознак при об'єд-нанні або між елементами множин таксонів (ознак) та критеріїв вибору при розбитті. Далі здійснюється саме операція розбиття або об’єднання таксономічних структур. На останньому етапі виконується верифікація отриманих таксономічних структур. Цей метод дозволив формалізувати й автоматизувати процес формування нормативних профілів і профілів дефектів. Він був апробованим при розробці профілю-стандарту вимог до ПЗ бортових систем на базі стандартів КТ-178, ECSS і ISO/IEC.

Для визначення повноти оцінки профілю використовується показник відносного значення кількості нормативних вимог (інших елементів), що не увійшли до вихідного профілю.

Рис. 3. Варіанти об`єднання фасетних структур

У третьому розділі запропоновано метод оцінки якості тестування та верифікації на основі засіву дефектів.

В основу метода покладена уніфікована процедура засіву дефектів по етапах життєвого циклу ПЗ, яка складається з процедур (рис. 4): прогнозу, засіву, тестування та верифікації, висіву, аналізу отриманих результатів, прийняття рішення. Дані процедури базуються на перетворенні типів профілів дефектів. Профіль дефектів (рис. 5) – це комплексне поняття, яке складається з таксономії типів дефектів (ТПД) та їх вагових коефіцієнтів (кількості дефектів) відповідно до кожного типу. Поняття ТПД необхідне для визначення типів дефектів, відповідно до яких здійснюється засів (ТПД має фасетну або ієрархічну структуру).

Рис. 4. Уніфікована процедура засіву дефектів ПЗ

Таблиця 1

Математичне представлення варіантів об`єднання таксономічних структур

Назва варіанту | Математичне представлення

Для ієрархічних структур | Для фасетних структур

а) таксономічне об'єднання таксономічних структур без перетинання множин таксонів

б) таксономічне об'єднання таксономічних структур з перетинанням множин таксонів

в) ознакове об'єднання таксономічних структур без перетинання множин таксонів з перетинанням множин ознак ієрархій

г) ознакове об'єднання таксономічних структур без перетинання множин таксонів без перетинання множин ознак ієрархій

д) ознакове об'єднання таксономічних структур з перетинанням множин таксонів

е) об'єднання таксономічних структур із включенням множин таксонів

ж) об'єднання таксономічних структур з рівністю множин таксонів

з) об'єднання таксономічних структур в фасетно-ієрархічну структуру

и) таксономічне та ознакове об'єднання таксономічних структур з перетинанням множин таксонів

к) таксономічне та ознакове об'єднання таксономічних структур без перетинання множин таксонів

Для опису уніфікованої процедури було введено ряд таких понять: прогнозований профіль дефектів (ППД) – профіль дефектів, відповідний таксономії профілю дефектів (він відображує абсолютну або відносну кількість прогнозованих дефектів ПЗ по типах та сформований на основі використання моделей прогнозу дефектів ПЗ); профіль дефектів (ЗПД), що засіваються – профіль дефектів, що є частиною прогнозованого профілю дефектів та відрізняється від нього меншою кількістю дефектів по типах і містить в собі конкретні дефекти для засіву (ЗПД визначає номенклатуру та кількість дефектів, необхідних для засіву); профіль знайдених дефектів (ПНД) – профіль дефектів, що формується за результатами тестування і верифікації (ПНД необхідний для представлення усіх дефектів, які були виявлені в результаті тестування і верифікації); профіль висіяних дефектів (ПВД) – профіль дефектів, що є підмножиною профілю дефектів, що засівається (він сформований за результатами тестування і верифікації ПЗ та призначений для визначення дефектів, які були засіяні і виявлені в результаті тестування та верифікації); профіль “власних” дефектів (ПСД) – профіль дефектів, що формується за результатами тестування і верифікації та включає дефекти, що не входять в ЗПД (він необхідний для визначення дефектів, які не засівали штучним чином, а внесені розробниками); профіль не висіяних дефектів (ПНВД) – профіль дефектів, що є підмножиною ЗПД та включає дефекти, які не були виявлені в ході тестування і верифікації; узагальнений профіль дефектів (УПД) – профіль дефектів, що складається шляхом об'єднання ЗПД і ППД профілів (він необхідний для аналізу результатів тестування і верифікації). Процедура прогнозу базується на моделях прогнозування потенційної кількості дефектів. Аналіз таких моделей дозволив співвіднести їх з етапами розробки ПЗ для прогнозування потенційної кількості дефектів в рамках етапу (табл. 2) та комплексування моделей.

Рис. 5. Профіль дефектів ПЗ

Процедура засіву дефектів необхідна для безпосереднього внесення дефекту в ПЗ i-го етапу розробки. При цьому засіваються дефекти, відповідні профілю, що засівається.

В рамках процедури засіву було сформовано множину варі-антів поведінки дефектів, що засіваються, та прихо-ваних “власних” де-фектів ПЗ (рис. 6). У дисер-тації розглядаються варі-анти а, г, ж, к, н, о, тобто ті варіанти, при яких дефекти, що засіваються, не взаємо-діють з власними дефек-тами ПЗ.

Основною задачею при використанні процедури тестування та верифікації є виявлення всіх дефектів – засіяних та власних дефектів ПЗ.

Рис. 6. Варіанти поведінки прихованих власних дефектів та дефектів, що засіваються

Таблиця 2

Використання моделей прогнозування потенційної кількості дефектів ПЗ у відповідності щодо етапів розробки

№ | Назва моделі | Етапи ЖЦ ПЗ |

0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 1 | Фазо-орієнтована | 2 | Модель Римської лабораторії повітряних сил (RL – TR – 92 - 52) | 3 | Модель Римської лабораторії повітряних сил (RL – TR – 92 – 15) | 4 | Модель, що базується на статистичних даних щодо дефектів ПЗ | 5 | Модель часу виконання Муси | 6 | Модель Холстеда | 7 | Модель фірми IBM | 8 | Модель Мак-Кейба (якісна оцінка) | 9 | Модель Акиямы | 10 | Модель Ліпова | 11 | Модель Гафні | 0. До процесу розробки; 5. Кодування;

1. Формування системних вимог; 6. Модульне тестування;

2. Формування вимог до ПЗ; 7. Інтеграційне тестування;

3. Розробка архітектурного проекту; 8. Системне тестування.

4. Розробка детального проекту; |

По завершенню тестування ПЗ здійснюється висів дефектів. Висів дефектів – це процес усунення дефектів, які були штучно внесені та не виявлені при тестуванні.

По завершенню висіву дефектів аналізуються усі сформовані типи профілів на основі визначення незв’язності (відмітності) профілів (табл. 3).

У процедурі прийняття рішення формуються висновки про якість тестування та верифікації, а також визначаються заходи, спрямовані на підвищення якості.

В рамках методу оцінки якості тестування та верифікації ПЗ були введені наступні кількісні показники (рис. 7):

Рис. 7. Ієрархія показників оцінки якості верифікації

? , де ОП – узагальнений показник якості тестування та верифікації; ЧПi -– частковий показник якості тестування та верифікації, – ваговий коефіцієнт для ЧП i-го етапу розробки ПЗ, що визначається експертним методом; q – кількість етапів розробки ПЗ;

? ЧПi =* ППi + * ППВi, де ППi – показник якості прогнозування, ППВi – показник повноти верифікації ПЗ i-го етапу розробки, і – вагові коефіцієнти, що встановлюються експертом для уточнення пріоритету показника ЧПi;

? ППi = * ППДі + *ППТДі, де ППДі – показник якості прогнозування за дефектами, ППТДі – показник якості прогнозування за типами дефектів (таксономії), і – вагові коефіцієнти, що встановлюються експертом для уточнення пріоритету показника ППi;

Таблиця 3

Варіанти незв’язності профілів, отриманих при порівнянні ПНД и УПД для оцінки якості тестування та верифікації

№ | Типи дефектів

(MТД (ПНД) и MТД (УПД)) | Кількість дефектів (|MД (ПНД)| и

|MД (УПД)|) | Якість тестування та

верифікації

Тестування за типами

дефектів | Тестування за кількістю

дефектів

1 | MТД (ПНД)= MТД (УПД) | |MД (ПНД)| = |MД (УПД)| | + | +

2 | MТД (ПНД)= MТД (УПД) | |MД (ПНД)| > |MД (УПД)| | + | +(–)

3 | MТД (ПНД) =MТД (УПД) | |MД (ПНД)| < |MД (УПД)| | +–

4 | MТД (ПНД) MТД (УПД) | |MД (ПНД)| = |MД (УПД)|– | +

5 | MТД (ПНД) MТД (УПД) | |MД (ПНД)| < |MД (УПД)|––

6 | MТД (ПНД) MТД (УПД) | |MД (ПНД)| = |MД (УПД)| | + (–) | +

7 | MТД (ПНД) MТД (УПД) | |MД (ПНД)| > |MД (УПД)| | + (–) | +

8 | MТД(ПНД)MТД(УПД);

|MТД(ПНД)| =|MТД(УПД)| | |MД (ПНД)| = |MД (УПД)| | + (–) | +

9 | MТД(ПНД) = | |MД(ПНД)|= 0––

МТД(ПНД) – множина типів дефектів профілю знайдених дефектів,

МД(ПНД) – множина дефектів профілю найдених дефектів,

МТД(УПД) – множина типів дефектів узагальненого профілю дефектів,

МД(УПД) – множина дефектів узагальненого профілю дефектів.

+(–) – позитивна (негативна) оцінка.

? ППВi = * ППВДі + *ППВТДі, де ППВДi – показник повноти процесу тестування та верифікації за дефектами, ППВТДі – показник повноти процесу тестування та верифікації за типами дефектів; і – вагові коефіцієнти, що встановлюються експертом для уточнення пріоритету показника ППВi;

? , де |МД (ПВД)| – кількість дефектів ПВД, |МД (ЗПД)| – кількість дефектів ЗПД;

? , де |МТД (ПВД)| – кількість типів дефектів ПВД, |МТД (ЗПД)| – кількість типів дефектів ЗПД.

Таким чином, метод оцінки якості тестування та верифікації містить наступні послідовні етапи: 1) формування таксономії типів дефектів для засіву, яка дозволяє врахувати особливості ПЗ ІУС; 2) визначення ваг (кількості дефектів) для кожного з типів дефектів; 3) безпосередній засів дефектів; 4) тестування та верифікація ПЗ; 5) аналіз результатів тестування та верифікації, який дозволяє сформувати типи профілів дефектів; 6) послідовний розрахунок показників якості тестування та верифікації; 7) оцінка якості тестування та верифікації за допомогою оцінки незв’язності профілів дефектів. Метод був апробований при верифікації “QBH” та ПЗ ІУС АЕС.

У четвертому розділі дисертації запропонована інформаційна технологія оцінки якості ПЗ на основі профілювання та засіву дефектів, структурна схема якої представлена на рис. 8.

Рис. 8. Структурна схема інформаційної технології

Інформаційна технологія складається з наступних модулів (підсистем): профілювання дефектів ПЗ, засіву дефектів ПЗ, оцінки якості ПЗ, оцінки складності ПЗ.

Модуль профілювання дефектів базується на моделі опису та перетворення ФІС, методі профілювання ПЗ і підтримується інструментальним засобом “ProfExp”.

Модуль засіву дефектів ПЗ базується на уніфікованій процедурі засіву дефектів ПЗ, що дозволяє в автоматичному режимі засівати дефекти, та алгоритмах тестування та верифікації і підтримується інструментальним засобом “InExp”.

Модуль оцінки якості ПЗ базується на методі оцінки якості тестування та вери-фікації, алгоритмах аналізу незв’язності профілів дефе-ктів ПЗ і підтримується інструментальним засобом “SoftAsVer”.

Модуль оцінки складності базується на процедурі оцінки складності ПЗ і підтримується інструментальним засобом “HolMetricCalculate”.

Усі інструментальні засоби розроблялись з використанням технології програмування J2SE та можуть взаємодіяти через базу даних, розроблену на базі серверу MSSql.

Запропонований метод профілювання ПЗ був впроваджений при розробці стандарту підприємства “СТП 522-120-2004” НТ СКБ “Полісвіт”, а також при розробці інтегрованої системи підтримки незалежної верифікації та експертизи ПЗ ІУС АЕС у Сертифікаційному центрі АСУ Держцентріякості ГКЯРУ. Запропонований метод оцінки якості ПЗ й відповідні інструментальні засобі були впроваджені при розробці інформаційної системи “QBH”, призначеної для розпізнання голосу людини, а також при оцінці якості ПЗ для програмно-технічних комплексів систем управління та захисту АЕС у Державному науково-технічному центрі з ядерної та радіаційної безпеки.

Інструментальний засіб “HolMetricCalculate” був апробований для оцінки складності ПЗ нижнього рівня для програмно-технічного комплексу аварійного та попереджувального захисту ядерного реактору (ПТК АЗ_ПЗ), розробленого ЗАТ “Радій” (м. Кіровоград). Це надало можливість визначити найбільш складні модулі ПЗ, які були додатково протестовані.

Аналіз результатів практичного використання запропонованих методів та інструментальних засобів, а також їх експериментальних досліджень показав, що вони підвищують повноту оцінки якості за показниками: повноти оцінки профілю вимог на 5-10 %, повноти оцінки якості ПЗ за рахунок збільшення повноти тестових наборів на 5-8%.

ВИСНОВКИ

В роботі вирішена актуальна наукова задача розробки моделей, методів та інформаційної технології оцінки якості ПЗ ІУС на основі профілювання та засіву дефектів.

1. Проведений аналіз існуючих методів та ІЗ підтримки процесу оцінки якості ПЗ ІУС, зокрема методів та ІЗ профілювання та засіву дефектів ПЗ, який показав, що відомі методи не забезпечують необхідну повноту та достовірність оцінки якості ПЗ ІУС і підтримуються ручними методиками або окремими утилітами, які частково вирішують задачу оцінювання.

2. Уперше отримані моделі опису та перетворення фасетно-ієрархічних структур, які базуються на їх матрично-множинному представлені та використанні операцій об'єднання та розбиття, що дозволяє формалізувати процес профілювання вимог і дефектів для оцінки якості програмного забезпечення.

3. Вдосконалено метод профілювання програмного забезпечення за рахунок формалізації операцій перетворення та верифікації фасетно-ієрархічних структур, що описують відповідні профілі. Це дозволяє забезпечити повноту оцінки та автоматизувати процес отримання профілю вимог і дефектів програмного забезпечення.

4. Вдосконалено метод оцінки якості верифікації програмного забезпечення з використанням засіву дефектів на основі розробки процедур формування та аналізу незв’язності профілів дефектів, що дозволяє підвищити повноту оцінки програмного забезпечення. Він включає використання:

? моделей прогнозування потенційної кількості дефектів по етапах ЖЦ ПЗ;

? процедури оцінки незв’язності профілів дефектів;

? показників оцінки якості ПЗ;

? радіально-метричних діаграм.

5. Розроблені та вдосконалені моделі, методи й інструментальні засоби, що базуються на формальних операціях над фасетно-ієрархічними структурами, засіві дефектів, показниках оцінки якості ПЗ. Вони розвивають науково-методичні основи оцінки якості ПЗ, зокрема для ІУС критичного і бізнес-критичного застосування.

6. Практичне значення отриманих результатів полягає в тому, що на основі проведених досліджень і запропонованих методів:

? розроблені методики, алгоритми та інструментальні засоби оцінки якості ПЗ для системи підтримки експертизи та незалежної верифікації ПЗ ІУС АЕС і космічних комплексів;

? розроблена інформаційна технологія для оцінки якості ПЗ на основі профілювання та засіву дефектів, що включає запропоновані в роботі методи, методики, процедури й інструментальні засоби.

Це дало можливість збільшити повноту оцінки якості ПЗ за рахунок:

? можливості формування та подвійної верифікації множини профілів дефектів ПЗ на всіх етапах ЖЦ ПЗ;

? безпосереднього засіву дефектів з урахуванням сформованих раніше профілів;

? розробки методик й інструментальних засобів підтримки процесу оцінки якості ПЗ, зокрема на етапах тестування і верифікації.

7. Запропоновані методи, методики, процедури й інструментальні засоби дозволяють формалізувати процес оцінки якості ПЗ та зменшити частину ручних операцій у ньому.

Надалі отримані методи й інструментальні засоби можуть використовувати експерти при проведенні незалежної верифікації та аудиті для оцінки якості ПЗ ІУС критичного і бізнес-критичного застосування на різних етапах життєвого циклу.

8. Подальші дослідження доцільно спрямувати на розвиток науково-методичного забезпечення процесу оцінки якості ПЗ, розробки інструментальних засобів підтримки засіву дефектів на всіх етапах ЖЦ ПЗ, формування бази даних прикладних дефектів відповідно до запропонованих в роботі таксономій дефектів.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Гордеев А.А. Унифицированная модель оценки верификации програмного обеспечения на основе засева дефектов // Радіоелектронні і комп’ютерні системи.– 2006. – № 7(19). – С. 147-151.

2. Харченко В.С., Скляр В.В., Гордеев А.А., Токарев В.И., Герасименко А.Д., Белый Ю.А. Использование метрик Холстеда при оценке безопасности критического программного обеспечения // Радіоелектронні і комп’ютерні системи. – 2003. – № 4(4). – С. 145-150.

3. Гордєєв О.О., Харченко В.С. Фасетно – ієрархічні структури у задачах оцінки якості програмного забезпечення // Інформаційні технології та комп’ютерна інженерія. – 2005. – №3. – С. 190-196.

4. Гордеев А.А., Харченко В.С. Формирование профилей дефектов програмного обеспечения с использованием операций объединения таксономических структур // Вісник Харківського національного технічного університету сільского господарства ім. Петра Василенка “Проблеми енергозабезпечення та енергозбереження в АПК України”. – 2005. – Вип. 37.– том 2. – С. 226-230.

5. Гордєєв О.О., Харченко В.С. Статичне тестування програмних засобів з використанням апарату ейлерових графів // Вісник Харківського державного університету сільского господарства ім. Петра Василенка “Проблеми енергозабезпечення та енергозбереження в АПК України”. – 2002. – Вип. 10. – С. 405-408.

6. Харченко В.С., Гордеев А.А. Использование операции разбиения таксономических структур при профилировании программного обеспечения // Моделювання та інформаційні технології. – К.: Институт проблем моделирования в энергетики, 2005. – Вып 33. -– С. 206-211.

7. В.С. Харченко, Гордеев А.А. Методика оценки и уменьшения сложности программного обеспечения на основе комплексирования метрик Холстеда и Мак- Кейба // Сб. науч. трудов. – К.: Институт проблем моделирования в энергетики, 2004. – Вып 25. -– С. 251-255.

8. Гордеев А.А. Разработка алгоритма и инструментальных средств расчёта метрик Холстеда // Міжнар. наук.-техн. конф. “Інтегровані комп’ютерні технології в машинобудуванні” (ІКТМ-2003). – Харків: НАКУ “ХАІ”, 2003. – С. 198.

9. Гордеев А.А. Профилирование дефектов и требований ПО с использованием операций над таксономическими структурами // Міжнар. наук.-техн. конф. “Інтегровані комп’ютерні технології в машинобудуванні” (ІКТМ-2005). – Харків: НАКУ “ХАІ”, 2005. – С. 364.

10. Гордеев А.А. Обзор методов оценки качества ПО на основе стандарта ECSS-Q-80-03 // Міжнар. наук.-техн. конф. “Інтегровані комп’ютерні технології в машинобудуванні” (ІКТМ-2004). – Харків: НАКУ “ХАІ”, 2004. – С. 277.

11. Гордеев А.А. Методика тестирования программных средств на основе модифицированного решения “задачи почтальона” // Міжнар. наук.-техн. конф. “Інтегровані комп’ютерні технології в машинобудуванні” (ІКТМ-2002). – Харків: НАКУ “ХАІ”, 2002. – С. 160.

12. Харченко В., Гордеев А. Фасетно – иерархические структуры в задачах оценки качества программных систем // Восьма міжнар. конф. “Контроль і управління в складних системах” (КУСС-2005). – Вінниця: Вінницькій нац. техн. у-т , 2005. – С. 126.

13. Гордеев А.А, Волковой А.В., Андрашов А.А. Унифицированная процедура засева дефектов ПО // П’ята міжнародна конференція “IES – 2006”. – Вінниця: УНИВЕРСУМ-Вінниця, 2006. – С.663-668.

14. Харченко В.С., Тарасюк О.М., Гордеев А.А. Мамутов С.С. Инструментальные средства оценки качества програмного обеспечения // Материалы науч.-практ. конф. “Информационные технологии – в науку и образование”. – Харьков: Харьк. нац. ун-т радіоелектроніки, 2005. – С. 98-99.

15. Харченко В.С., Тарасюк О.М., Конорев Б.М., Гордеев А.А., Чертков Г.Н. Комплексный метод и инструментальные средства оценки надёжности программного обеспечения информационно – управляющих систем АЭС с использованием метрик и вероятностных моделей // Междунар. симпозиум. “Измерения, важные для безопасности в реакторах”. – Москва: Ин-т проблем управления, 2004. – С. 14-1 – 14-13.

АНОТАЦІЯ

Гордєєв О.О. Моделі, методи та інформаційна технологія оцінки якості програмного забезпечення на основі профілювання та засіву дефектів. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – автоматизовані системи управління та прогресивні інформаційні технології. – Національний аерокосмічний університет ім. М.Є. Жуковського “Харківський авіаційний інститут”, Харків, 2006.

Дисертація присвячена розробці методів і інструментальних засобів оцінки якості програмного забезпечення інформаційно-управляючих систем на основі профілювання програмного забезпечення (вимог, дефектів) та засіву дефектів.

Науковими результатами є: 1) моделі опису та перетворення фасетно-ієрархічних структур, які базуються на їх матрично-множинному представленні та використанні операцій об`єднання й розбиття, що дозволяє формалізувати процес профілювання вимог та дефектів для оцінки якості програмного забезпечення; 2) метод профілювання програмного забезпечення за рахунок введеної формалізації операцій перетворення та верифікації фасетно-ієрархічних структур, описуючих відповідні профілі, що дозволяє забезпечити повноту оцінки та автоматизувати процес отримання профілю вимог та дефектів програмного забезпечення; 3) метод оцінки якості верифікації програмного забезпечення з використанням засіву дефектів на основі розробки процедур формування та аналізу розходження профілів дефектів, що дозволяє підвищити повноту оцінки програмного забезпечення.

Запропоновані методи й інструментальні засоби дозволяють підвищити повноту оцінки якості ПЗ ІУС на основі формальних операцій перетворення фасетно-ієрархічних структур та засіву дефектів.

Ключові слова: якість програмного забезпечення, фасетно-ієрархічна структура, профіль дефектів, засів дефектів.

АННОТАЦИЯ

Гордеев А.А. Модели, методы и информационная технология оценки качества программного обеспечения на основе профилирования и засева дефектов. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 – автоматизированные системы управления и прогрессивные информационные технологии. – Национальный аэрокосмический университет им. Н.Е. Жуковского “Харьковский авиационный институт”, Харьков, 2006.

Диссертация посвящена разработке методов и инструментальных средств (ИС) оценки качества программного обеспечения (ПО) информационно-управляющих систем (ИУС) на основе профилирования требований, дефектов и засева дефектов.

Проведенный анализ показывает, что качество современных ИУС становится всё более зависимым от качества ПО. Особенно существенна эта зависимость для ИУС аэрокосмических комплексов, АЭС и других комплексов критического применения. Основными причинами недостаточного качества ПО являются: возрастающая сложность спецификаций ПО, что обуславливает повышение сложности требований ПО, программного кода и т.д.; отставание по времени в разработке методов и средств оценки качества для новых технологий в области разработки ПО; существующие методы и ИС поддержки качества ПО в полной мере не учитывают специфику этапов ЖЦ ПО; увеличение числа стандартов в области программной инженерии обуславливают трудности, связанные с применением этих стандартов и профилированием требований, описанных в них.

Следует отметить, что для ПО важным является вопрос обеспечения полноты оценки его качества при разработке, независимой верификации и экспертизы. Решение данной задачи неразрывно связано с профилированием ПО, а именно профилированием требований и дефектов. Современные методы профилирования являются слабо формализуемыми, а поддерживающие их ИС не обеспечивают в полной мере необходимый уровень качества профилирования. Поэтому задача разработки методов профилирования и оценки качества ПО ИУС является актуальной и имеет важное научно-практическое значение.

Первым и вторым научными результатами являются модели описания и преобразования фасетно-иерархических структур (ФИС), которые базируются на их матрично-множественном представлении и использовании операций объединения и разбиения, что позволяет формализовать процесс профилирования требований и дефектов для оценки качества ПО. Следует отметить, что операции преобразования ФИС базируются как на известных операциях алгебры множеств, так и на операциях, которые