севастопольський національний університет ядерної енергії ТА промисловості

Стригунова Марина Миколаївна

УДК.006.73

УДОСКОНАЛЕННЯ НОРМАТИВНОЇ БАЗИ ОЦІНЮВАННЯ ЯКОСТІ ОСВІТНІХ ПОСЛУГ ВИЩИХ НАВЧАЛЬНИХ ЗАКЛАДІВ УКРАЇНИ

Спеціальність: 05.01.02 – стандартизація, сертифікація та метрологічне забезпечення

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Севастополь - 2008

Дисертація є рукописом.

Робота виконана в Севастопольському національному університеті ядерної енергії та промисловості Міністерства палива та енергетики України на кафедрі теорії методів отримання та обробки метрологічної інформації.

Науковий керівник:

кандидат технічних наук, доцент, професор університету Маловик Костянтин Миколайович, Севастопольський національний університет ядерної енергії та промисловості, декан факультету метрології та менеджменту систем якості

Офіційні опоненти:

доктор технічних наук, професор Глоба Лариса Сергіївна, Національний технічний університет України «Київський політехнічний інститут», завідувач кафедри інформаційно-телекомунікаційних мереж

доктор технічних наук, професор Поджаренко Володимир Олександрович, Вінницький державний технічний університет Міністерства освіти і науки України, завідувач кафедри метрології і промислової автоматики

Захист відбудеться 12.07.2008 р. в 1400 годині на засіданні спеціалізованої вченої ради К50.851.04 в Севастопольському національному університеті ядерної енергії та промисловості за адресою: 99033, м. Севастополь, вул. Курчатова 7.

З дисертацією можна ознайомитись в бібліотеці Севастопольського національного університету ядерної енергії та промисловості за адресою: 99033, м. Севастополь, вул. Курчатова, 7.

Автореферат розісланий «27.03. 2008 р.

Вчений секретар

спеціалізованої вченої ради К50.851.04

д.т.н., професор Попов І.О.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Зміни в соціально-економічному житті України останнього десятиліття при впровадженні Болонського процесу у вузи торкнулися системи вищої професійної освіти, особливо в частині оцінювання якості освітніх послуг з урахуванням вимог споживачів і працедавців. Найважливішою умовою надання освітніх послуг, що забезпечують відповідний рівень якості вищої освіти при Європейської інтеграції України, є розвиток і удосконалення нормативної бази оцінювання якості освітніх послуг вищих навчальних закладів (ВНЗ). Основними перешкодами для оцінювання якості освітніх послуг ВНЗ є відсутність і недосконалість науково обґрунтованих підходів до:

- аналітичного опису розривів-рівнів моделі процесу управління якістю освітніх послуг ВНЗ;

- класифікації критеріїв і показників якості (ПЯ) процесів освітніх послуг;

- процедур оцінювання ПЯ освітніх послуг при використанні кваліметричного підходу;

- методу нормування ПЯ освітніх послуг при використанні математичного апарату нечітких множин;

- методу вибору визначальних областей проведення експертної оцінки (ЕО) при нормуванні й оцінювані ПЯ освітніх послуг.

Таким чином, проведення досліджень в області удосконалення розрахункових і експериментальних методів кваліметричного оцінювання та нормування ПЯ при використанні нечітких моделей, моделі процесу управління якістю освітніх послуг, ураховуючи їх розриви-рівні, є актуальним завданням стандартизації та сертифікації процесів освітніх послуг вищої школи, яке становить науковий і практичний інтерес.

Зв'язок роботи з науковими програмами та планами. Дисертаційна робота виконувалася відповідно до Державної програми розвитку освіти на 2007-2011 роки. Робота відповідає науковому напрямку досліджень Севастопольського національного університету ядерної енергії та промисловості (СНУЯЕтаП) на тему «Розробка нормативної бази оцінювання показників якості освітніх послуг для створення системи кваліфікації у вищій школі» (державна реєстрація №0107U008410).

Мета і завдання дослідження. Метою дисертаційної роботи є удосконалення нормативної бази, що дає можливість оцінювати та нормувати ПЯ освітніх послуг ВНЗ.

Для реалізації мети дослідження автором поставлені та вирішені такі завдання:

1. Аналіз вітчизняного та зарубіжного досвіду в галузі оцінювання якості освітніх послуг вищої школи з метою знаходження шляхів їх удосконалення.

2. Удосконалення класифікації ПЯ за допомогою допрацьованої моделі процесу управління якістю освітніх послуг.

3. Розробка методу кваліметричного оцінювання якості освітніх послуг ВНЗ для удосконалення нормативної бази з метою підвищення рівня якості освітніх послуг.

4. Розробка методу вибору визначальних областей ЕО при нормуванні й оцінюванні ПЯ освітніх послуг.

5. Розробка методу нормування ПЯ для удосконалення нормативної бази оцінювання якості освітніх послуг ВНЗ з метою визначення ступеня задоволення споживачів.

Об'єкт дослідження. Нормативне забезпечення оцінювання якості процесів освітніх послуг ВНЗ.

Предмет дослідження. Оцінювання та нормування ПЯ процесів освітніх послуг ВНЗ.

Методи дослідження. Для розв’язання поставлених завдань були використані фундаментальні положення кваліметрії, стандартизації, експертних оцінок, теорії нечітких множин, статистичних методів забезпечення якості та принципів менеджменту якості.

Наукова новизна одержаних результатів полягає в розробці методів оцінювання та нормування ПЯ освітніх послуг з використанням методів кваліметрії, синтетичного аналізу та нечітких множин, що створило можливість удосконалити нормативну базу оцінювання якості освітніх послуг. Для цього:

1. Удосконалена класифікація ПЯ процесів освітніх послуг ВНЗ за рахунок використання кваліметричних підходів і впровадження пропонованих критеріїв і показників якості, що дозволило вирішити завдання визначення розривів-рівнів моделі процесу управління якістю освітніх послуг.

2. Вперше розроблено метод виявлення визначальних областей проведення ЕО, що дозволило використовувати комплексний підхід вибору по множині та за часом.

3. Вперше розроблено метод оцінювання якості освітніх послуг за рахунок використання кваліметричних підходів, що дозволило визначити ймовірність ступеня задоволення споживачів якістю освітніх послуг.

4. Вперше розроблено метод нормування ПЯ процесів освітніх послуг за рахунок використання нечітких моделей, що дозволило визначити номінальні та граничні значення ПЯ освітніх послуг.

Практичне значення отриманих результатів.

У результаті розробки схем процесів освітніх послуг, удосконалення моделі процесу управління якістю освітніх послуг і доопрацювання класифікації ПЯ вперше запропоновані основні процедури методу оцінювання якості освітніх послуг ВНЗ, які лягли в основу розробленого проекту стандарту «Освітні послуги ВНЗ. Метод оцінювання якості».

На базі розробленого методу ЕО, одержаних автором аналітичних виразів для визначення номінальних і граничних значень ПЯ, а також розробленого альбому функцій належності (ФН) нечітких оцінок ПЯ вперше запропоновано метод нормування ПЯ, який став основою для створення проекту стандарту «Освітні послуги ВНЗ. Нормування показників якості».

Застосування проектів стандартів дозволило вдосконалити схеми сертифікації процесів освітніх послуг ВНЗ.

Результати теоретичних і експериментальних досліджень оцінювання якості освітніх послуг апробовані в СНУЯЕтаП, Харківському національному університеті радіоелектроніки (ХНУРЕ), Полтавському університеті споживчої кооперації України (ПУСКУ) і Київському інституті інвестиційного менеджменту (КІІМ).

Використання результатів дисертаційної роботи сприяло подальшому розвитку та вдосконаленню курсів «Основи сертифікації», в СНУЯЕтаП і ХНУРЕ, «Основи кваліметрії» і «Аудит підприємств» в СНУЯЕтаП, «Кваліметрія та управління якістю» в ХНУРЕ, дозволило удосконалити зміст навчальних дисциплін «Метрологія, стандартизація та управління якістю», «Основи стандартизації, метрології та управління якістю», «Основи сертифікації» і «Основи кваліметрії» в ПУСКУ, а також курсів «Сертифікація» та «Кваліметрія» в КІІМ.

Розроблено та видано навчальний посібник «Элементы и принципы сертификации». Наукові та практичні розробки, відображені в дисертаційній роботі, використані при підготовці дипломних і магістерських робіт, а також застосовуються аспірантами за фахом «Стандартизація, сертифікація та метрологічне забезпечення». Впровадження результатів досліджень підтверджено актами про впровадження, які приведені в дисертації.

Нормативні розробки, що містяться в дисертації, можуть бути використані в практичній діяльності організацій, що надають освітні послуги будь-якого рівня, бажаючих найкращим чином задовольняти вимоги своїх споживачів.

Особистий внесок здобувача полягає в постановці та розв’язанні теоретичних і експериментальних завдань, пов'язаних з розробкою схем процесів освітніх послуг СНУЯЕтаП, удосконаленням моделі процесу управління якістю освітніх послуг, отриманням аналітичних виразів для визначення розривів-рівнів освітніх послуг, створенням узагальненого переліку ПЯ, удосконаленням класифікації ПЯ, розробкою методу кваліметричного оцінювання якості освітніх послуг, розробкою методу вибору визначальних областей ЕО при нормуванні й оцінюванні ПЯ, отриманням аналітичних виразів для визначення номінальних і граничних значень ПЯ, розробкою альбому функцій належності ПЯ, розробкою методу нормування ПЯ процесів освітніх послуг і удосконаленням схем сертифікації освітніх послуг.

Основні результати, що визначили наукову новизну та практичне значення отриманих результатів, належать особисто автору. Автором самостійно організовані і проведені всі багатоетапні дослідження, покладені в основу дисертаційної роботи.

Апробація результатів дисертації. Основні положення та результати дисертаційного дослідження апробовані на 11 національних, міжнародних наукових і науково-практичних конференціях та семінарах: IV Міжнародна конференція «Прогресивна техніка і технологія - 2003» (м. Севастополь, 2003 р.); друга Всеукраїнська наукова конференція «Проблеми управління якістю» (м. Київ, 2004 р.); Науково-технічний семінар «Стандартизація й якість: проблеми та практика» (м. Севастополь, 2004, 2005 р.); IV Міжнародна науково-технічна конференція «Метрологія та вимірювальна техніка» (м. Харків, 2004 р.); VI Міжнародна науково-практична конференція «Прогресивна техніка і технологія – 2005» (м. Севастополь, 2005 р.); II Міжнародна конференція «Стратегія якості в промисловості та освіті» (м. Варна, Болгарія, 2006 р.); XVI Национальный научный симпозиум с международным участием «Metrology and metrology assurance 2006» (Болгария, г. Созополь, 2006 г.); VIІІ Міжнародна конференція «Прогресивна техніка і технологія - 2007». (м. Севастополь, 2007 р.); Международная научно-практическая конференция «Современные аспекты качества образовательных услуг высшей школы» (пгт. Мисхор, 2007 г.); XII Международная научно-методическая конференция «Методы совершенствования фундаментального образования в школах и ВУЗах» (г. Севастополь, 2007 г.).

Публікації. За результатами досліджень опубліковано 12 робіт, у тому числі 6 статей у наукових спеціалізованих виданнях ВАК України.

Структура та об’єм роботи. Дисертаційна робота складається із вступу, чотирьох розділів, загальних висновків, списку використаних джерел і додатків. Робота містить 580 сторінок: з них друкований текст на 135 сторінках, рисунки - 40, таблиць - 27 та додатків - 16 на 445 сторінках. Список використаних літературних джерел містить 112 назв.

ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульована мета та завдання дослідження, визначена наукова новизна та практичне значення отриманих результатів. Наведено дані про впровадження результатів роботи, її апробацію, публікації та особистий внесок здобувача.

У першому розділі розглянутий сучасний підхід до розуміння якості освітніх послуг. На підставі виділених особливостей характеристик освітніх послуг, аспектів процесу надання освітніх послуг (взаємодія між науково-педагогічними працівниками (НПП) і споживачами, взаємодія між споживачем і атрибутами ВНЗ, взаємодія між споживачем і системою надання освітніх послуг), а, також використовуючи досвід зарубіжних і вітчизняних учених, таких як Кумбс Ф.Г., Адлер Ю.П., Качалов В.А., Новаторов Е.В., Нуждін В.Н, Згуровський М.З., Ясінський В.В., Шевченко Д.А., Хімічева Г.І., Віткін Л.М. і ін., запропоноване уточнене формулювання визначення освітніх послуг. Освітня послуга – невідчутна, нематеріальна, направлена на розум людей дія, що відбувається у момент контакту виконавця послуги і її споживача, яка відрізняється тим, що діяльність освітніх послуг описується сукупністю процесів, критеріїв і ПЯ.

Проведений аналіз вітчизняного і зарубіжного досвіду у сфері оцінювання якості освітніх послуг вищої школи свідчить про наявність недоліків в існуючій нормативній базі оцінювання якості освітніх послуг ВНЗ України, а саме:

- у стандартах вищої освіти, а також при ліцензуванні освітньої діяльності, акредитації спеціальностей і напрямів ВНЗ немає процедур або методів оцінювання якості процесів освітніх послуг ВНЗ;

- у стандартах вищої освіти немає переліку критеріїв і ПЯ процесів освітніх послуг; у ліцензійних умовах надання освітніх послуг і в методичних рекомендаціях для акредитації спеціальностей і напрямів ВНЗ використовуються показники, які повністю не охоплюють аспекти процесу надання освітніх послуг;

- слабкий розвиток культури оцінювання якості процесів освітніх послуг, під якою розуміють рівень і ступінь розвитку, досягнутий при оцінюванні якості процесів освітніх послуг з метою відвертості отриманих результатів, відповідальності виконавців освітніх послуг і звітності ВНЗ перед своїми споживачами;

- відсутні процедури або методи нормування ПЯ процесів освітніх послуг, що не дозволяє визначити міру якості як співвіднесення оцінки властивостей з базою, яка фіксує еталонний рівень, норму ПЯ.

Досліджені та розроблені схеми процесів освітніх послуг СНУЯЕтаП відповідні принципу процесного підходу міжнародного стандарту ISO 9000 і направлені на оцінювання та підвищення якості процесів надання освітніх послуг. Стандартизовані процеси освітніх послуг ВНЗ дозволяють забезпечити надійність їх надання й оцінювання з метою задоволення їх споживачів.

Порівняльний аналіз критеріїв і ПЯ роботи вищої школи дозволив встановити критерії й їх ПЯ процесів освітніх послуг: кадрове забезпечення (а1, ..., а19), навчально-методичне забезпечення (b1, ..., b12), інформаційне забезпечення (с1, ..., с12), матеріально-технічне забезпечення (d1, ..., d12), науково-дослідну діяльність (е1, ..., е16), контроль навчального процесу (f1, ..., f10), характеристику організації проведення НПП навчальних занять (g1, ..., g7), характеристику методичного рівня проведення НПП навчальних занять (h1, ..., h13), характеристику наукового рівня проведення НПП навчальних занять (i1, …, i5), діяльність докторантури й аспірантури (j1, ..., j8), міжнародні зв'язки з навчальними закладами й організаціями (k1, ..., k20), порушення трудової дисципліни співробітниками (l), заохочення співробітників (m).

У другому розділі на підставі вдосконаленої моделі процесу управління якістю освітніх послуг, яка дозволяє розв’язати завдання визначення розривів-рівнів освітніх послуг, і удосконаленої класифікації ПЯ, при використанні ЕО й імовірнісного визначення ступеня задоволення споживачів розроблений метод кваліметричного оцінювання якості освітніх послуг ВНЗ.

Сприйняття якості освітніх послуг споживачем і виконавцем, що приводять до різних оцінок якості освітніх послуг в їх розумінні, викликані розривами моделі процесу управління якістю освітніх послуг. Згідно цієї моделі , рівень якості освітніх послуг повинен розглядатися як результат наявності або відсутності розривів моделі якості освітніх послуг ВНЗ. У загальному випадку розрив можна характеризувати різницею (Qі) між прийнятним і фактичним рівнями якості. Вдосконалена модель якості освітніх послуг ВНЗ представлена на рис. 1. Для практичного використання даної моделі необхідно розв’язати завдання визначення Q1, Q2, Q3, Q4, Q5. Використовуючи зарубіжну літературу, за допомогою порівняльного логічного аналізу, встановлений взаємозв'язок ПЯ і розривів-рівнів освітніх послуг. Групування ПЯ щодо розривів-рівнів освітніх послуг дозволило одержати такі вирази

Q1 = F1 (a1, a2, a3, a5, a9, a10; c1; d1, d2, d4, d6, ..., d10; e1, ..., e5, e11, e15;

j3, ..., j8; k2, k11, ..., k20), (1)

Q2 = F2 (a18, a19; c2, ..., c5, c8, ..., c12; d11, d12; e16; h6, h10; l; m), (2)

Q3 = F3 (a11, ..., a17; c6, c7; g1, ... g7; h1, ..., h5, h7, h8, h9,

h11, h12, h13; i1, ..., i5), (3)

Q4 = F4 (a4, a6, a7; e6, ..., e10; f10; j1, j2; k1, k3, ..., k10), (4)

Q5 = F5 (a8; b1, ..., b12; d3, d5; e12, e13, e14; f1, ..., f9). (5)

Експериментальні дослідження з ранжирування розривів-рівнів проводилися у ВНЗ технічної й економічної спрямованості (СНУЯЕтаП, ХНУРЕ, ПУСКУ, КІІМ) і показали найбільшу значущість розривів Q3 і Q2 у вказаній послідовності. Проведені дослідження дозволили запропонувати класифікацію ПЯ значущих розривів-рівнів освітніх послуг, показану в табл. 1.

Рис. 1. Удосконалена модель процесу управління якістю освітніх послуг

Таблиця 1 –

Класифікації ПЯ значущих розривів-рівнів освітніх послуг

Розрив | Позначення ПЯ | Критерії якості освітніх послуг | Оцінка

Q3 | а11, а12, а13, а14, а15, а16, а17 | Кадрове забезпечення | Кваліметрична

с6, с7 | Інформаційне забезпечення

g1, g2, g3, g4, g5, g6, g7 | Характеристика організації проведення НПП навчальних занять

h1, h2, h3, h4, h5, h7, h8, h9, h11, h12, h13 | Характеристика методичного рівня проведення НПП навчальних занять

i1, i2, i3, i4, i5 | Характеристика наукового рівня проведення НПП навчальних занять

Q2 | а18, а19 | Кадрове забезпечення

с2, с3, с4, с5, с8, с9, с10, с11, с12 | Інформаційне забезпечення

d11, d12 | Матеріально-технічне забезпечення

е16 | Науково-дослідна діяльність

h6, h10 | Характеристика методичного рівня проведення НПП навчальних занять

l | Порушення трудової дисципліни співробітниками

m | Заохочення співробітників

У класифікацію ПЯ значущих розривів-рівнів Q3 і Q2 освітніх послуг входять всі ПЯ, які відносяться до пропонованих показників і оцінюються за допомогою кваліметричної шкали.

Використовуючи вдосконалені автором модель процесу управління якістю освітніх послуг і класифікацію ПЯ процесів освітніх послуг, представлена сукупність ПЯ у вигляді причинно-наслідкової діаграми (рис. 2), яка дозволяє виділити окремі фрагменти оцінки якості процесу освітньої послуги ВНЗ. При аналізі причинно-наслідкової діаграми, залежно від поставлених цілей і розв’язуваних завдань при оцінюванні критеріїв і ПЯ, проводиться синтетичний аналіз з метою наукового дослідження процесу освітньої послуги та виявленні взаємного зв'язку ПЯ.

Проведені дослідження взаємозалежності ПЯ свідчать про наявність позитивної кореляції між ПЯ. Для всіх пар ПЯ процесів освітніх послуг визначений вид рівнянь зв'язку: (для пари ПЯ а15 і а14), (для а17 і а16), (для с5 і с4--), (для е16 і с6), (для h8 і h7), (для h11 і h10), (для i4 і h13), (для i3 та i2).

При розробці процедур оцінювання ПЯ процесів освітніх послуг ВНЗ доцільно враховувати виявлені взаємозалежні пари ПЯ, які дозволяють скоротити кількість оцінюваних показників.

На основі проведених досліджень розроблено метод оцінювання якості процесів освітніх послуг ВНЗ, якій складається з восьми етапів. Для оцінювання якості освітніх послуг формуються групи експертів, що складаються із споживачів досліджуваних процесів освітніх послуг.

Етап 1. Вибір значущих ПЯ досліджуваного процесу освітньої послуги. Значущими вважаються ті ПЯ, за якими оцінюється якість процесів освітніх послуг ВНЗ. Вибір значущих ПЯ зводиться до знаходження коефіцієнтів вагомості показників при оцінюванні якості процесу освітньої послуги ВНЗ. До значущих ПЯ відносяться показники, якщо виконується умова , де – коефіцієнт вагомості i-го ПЯ, i = 1, ..., п – номенклатура ПЯ процесу освітніх послуг ВНЗ.

Ранжирування проводиться за критеріями якості: кадрове забезпечення, характеристика організації проведення НПП навчальних занять, характеристика методичного рівня проведення НПП навчальних занять, характеристика наукового рівня проведення НПП навчальних занять. При ранжируванні ПЯ складається матриця рангів ПЯ освітніх послуг (табл. 2).

Таблиця 2 –

Загальний вид матриці рангів ПЯ освітніх послуг

Номер ПЯ |

Експерти | Сума рангів i-го ПЯ | Коефіцієнт вагомості

1 | 2 | … | j | … | т

Ранги

1 | … | …

… | … | … | … | … | … | … | … | …

i | … | …

… | … | … | … | … | … | … | … | …

п | … | …

… | … | 1,00

У матриці: j = 1, ..., m – склад експертної групи; – ранг, призначений i-му ПЯ j-м експертом; - сума рангів, призначених i-му ПЯ всіма експертами; - сума рангів, призначених j-м експертом всім ПЯ процесу освітньої послуги; - сума рангів, призначених всім ПЯ всіма експертами.

Етап 1.1. Визначення узгодженості думок експертів. Точність експертних оцінок, при проведенні ранжирування, визначається по узгодженості думок експертів. Для оцінки узгодженості думок експертів використовується коефіцієнт конкордації.

Етап 1.2. Перевірка істотності спостережуваного значення. Перевірити істотність спостережуваного значення прийнятності узгодженості думок експертів здійснюється по критерію 2.

Етап 1.3. визначення коефіцієнтів вагомості значущих ПЯ досліджуваного процесу освітньої послуги. Коефіцієнт вагомості ПЯ показує частку його внеску в якість процесу освітньої послуги, а значущість ПЯ означає, який показник робить найбільший внесок у формування якості процесу освітньої послуги.

Етап 2. Проведення експертного опитування споживачів досліджуваного процесу освітньої послуги. Використовуючи складену анкету і десятибальну кваліметричну шкалу, з урахуванням виявлених кореляційно залежних пар ПЯ, проводиться експертне опитування споживачів досліджуваного процесу освітньої послуги із значущим ПЯ даного процесу.

Етап 3. Проведення досліджень з метою підтвердження нормального закону розподілу даних експертного опитування. На основі одержаних експертних даний та використовуючи критерій згоди Пірсона, доцільно довести, що закони розподілу ПЯ процесу освітньої послуги підпорядковуються нормальному закону розподілу.

Етап 4. Побудова щільності розподілу для значущих ПЯ досліджуваного процесу освітньої послуги. На базі експертних даних, будується щільність розподілу значущих ПЯ процесу освітньої послуги (рис. 3). Побудована щільність розподілу характеризує споживче сприйняття оцінюваного ПЯ досліджуваного процесу освітньої послуги.

Етап 5. Установлення науково обґрунтованих нормованих значень значущих ПЯ досліджуваного процесу освітньої послуги (даний етап розглядається в третьому розділі дисертаційної роботи).

Рис. 3. Розподіл значущого i-го ПЯ процесу освітньої послуги

Етап 6. Оцінка ступеня задоволеності споживачів значущими ПЯ досліджуваного процесу освітньої послуги. На даному етапі використовується математичний апарат дослідження оцінки ймовірності задоволеності при 90% достовірності для одностороннього обмеження

, , , , ,

де - оцінка задоволеності, і-го ПЯ відповідна довірчому рівню ,

- імовірність задоволення споживачів і-м ПЯ,

k - нормоване нормальне відхилення при довірчому рівні,

- середнє квадратичне відхилення оцінки значущого і-го ПЯ,

- нормована нормальна функція розподілу і-го ПЯ,

NПЯi – науково обґрунтоване нормоване значення i-го ПЯ,

- математичне очікування значущого і-го ПЯ,

- середнє квадратичне відхилення значущого і-го ПЯ,

- дисперсія оцінки і-го ПЯ,

- нормована щільність розподілу і-го ПЯ,

т - кількість експертів.

Оцінка ймовірності ступеня задоволення споживачів нормованого значущого ПЯ

.

Набутого значення характеризує задоволеність споживачів якістю значущих показників.

Етап 7. Вибір критичних ПЯ. Отримані результати ймовірності ступеня задоволеності ПЯ наносяться на пелюсткову діаграму. Дані результати можна показати у вигляді оцінок: всіх значущих ПЯ досліджуваного процесу освітньої послуги для виявлення критичних ПЯ (рис. 4); одного значущого ПЯ досліджуваних процесів освітніх послуг для виявлення критичних ПЯ цих процесів (рис. 5).

До критичних відносяться ПЯ, якщо вони мають дуже низькі значення ймовірності ступеня задоволення споживачів. Набуті значення оцінки ймовірності ступеня задоволення споживачів можна інтерпретувати, використовуючи стовідсоткову шкалу (табл. 3).

Таблиця 3 –

Шкала для оцінювання ймовірності задоволення споживача ПЯ процесів освітніх послуг

Відсотки | Характеристика оцінки ймовірності ступеня задоволення споживачів

0 – 20 | оцінка нижча за задовільну.

21 – 40 | Задовільна оцінка.

41 – 60 | Середня оцінка.

61 – 80 | Оцінка вища за середню.

81 – 100 | Відмінна оцінка.

Етап 8. формування плану коригувальних і застережливих заходів. На основі одержаних критичних ПЯ доцільно сформувати план коригувальних і застережливих дій для поліпшення якості освітніх послуг, які надаються.

Для зниження тимчасових витрат користувача при зборі, обробці й аналізі результатів оцінки якості процесу освітніх послуг розроблено програмне забезпечення в середовищі програмування Delphi 6, для операційної системи Windows XP Professional і Windows NT з використанням бази даних Access.

У третьому розділі розроблено метод вибору визначальних областей ЕО при нормуванні й оцінюванні ПЯ процесів освітніх послуг і метод нормування ПЯ, заснований на нечітких моделях.

До методу ЕО при нормуванні й оцінюванні ПЯ процесів освітніх послуг ВНЗ відноситься виявлення визначальних областей і періодів проведення даних оцінок для кожного ПЯ протягом процесу надання освітньої послуги, застосовуючи комплексний підхід до вибору областей ЕО по множині та за часом. Метод проведення ЕО складається з таких кроків:

Крок 1. вибір дисципліни та визначення видів навчальних занять. Метод вибору визначальних областей ЕО перевіряють на базі різних видів навчальних занять дисципліни та ПЯ, які об'єднані в групи поодинці або декількома видами вказаних навчальних занять. До основних видів навчальних занять у вузі відносяться: лекції (Л), лабораторні (Лр), практичні (П), семінарські (С) заняття, колоквіуми (Кл), контрольні роботи (Кр), самостійні заняття під керівництвом НПП (Сз), а також таких видів контролю, як оцінка рівня теоретичних знань (Т) та оцінка рівня практичних навиків студентів (Н). Практичні заняття можуть проводитися у вигляді обчислювальних робіт (Ор), розрахунково-графічних робіт (Р), заняття на матеріальній частині (М) і курсові проекти (роботи) (К).

Крок 2. Групування ПЯ значущих розривів-рівнів Q3 і Q2 освітніх послуг щодо навчальних видів занять: до першої групи ПЯ відносяться показники, які можна оцінювати на всіх видах навчальних занять або впродовж усього періоду надання освітніх послуг (а11, а12, а13, а14, а15, а16, а17, с2, с4, с9, с10, с11, с12, d11, d12, g1, g2, g3, g4, g5, h1, h2, h5, h8, h13, i4, i5); до другої групи відносяться ПЯ, які оцінюються на навчальних заняттях, окрім занять з проведення контрольних робіт або оцінці теоретичних знань і практичних навичок, а також індивідуальних занять, консультацій (c5, c6, h9, h10, h11, h12, i1, i2, i3); до третьої відносяться ПЯ, які оцінюються тільки на лекціях (h3, h7, h4); до четвертої групи відносяться ПЯ, які оцінюються на навчальних заняттях, окрім лекцій, контрольних робіт, оцінки теоретичних знань і практичних навиків, а також індивідуальних занять і консультацій (g6, g7, h7); оцінка в п'ятій групі ПЯ проводиться тільки на практичних і лабораторних заняттях (с3); оцінку в шостій групі ПЯ робити за краще в кінці вивчення дисципліни (а18, а19, с8, е16, l, m).

Крок 3. Визначення ймовірності проведення ЕО. При визначенні ймовірності проведення ЕО будують графік, показаний на рис. 6: по осі абсцис відкладають час (тижні) та види занять, оскільки кожне заняття проводиться в певний період часу, а по осі ординат відкладають групи ПЯ. Вибір за часом передбачає багатократне оцінювання групи ПЯ в період вивчення навчальної дисципліни. Вибір за множиною передбачає оцінювання всіх груп ПЯ в інтервалі часу (під інтервалом часу в даному випадку розуміють час проведення одного навчального заняття).

Крок 4. Вибір визначальних областей. На основі одержаного графіка ймовірності проведення ЕО визначають найбільш згруповані результати ЕО за виглядом занять, часу проведення (тижні), враховуючи всі групи ПЯ, що й є визначальною областю ЕО. На рис. 6 виявлені три визначальні області проведення ЕО, які дозволяють при оцінюванні та нормуванні ПЯ процесу освітньої послуги одержати якнайповнішу та точнішу інформацію про досліджуваних ПЯ.

За наслідками апробації даного підходу на базі СНУЯЕтаП, ХНУРЕ, ПУСКУ та КІІМ одержані визначальні області ЕО, найбільшу перевагу серед яких віддають практичним і лабораторним навчальним заняттям.

При використанні математичного апарату нечітких множин, одержані аналітичні вирази для визначення нормованих значень ПЯ, а саме:

- номінального значення i-го нормованого ПЯ процесу освітніх послуг:

; (6)

- мінімальних і максимальних граничних значень i-го нормованого ПЯ:

. (7)

У окремих випадках, для визначення номінальних і граничних значень ПЯ процесів освітніх послуг ВНЗ, застосовуються наступні правила:

- якщо результуючі експертні оцінки рівні між собою, тобто , то

, (8)

; (9)

- якщо результуючі експертні оцінки лівої гілки ФП i-го ПЯ рівні між собою, тобто а = b, і праві гілки теж рівні між собою, тобто с = d, то

, (10)

; (11)

- якщо результуючі експертні оцінки b і с i-го ПЯ рівні між собою, то

, (12)

. (13)

Використання одержаних аналітичних виразів дозволяє практично визначити номінальні та граничні значення ПЯ процесів освітніх послуг ВНЗ. В результаті проведених досліджень за визначенням номінальних і граничних значень ПЯ розроблений метод нормування, якій складається з наступних етапів:

Етап 1. Розробка методу вибору визначальних областей проведення ЕО.

Етап 2. Проведення експертного опитування. Експертне опитування проводиться у вигляді письмового анкетування. Експерти дають оцінку того або іншого ПЯ у вигляді нечіткої величини. При цьому кожен експерт задає чотири величини для кожного ПЯ процесу освітніх послуг.

Етап 3. Визначення результуючих оцінок для побудови ФН нечітких величин ПЯ процесів освітніх послуг. Після опитування експертів, результуючу нечітку експертну оцінку здобувають шляхом згортки ; ; ; , де ki – коефіцієнт, що враховує компетентність експертів .

Етап 4. Побудова ФН нечітких величин нормованих ПЯ (рис. 7).

Рис. 7. Функція належності i-го ПЯ

Етап 5. Визначення номінальних і граничних значень нормованих ПЯ. Використовуючи одержані аналітичні вирази (6) – (13), визначають номінальні та граничні значення ПЯ процесів освітніх послуг ВНЗ.

Етап 6. Узагальнення отриманих результатів. Для кожного ПЯ вибирають і заносять до розробленої форми альбому можливі варіанти одержаних ФН, номінальні та граничні значення ПЯ процесів освітніх послуг (табл. 4).

Альбом ФН показників процесів освітніх послуг ВНЗ дозволить систематизувати дані з нормування ПЯ освітніх послуг, а саме представляти зведену інформацію за номінальними і граничними значеннями ПЯ освітніх послуг, що сприятиме удосконаленню нормативної бази оцінки якості освітніх послуг ВНЗ.

У четвертому розділі на основі розроблених методів отримані практичні результати оцінювання й нормування ПЯ процесів освітніх послуг СНУЯЕтаП, ХНУРЕ, ПУСКУ та КІІМ.

Апробація розробленого методу нормування ПЯ процесів освітніх послуг проводилася на базі СНУЯЕтаП, ХНУРЕ, ПУСКУ та КІІМ. На основі одержаних результуючих нечітких експертних оцінок побудовані ФН нечітких величин ПЯ процесів освітніх послуг ВНЗ. При використанні одержаних аналітичних виразів визначені номінальні, мінімальні та максимальні граничні значення нормованих ПЯ, значення яких представлені в розробленому альбомі (дисертаційна робота, розділ 4, п.4.1).

Використовуючи розроблений метод оцінювання якості проведено оцінювання ПЯ процесів освітніх послуг СНУЯЕтаП зі спеціальностям «Метрологія та вимірювальна техніка» (МВТ), «Якість, стандартизація та сертифікація» (ЯСС), «Екологія та охорона навколишнього середовища» (ЕК) і «Хімічна технологія рідкісних розсіяних елементів і матеріалів на їх основі» (ХІМ). В результаті ранжирування ПЯ процесів освітніх послуг СНУЯЕтаП, в період з 2003 по 2006 роки, виявлені значущі ПЯ:

- а15, а16, а18, с2, с3, с6, с7, g2, g3, g4, g7, h3, h7, h8, h9, h10, h13, i2, i4, i5;

- а14, а15, а16, а18, с2, с3, с6, с7, с9, с12, g2, g4, g7, h3, h7, h8, h9, h10, h13, i2, i4, i5;

- а13, а15, а16, с2, с6, с10, с11, g2, g4, g6, g7, h3, h7, h8, h9, h10, h13, i2, i4, i5;

- а14, а15, а16, а18, с2, с3, с6, с7, с9, g2, g4, g7, h3, h6, h8, h10, h13, i2, i4;

- а14, а17, а18, а19, с2, с3, с6, с7, с9, g2, g3, g5, g7, h7, h8, h9, h10, h13, i2, i4, i5;

- а14, а16, а17, а18, с4, с5, с6, с11, g2, g3, g4, g7, h3, h7, h8, h9, h10, h13, i2, i4, i5;

- а14, а15, а16, а17, с2, с4, с5, с6, g3, g4, g5, g7, h7, h9, h10, h11, h13, i2, i3, i5;

- а17, а18, а19, с2, с3, с5, с7, g2, g3, g6, h3, h4, h7, h8, h9, h10, h13, i3, i4, i5;

- а15, а16, а18, с2, с3, с6, с7, g2, g3, g4, g7, h3, h7, h8, h9, h10, h13, i2, i4;

- а15, а16, а18, с2, с3, с6, с7, g2, g3, g4, g7, h3, h4, h7, h8, h9, h10, h13, i2, i4, i5;

- а16, а18, а19, с2, с3, с6, с7, с9, g1, g2, g3, g4, h3, h7, h8, h9, h10, h13, i2, i4.

Точність експертних оцінок визначали за узгодженістю думок експертів. Для оцінки узгодженості думок експертів використовували коефіцієнт конкордації, значення якого одержані в межах від 0,66 до 0,89.

При проведенні опитувань експертами заповнювалися анкети «Сприйняття якості процесу надання освітньої послуги». Для реалізації розробленого методу оцінювання ПЯ, при використанні критерію згоди Пірсона, доведено, що закони розподілу ПЯ досліджуваних процесів освітніх послуг підкоряються нормальному закону розподілу. На базі експертних даних побудована щільність розподілу значущих ПЯ процесів освітніх послуг. Після визначення номінальних і граничних значень ПЯ, представлених в розробленому альбомі ФН нечітких величин ПЯ, на щільності розподілу ПЯ нанесені мінімальні та максимальні граничні значення ПЯ у вигляді одностороннього обмеження.

На основі отриманих результатів ступеня задоволення споживачів якістю освітніх послуг по всім значущим ПЯ визначений рейтинг процесів СНУЯЕтаП (табл. 5 і 6).

Таблиця 5 –

Рейтинг процесів освітніх послуг із значущим ПЯ за 2003-2004 р.

Рейтинг за споживчим опитуванням | Найменування спеціальностей СНУЯЕтаП | Відсоток

задоволених ПЯ | критичних ПЯ

1 | ХІМ | 41,67 | 58,33

2 | ЯСС | 36,36 | 63,64

3 | МВТ | 33,34 | 66,66

4 | ЕК | 29,17 | 70,83

Оцінювані процеси освітніх послуг СНУЯЕтаП по спеціальностях (ХІМ, ЯСС, МВТ і ЕК) мають задовільні споживчі оцінки (табл. 5).

Таблиця 6 –

Рейтинг процесів освітніх послуг зі значущих ПЯ за 2004-2006 навчальні роки

Рейтинг за споживчим опитуванням | Найменування спеціальностей СНУЯЕтаП | Відсоток

задоволених ПЯ | критичних ПЯ

1 | ХІМ (5 курс) | 45,84 | 54,16

2 | ХІМ (4 курс) | 28 | 72

3 | ЕК (4 курс) | 18,19 | 81,81

4 | МВТ (4 курс) | 16 | 84

5 | ЯСС (5 курс) | 13 | 87

6 | ЕК (5 курс) | 12 | 88

7 | МВТ (5 курс) | 8,7 | 91,3

Як видно з табл. 6 найвищий рейтинг серед проведених дослідженнях займає спеціальність ХІМ. Спеціальності ЯСС, МВТ і ЕК мають між собою незначну різницю щодо задоволення споживачів якістю освітніх послуг і одержали низький ранг за споживчими оцінками.

Використовуючи причинно-наслідковий аналіз (додаток У дисертаційної роботи, рис. У.1-У.50) досліджені чинники, які впливають на підвищення якості освітніх послуг.

Удосконалені схеми сертифікації освітніх послуг при введенні додаткових характеристик процесу сертифікації – перевірка організацію, методичний і науковий рівень проведення НПП навчальних занять, а також взаємні відносини між студентами, НПП і керівництвом ВНЗ.

На базі розроблених методів оцінювання та нормування ПЯ розроблені проекти стандартів ВНЗ «Освітні послуги ВНЗ. Нормування показників якості» і «Освітні послуги ВНЗ. Метод оцінювання якості».

Структура проекту стандарту ВНЗ «Освітні послуги ВНЗ. Нормування показників якості» (додаток М дисертаційної роботи):

1 Галузь застосування.

2 Терміни і визначення.

3 Нормування показників якості процесів освітніх послуг.

Додаток А. Групи показників якості.

Додаток Б. Анкета.

Додаток В. Альбом функції належності нечітких величин показників якості процесів освітніх послуг.

Структура проекту стандарту ВНЗ «Освітні послуги ВНЗ. Метод оцінювання якості» (додаток дисертаційної роботи Ф):

1 Галузь застосування.

2 Нормативні посилання.

3 Терміни і визначення.

4 Метод оцінювання показників якості процесу освітніх послуг.

Додаток А. Формування класифікації показників якості.

Додаток Б. Визначення коефіцієнта узгодженості думок експертів.

Додаток В. Перевірка істотності спостережуваного значення.

Додаток Д. Визначення коефіцієнтів вагомості. Визначення значущих показників якості.

Додаток Ж. Визначення взаємозалежних пар показників якості.

Додаток З. Збір експертної інформації.

Додаток К. Побудова щільності розподілу для значущих показників якості.

Додаток Л. оцінка степеня ймовірності задоволеності показника якості.

Додаток М. Бланк плану корегувальних і застережливих дій.

ЗАГАЛЬНІ ВИСНОВКИ

У дисертаційній роботі, присвяченій удосконаленню нормативної бази оцінювання якості освітніх послуг ВНЗ, при використанні кваліметричніх підходів і нечітких моделей досягнута поставлена мета. Для цього, на основі аналізу вітчизняного та зарубіжного досвіду в області оцінювання якості освітніх послуг вищої школи, визначені напрямки удосконалення та вирішено завдання:

1. Удосконалена класифікація ПЯ освітніх послуг за рахунок пропонованих критеріїв і ПЯ відносно розривів-рівнів удосконаленої моделі процесу управління якістю освітніх послуг, що дозволило вирішити задачу визначення розривів-рівнів освітніх послуг при використанні одержаних автором аналітичних виразів по кожному розриву залежно від переліку ПЯ.

2. Розроблений метод вибору визначальних областей проведення ЕО при нормуванні й оцінюванні ПЯ процесів освітніх послуг за рахунок застосування комплексного підходу вибору по множині та вибору за часом, що дозволило отримати якнайповнішу й об'єктивнішу інформацію про ПЯ процесів освітніх послуг ВНЗ.

3. Розроблений метод оцінювання якості освітніх послуг за рахунок використання кваліметричніх підходів і експертних оцінок, який дозволив визначити ймовірність ступеня задоволення споживачів якістю освітніх послуг.

4. Розроблений метод нормування ПЯ процесів освітніх послуг за рахунок використання нечітких множин, який дозволив одержати аналітичні вирази для визначення номінальних і граничних нормованих значень ПЯ і розробити альбом ФН нечітких величин ПЯ процесів освітніх послуг.

5. Розроблені методи пройшли апробацію в період з 2003 по 2006 роки на базі Севастопольського національного університету ядерної енергії і промисловості, Харківського національного університету радіоелектроніки, Полтавського університету споживчої кооперації України і Київського інституту інвестиційного менеджменту, що дозволило виявити критичні ПЯ досліджуваних процесів освітніх послуг, визначити рейтинг процесів освітніх послуг ВНЗ і підвищити культуру оцінювання якості освітніх послуг.

6. Апробовані методи покладені в основу розроблених проектів стандартів ВНЗ «Освітні послуги ВНЗ. Метод оцінювання якості» і «Освітні послуги ВНЗ. Нормування показників якості», що дозволило удосконалити нормативну базу оцінювання якості освітніх послуг.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

2.

3.

4.

5.

6.