КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ТЕХНОЛОГІЙ ТА ДИЗАЙНУ

ПАРХОМЕНКО НАТАЛІЯ ОЛЕКСІЇВНА

УДК 006.0015

РОЗРОБКА ОЦІНКИ ЯКОСТІ НАВЧАЛЬНОГО ПРОЦЕСУ В ВИЩОМУ НАВЧАЛЬНОМУ ЗАКЛАДІ МЕТОДОМ НАУКОВО-ТЕХНІЧНОГО ПРОГНОЗУВАННЯ

Спеціальність 05.01.02 - Стандартизація і сертифікація

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Київ – 2007

Дисертацією є рукопис.

Дисертація виконана на кафедрі метрології, стандартизації та сертифікації Київського національного університету технологій та дизайну Міністерства освіти і науки України.

Науковий керівник: кандидат технічних наук, професор Головко Дмитро Богданович,

Київський національний університет технологій та дизайну,

професор кафедри метрології, стандартизації та сертифікації.

Офіційні опоненти: доктор технічних наук, професор Глоба Лариса Сергіївна,

Національний технічний університет України "Київський політехнічний

інститут", завідувач кафедри інформаційно-телекомунікаційних мереж

кандидат технічних наук Віткін Леонід Михайлович,

Державний комітет України з питань технічного регулювання та споживчої

політики, заступник Голови

.

Провідна установа - Національний аерокосмічний університет ім. М.Є. Жуковського

"Харківський авіаційний інститут" Міністерства освіти і науки України,

кафедра технологій виготовлення літальних апаратів.

Захист відбудеться "24" жовтня 2007 р. о 10-00 годині на засіданні спеціалізованої вченої ради Д 26.102.01 у Київському національному університеті технологій та дизайну за адресою: 01011, м. Київ, вул. Немировича-Данченка, 2, 3-й поверх, конференц-зал.

З дисертацією можна ознайомитись в науково-технічній бібліотеці Київського національного університету технологій та дизайну, журнальний зал, ауд.1-0428.

Автореферат розісланий "18" вересня 2007 р.

Вчений секретар

Спеціалізованої вченої ради

Д 26.102.01, д.т.н, проф. Березненко С.М.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Подальшi соцiально-економiчнi й полiтичнi змiни в суспiльствi, зміцнення державностi України, входження її в цивiлiзоване свiтове спiвтовариство неможливi без реалiзації системою вищої освiти України iдей Болонського процесу, спрямованих на забезпечення мобiльностi працевлаштування та конкурентоспроможності фахiвцiв з вищою освiтою та орієнтацію вищих навчальних закладів (ВНЗ) на кінцевий результат - знання та навички випускників повинні застосовуватись і практично використовуватись на користь України. Введення загальноєвропейської системи гарантії якості освіти є головним чинником, за якого вимірювання якості освіти, управління нею набуває першочергового значення.

Найважливішими умовами поліпшення якості підготовки фахівців з вищою освітою як в Україні, так і за кордоном, є розвиток і удосконалення форм і методів управління якістю навчання та викладання, виявлення тенденцій їх динаміки методами науково-технічного прогнозування з метою запобігання погіршенню та виробленню стратегії щодо підвищення якості освіти відповідно до вимог споживачів і роботодавців з використанням сучасних інформаційних технологій та методів штучного інтелекту. Основними перешкодами для забезпечення широкого застосування принципів прогнозування при визначенні якості навчального процесу в ВНЗ та її удосконаленні є відсутність теоретичних та практичних розробок в цій галузі, недостатнє використання системного підходу (заснованого на науковому розумінні цього терміну) на практиці до моделювання процесів в ВНЗ, зокрема навчального. Пояснюється це відсутністю або недосконалістю науково обґрунтованих методик:

- щодо структурування процесів діяльності ВНЗ (навчальний, науково-методичний, матеріально-технічний, управління персоналом, нормативно-правовий, інформаційно-комунікаційний тощо) як складних систем, що підлягають автоматизації;

- щодо математичного моделювання процесів діяльності ВНЗ як складної системи в цілому та її компонентів (видів діяльності) зокрема;

- щодо вибору математичних методів вирішення окремих задач, їх подальшої систематизації та комплексної оптимізації кінцевих рішень;

- щодо структурування інформаційного простору підтримки процесів діяльності ВНЗ як складної системи з метою інформаційного забезпечення його життєвого циклу;

- щодо вибору параметрів, прийомів та методів прогнозування рівня якості навчального процесу в ВНЗ та його удосконалення;

- щодо використання сучасних досягнень в сфері створення, впровадження і сертифікації систем управління якістю ВНЗ відповідно до вимог і рекомендацій міжнародних стандартів з менеджменту якості серії ISO 9000:2000 (ДСТУ ІSО 9000–2001) та інших моделей менеджменту якості;

- щодо формування єдиної інформаційної платформи підтримки прийняття виважених управлінських рішень на основі використання сучасних інтегрованих інформаційних технологій та штучного інтелекту.

Таким чином, проведення досліджень теоретично-практичних засад оцінки якості і удосконалення навчального процесу в ВНЗ методом науково-технічного прогнозування та створення автоматизованого інформаційного середовища в поєднанні з сучасними досягненнями в області інформаційних технологій є вчасним і актуальним завданням та викликає науковий і практичний інтерес.

Зв'язок роботи з науковими планами. Дисертаційна робота відповідає науковому напрямку досліджень на тему "Фундаментальні дослідження основ формування систем управління якістю комплексу забезпечення і реалізації навчального процесу закладами вищої школи на базі цифрових технологій, кореляція останніх до версії ISO 9000:2000" (№ держ. реєстр. 0101U001791), „Розробка фундаментальних основ методології впровадження законодавства про підтвердження відповідності в системі вищої школи” (№ держ реєстрації 102U001410).

Мета і завдання дослідження. Метою дисертаційної роботи є розробка методу оцінки якості навчального процесу в ВНЗ за допомогою механізму короткострокового прогнозування і створення інтелектуальної інформаційної технології удосконалення навчального процесу.

Для досягнення поставленої мети автором були поставлені та вирішені такі завдання:

1. Аналіз вітчизняного та зарубіжного досвіду в галузі визначення якості роботи ВНЗ з метою знаходження шляхів її удосконалення.

2. Розробка (на основі загальних правил та методик удосконалення навчального процесу) нового формалізованого методу і теоретичних положень процесу моніторингу і системного аналізу навчального процесу в ВНЗ з метою його постійного удосконалення на основі математичних моделей з використанням методів штучного інтелекту, що дозволяє скоротити час на прийняття коригувальних управлінських рішень та підвищити продуктивність праці персоналу.

3. Розробка (на основі загальних правил математично-прогностичного апарату) формалізованого методу побудови прогностичних математичних моделей оцінки якості освіти в ВНЗ, призначених для отримання оперативної прогнозної інформації про тенденцію навчального процесу та вирішення задачі оперативного удосконалення якості освіти.

4. Розробка способу структурування інформації та створення бази даних і бази знань щодо оцінки якості освіти в ВНЗ з використанням можливостей штучного інтелекту для аналізу та підготовки управлінських рішень, що наповнюють відповідну базу даних.

5. Розробка та реалізація гнучкої інтелектуальної технології удосконалення навчального процесу на основі методів, які базуються на сучасних високоефективних комп’ютерних засобах та технологіях штучного інтелекту, що дозволяє швидко та легко реагувати на зміни в якості навчання.

Наукова новизна результатів дослідження полягає в розкритті закономірностей динаміки зміни показників якості навчального процесу підготовки студентів в структурі ВНЗ з використанням запропонованих математично-статистичних моделей та розроблених на їх основі засобів інтелектуальної інформаційної технології удосконалення навчального процесу. Для цього:

1. Розроблено метод i теоретичнi положення процесу моніторингу і удосконалення якості освіти в ВНЗ на основі створення математичної моделі з використанням методів штучного інтелекту, що дозволяє скоротити час на прийняття коригувальних управлінських рішень та підвищити продуктивність праці персоналу.

2. Розроблено прогнозно-математичнi моделi процесу оцінки якості освіти в ВНЗ з метою отримання оперативної прогнозної інформації щодо тенденцій навчального процесу та прийняття виважених оперативних коригувальних та запобіжних управлінських рішень.

3. Запропоновано спосіб структурування інформації і створення бази даних і бази знань щодо оцінки та управління якістю освіти в ВНЗ з введенням систем штучного інтелекту, який обмежує потужність простору прийняття коригувальних управлінських рiшень.

Практичне значення роботи: на основі застосування інтелектуальної інформаційної технології удосконалення навчального процесу, розроблених математичних моделей удосконалення якості освіти та прогнозно-математичних моделей для оцінки якості освіти на прикладі Київського інституту інвестиційного менеджменту визначено тенденції зміни якості знань студентів та якості викладання дисциплін, а також сформульовано пропозиції запобіжних та коригувальних дій щодо підвищення якості освіти, які носять загальний характер і можуть бути застосовані до інших ВНЗ незалежно від наявності в них системи менеджменту якості (СМЯ).

Методичні розробки, що є результатом дисертаційної роботи, можуть бути використані в практичній діяльності організацій, в яких здійснюється освітній процес, з метою задоволення вимог споживачів щодо якості навчальних послуг, досягнення конкурентоспроможності ВНЗ та постійного самовдосконалення.

Результати роботи були апробовані і використовуються в навчальному процесі Київського інституту інвестиційного менеджменту, зокрема під час викладання дисциплін “Менеджмент якості”, „Менеджмент природоохоронної діяльності”, „Економічне та науково-технічне прогнозування”, „Економіка якості”, „Планування якості” програми підготовки спеціалістів за спеціалізаціями „Управління якістю” та „Управління природоохоронною діяльністю” за спецiальнiстю 7.050201 “Менеджмент організацій”, в Севастопольському національному університеті ядерної енергії та промисловості для оцінки якості знань та якості викладання, в навчальних дисциплінах „Філософія якості”, „Загальне управління якістю (TQM)” за програмою підготовки спеціалістів за спеціальністю „Якість, стандартизація та сертифікація” згідно договору №1 від 15 травня 2006 р.

Об'єкт дослідження: механізми оцінки якості і удосконалення навчального процесу в ВНЗ як головній установі з підготовки високоосвічених кваліфікованих і конкурентноздатних фахівців для вітчизняного та міжнародного ринку праці.

Предмет дослідження: теоретичне, методичне та практичне використання науково-технічного прогнозування для підвищення рівня якості освіти в ВНЗ за допомогою методу автоматизації навчального процесу на основі сучасних інформаційних технологій та систем штучного інтелекту.

Методи досліджень: теоретичні дослідження базувались на методах експертних оцінок, принципах TQM, системному підході на основі вимог стандартів серії ISO 9000:2000, процесному підході, традиційних для ВНЗ методах контролю знань, на математичних методах статистичного аналізу, методах системного аналізу, теоретичних і практичних засадах побудови математичних моделей і науково-технічних прогнозів, методах сучасних інтелектуальних комп’ютерних технологій та штучного інтелекту. Розрахунки виконувались із застосуванням табличного процесора Microsoft Excel 7.0 та пакету ПРІАМ .

Особистий внесок здобувача полягає в постановці і розв’язанні теоретичних та експериментальних задач, пов'язаних з розробкою методу оперативної прогнозно-математичної оцінки якості освіти в ВНЗ та розробкою інтелектуальної комп’ютерної інформаційної технології, за допомогою якої здійснюється управління процесом удосконалення якості освіти.

Апробація роботи. Результати дисертаційної роботи були апробовані в Київському інституті інвестиційного менеджменту для оцінки результативності СМЯ за вимогами стандарту ISO 9001:2000, в Севастопольському національному університеті ядерної енергії та промисловості для оцінки якості знань та якості викладання, на 3-й, 4-й міжнародній науково-практичній конференції “Якість, стандартизація, контроль: теорія і практика”(2003 р., 2004 р.), на 13-й міжнародній науково-практичній конференції “Сучасні інформаційні та енергозберігаючі технології життєзабезпечення людини” (2003 р.), на 4-му міжнародному науково-технічному семінарі “Сучасні проблеми підготовки виробництва, заготівельного виробництва, обробки та збірки в машинобудуванні та приладобудуванні ” (2004 р.), на 6-й щорічній міжнародній конференції „Розбудова бізнес менеджмент освіти” - “Менеджмент та бізнес - освіта України в глобальному конкурентному середовищі” (2005 р.), на 2-й міжнародній конференції „Стратегія якості в промисловості та освіті” (м. Варна, Болгарія, 2006 р.), а також на науково-методичних семінарах кафедри метрології, стандартизації та сертифікації Київського національного університету технологій та дизайну.

Публікації. За результатами досліджень опубліковано 13 робіт, у тому числі 5 статей у наукових спеціалізованих виданнях ВАК України.

Структура та об'єм роботи. Дисертаційна робота складається із вступу, 4 розділів, висновків, списку використаної літератури. Робота містить 202 сторінки: з них друкованого тексту на 170 сторінках, рисунків - 29, таблиць - 18 та додатків - 12. Список використаних літературних джерел містить 171 назву.

ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність розробленої наукової проблеми, подано коротку характеристику загального стану і методів її вирішення. Відмічено наукову новизну та практичну цінність отриманих результатів.

У першому розділі проведено аналіз вітчизняного та зарубіжного досвіду в області визначення якості роботи ВНЗ як складної системи, на основі праць Згуровського М.З., Панкратової Н.Д., Короткова В.А., Одерія Л.П., Адлера Ю.П., Сендхолма Л. та інших вчених, який дав можливість оцінити переваги та недоліки існуючих методів оцінки якості знань студентів та якості викладання навчальних дисциплін в ВНЗ.

Оскільки існуючі методи визначення якості освіти студентів, викладання навчальних дисциплін базуються здебільшого на рейтингових оцінках, вони не дають об’єктивної оцінки навчального процесу як взаємодії його учасників. Для забезпечення високого рівня якості знань та викладання дисциплін в ВНЗ необхідно розглядати ВНЗ як складну систему і вивчати навчальний процес як підсистему із складними зв’язками. Тому особливо актуальним завданням на сьогодні є питання вивчення і оцінки функціональної залежності якості знань студентів від якості викладання навчальних дисциплін та методів управління якістю освіти, зокрема удосконалення навчального процесу, що неможливе без застосування прогнозно-математичного апарату. Процес удосконалення освіти потребує застосування таких методів прогнозування, які визначають тенденцію динаміки показників якості у часі та враховують специфіку кожного ВНЗ окремо - методів математично-прогностичного моделювання. При чому, здебільшого доцільно використовувати методи короткострокового або оперативного прогнозування з метою оперативного управління якістю навчального процесу.

Прийняття оперативних управлінських рішень на рівні складної системи потребує використання новітніх комп’ютерних технологій та методів штучного інтелекту, які б дозволили обирати виважене коригувальне управлінське рішення за обмежений проміжок часу. Дослідження, проведені Орловим А.І., Єгоровим Н.В., Глущенко В.В., Ларічевим О.І., Сааті Т., Тоценко В.Г. та іншими вченими, показали , що теорія штучного інтелекту успішно застосовується для створення бази знань та даних, які дозволяють структурувати інформацію та в автоматизованому режимі використовувати її для прийняття оперативних управлінських коригувальних рішень. Однак використання таких технологій в ВНЗ ускладнено через відсутність нормативної документації, методів та методик з оцінки якості освіти за допомогою прогнозно- математичних моделей, з удосконалення навчального процесу з використанням штучного інтелекту, з структурування інформації в ВНЗ і створення баз даних та знань, наповнення їх за допомогою експертних правил, комп’ютерних інтелектуальних програм, що дозволяють легко і швидко реагувати на зміни якості знань та викладання, інформаційного середовища ВНЗ та приймати оперативні коригувальні управлінські рішення.

Таким чином, проведений аналіз науково-технічної літератури дав можливість сформулювати мету і задачі досліджень, вирішення яких забезпечить постійне удосконалення навчального процесу і підвищення якості освіти в ВНЗ.

У другому розділі на основі системного підходу, ієрархічних систем прийняття рішень та об’єктно-орiєнтованого аналізу з використанням методів штучного інтелекту розроблено математичну модель удосконалення навчального процесу.

Процес удосконалення об’єкту “навчання” розчленовується на визначене число якісно різних процесів, формуючих поняття “клас удосконалюючих процесів От” , серед яких, наприклад, можна виділити такі: додаткові лекції, практичні заняття, семінари, наукові конференції, самостійна робота з використанням інформаційних технологій, розробка навчально-методичних матеріалів та ін. Зміна якісного і/або кількісного складу процесів, застосованих до одного й того ж об’єкта, викликає зміну структури S процесу. Це положення справедливе і для всіх інших складноструктурованих об’єктів удосконалення.

Для кожного складноструктурованого об’єкту удосконалення існує декілька способів декомпозиції його на окремі підоб’єкти і окремі елементи. Спосіб декомпозиції і ступінь деталізації визначається цільовою установкою поставленої задачі щодо досягнення необхідних показників якості об’єкту, що удосконалюється. Правильна початкова декомпозиція об’єкту удосконалення дозволяє найбільш раціонально вирішувати задачі синтезу і аналізу. Для однозначного задання структури S об’єкта удосконалення (ОУ) необхідно вказати спосіб його декомпозиції.

Традиційний досвід удосконалення навчального процесу (НП) визначає ступінь його необхідної деталізації на передбачені діючими державними стандартами поняття: організація навчального процесу, організаційний захід – процес, організаційна дія - підпроцес, робочий і допоміжні елементи. Найбільш загальне представлення про НП дає послідовність виконання окремих заходів навчального процесу - послідовність M удосконалення об’єкта, яка визначає необхідну послідовність виконання процесів ,тобто M=-<-< ...-< (1)

де “ - <” - символ передування.

Кожний процес зі свого боку визначає послідовність виконання підпроцесів , тобто = - < - < ... - < (2)

Нарешті, окремий підпроцес при необхідності розбивається на елементарні складові, які називаються робочими або допоміжними елементами , тобто

= - < - < ... - < . (3)

Вирази (1)-(3) в сукупності визначають макроструктуру процесу удосконалення. Кожному способу декомпозиції відповідає визначений тип взаємозв’язків елементів об’єкта удосконалення - своя форма цілісності.

Цілісність - це друга властивість структури S. Цілісність характеризується відношеннями (зв’язками) складових елементів, завдяки чому об’єкти і процеси виступають як єдине ціле. Відношення внутрішні (відношення зв’язку) Rx між елементами, підоб’єктами залежать від природи взаємодіючих елементів.

Відношення взаємозв’язку основних структурних елементів удосконалення навчального процесу може бути задане за допомогою графа S (, ) (рис.1),

Рис.1 Структурна модель об’єкту удосконалення - процесу навчання.

множина вершин якого ізоморфна процесам , підпроцесам , прийомам та ін., а множина дуг -відношенням , , , які відображають впорядкованість частин удосконалення навчального процесу (НП). Відношення () означає одночасність виконання елементів процесу удосконалення i і , а відношення - зсув в часі початку виконання відносно. Величина зсуву може бути довільною, але не повинна перевищувати час t виконання процесу , тобто 0 < < .

Якщо t =, то отримаємо послідовний метод суміщення, а при t = 0 - паралельний метод суміщення об’єктів (процесів, підпроцесів, елементів та ін.).

Поряд з тимчасовою впорядкованістю структурні елементи процесу (процеси, складні і прості підпроцеси, елементи-прийоми) пов’язані розмірними ланцюгами, які утворюють граф міжопераційних розмірів процеса удосконалення об’єкта.

Протиріччя декомпозиції і цілісності навчального процесу характеризується своєрідною ступінчастістю, яка розповсюджується в кожному об’єкті удосконалення на визначену глибину. Застосувавши до початкового об’єкту удосконалення визначений спосіб декомпозиції Р , отримаємо множину підоб’єктів першого рівня { , , ......, }. Враховуючи, що на верхньому рівні розглядався елемент класу об’єктів удосконалення - навчальний процес (на макрорівні), в результаті отримана множина, що формує підклас об’єктів удосконалення – процесів удосконалення. Підклас процесів є складноструктурованим підкласом, який структурується не тільки по вертикалі, але й по горизонталі і включає такі групи, як процеси приймання абітурієнтів, проведення навчальних занять, контроль, захист дипломних проектів та ін. Групи процесів поділяються в свою чергу на підгрупи процесів більш деталізованих та ін. Класифікація і групування об’єктів - методів удосконалення - базуються на діючих державних стандартах, вимогах систем менеджменту якості тощо.

Застосувавши вказаний спосіб для кожного підоб’єкта - процесу удосконалення - отримаємо підоб’єкти другого рівня – підпроцеси удосконалення: {, , ... , }.

Підклас підпроцесів може також, як і підклас більш верхнього рівня - процесів удосконалення- розчленуватися по горизонталі і по вертикалі. Математична модель удосконалення процесу навчання виглядає так:

Процес удосконалення:

де - < - символ передування.

Послiдовнiсть підпроцесів :

Послiдовнiсть елементарних прийомів:

,

де - елементарна функція автоматизації

;

. . . . . . . . . . . . . . . . . . . . . . . . .

.

Комплексний пiдхiд до методології удосконалення навчального процесу на структурному рiвнi подано на рис.2.

Рис.2 Модель автоматизації процесу удосконалення якості освіти як предмет дослідження.

Як відомо, основу штучного інтелекту будь-якої системи складає база знань і даних в сукупності з методами їх інтерпретації, використання і пiдтримки прийняття або прийняття управлінських рішень.

Для формування елементів бази даних та бази знань використовується неформальна процедура - „експертне правило” - особливий спосіб представлення знань, а саме:

"ЯКЩО {OPj} - ЛОГІЧНІ ОПЕРАЦІЇ {OOl} - ТО {Rk}", де

{OРj} - умови експертних правил

{OOl} - логiчнi операції

{Rk} - результати

Частинною задачею процесу удосконалення якості навчання є вибір методу вимірювання якості навчального процесу, визначення тенденції його динаміки та розробка і впровадження виважених оперативних управлінських запобіжних та коригувальних рішень. Для вирішення цієї проблеми використовується метод прогностичного апарату, а саме метод побудови прогнозно-математичних моделей.

За аналізом характеристик сучасних методів прогнозування і за специфікою діяльності ВНЗ до найбільш доцільних методів можна віднести оперативні та короткострокові (півроку, рік), що відповідають таким навчальним періодам як семестр, курс, і являють собою прогнозно-математичні моделі, що визнані найбільш точними методами прогнозування.

В зв’язку з цим у другому розділі надається інтегрована модель оцінки якості освіти (рис.3) та теоретично обґрунтовується доцільність застосування методів побудови прогнозно-математичних моделей для вирішення задач, сформульованих в меті дослідження.

Рис. 3. Інтегрована модель управління якістю роботи ВНЗ методом науково-технічного прогнозування (НТП) на основі стандарту ISO 9001:2000, моделі досконалості ЄФУЯ

В дослідженні використовувались показники успішності студентів всіх груп 1-3 курсів за трьома спеціальностями - менеджмент організацій, фінанси, маркетинг, а також показники якості викладання дисциплін, отримані в результаті анкетування студентів зазначених груп.

Для дослідження зв’язку між якістю викладання дисциплін і якістю знань студентів, а також з метою попереднього обґрунтування наукової доцільності вибору складу змінних моделі було проведено перевірку гіпотези, що викладач є статистично значимим фактором, який впливає на оцінки групи. При цьому припускалося, що групи однорідні, тобто сформовані таким чином, що особливості групи суттєво не впливають на рівень оцінок. Для перевірки використовувався дисперсійний аналіз з нерівномірною кількістю дослідів та F-критерій Фішера:

, (4)

де n- загальна кількість спостережень, m – число параметрів рівняння регресії, R2 – коефіцієнт детермінації.

Для побудови прогностичних моделей для ВНЗ було сформовано масиви вхідних даних, які відповідають вимогам: вимірюються в однакових одиницях; розраховуються за єдиною

методологією; включають єдине коло об’єктів; характеризують зміну явища у часі.

Відомо, що для забезпечення точності та перевірки достовірності прогнозу доцільно використовувати в якості регресійних декілька функцій. Для побудови прогнозно-математичних моделей, що визначають тенденцію зміни в часі успішності студентів, було використано такі функції:

Показникову

(5)

Степеневу

(6)

Обчислення параметрів рівняння регресії, що визначене відповідною функцією, проводиться методом найменших квадратів, основною умовою якого є мiнiмiзацiя суми квадратів відхилень емпіричних значень від теоретичних і отримання найкращих оцінок параметрів б i b.

(7)

Для визначення тісноти зв’язку було використано кореляційно-регресійний аналіз(КРА).

Перевірку істотності зв’язку в КРА здійснюють за допомогою F –критерію Фішера.

Метод найменших квадратів і процедура підбору лінії регресії повністю переносяться і на рівняння регресії, що має вигляд степеневої і показникової функції.

Для побудови багатофакторної моделі, яка описує зв’язок між якістю викладання предмету та якістю знань студентів використовувалась функція:

Через труднощі обґрунтування форми зв’язку використовують багатофакторні рівняння і рівняння, що приводяться до лінійних відповідними перетвореннями.

(8)

Розв’язання такого рівняння регресії можна здійснити також за методом найменших квадратів.

Перевірка адекватності багатофакторної моделі здійснюється перевіркою нуль-гіпотези для множинного коефіцієнта кореляції за критерієм Стьюдента:

: (9)

Якщо , де - рівень значущості, k=n-m-1 – степені вільності, то приймається нульова гіпотеза, тобто зв’язок не існує. В протилежному випадку модель адекватна і зв’язок існує.

У третьому розділі за наведеними теоретичними викладками було проведено дослідження і побудовано прогнозно-математичні моделі на реальних даних вищого навчального закладу. Аналіз літературних джерел та практичного досвіду показав, що доцільно перевіряти достовірність прогнозу за допомогою побудови декількох прогнозно-математичних моделей. Якщо їх результати будуть щільними, це означатиме, що прогнози побудовано точно.

З огляду на це було побудовано спектр прогнозно-математичних моделей на основі двох функцій: показникової та степеневої - за вихідними даними, що складаються з середнього балу атестату та середніх балів першого і другого рубіжних контролів, для прогнозування оцінки на сесії (табл.1).

Таблиця 1.

Оцінки вхідного контролю та результати першої сесії досліджуваної групи

Середній бал групи | Середній бал атестату | Оцінки першого рубіжного контролю | Оцінки другого рубіжного контролі | Результати сесії

(фактичне значення)

4.04 | 4.40 | 4.60 | 4.30

3.79 | 4.00 | 4.80 | 4.30

3.00 | 3.30 | 1.70 | 3.00

3.75 | 4.10 | 4.10 | 4.00

3.71 | 3.70 | 1.80 | 3.30

3.92 | 4.20 | 4.20 | 4.30

4.17 | 4.40 | 3.80 | 4.00

3.17 | 3.80 | 4.00 | 4.00

4.46 | 4.90 | 4.80 | 5.00

4.67 | 4.70 | 4.90 | 5.00

4.13 | 4.90 | 5.00 | 5.00

Середній бал | 3.92 | 4.20 | 4.20 | 4.30

Коефіцієнти та характеристики моделей наведені в табл.2.

Таблиця 2.

Коефіцієнти та характеристики моделей

Моделі прогнозів | Характеристики моделі

Коефіцієнти | b0 | b1 | Залишкова дисперсія | Множинний коефіцієнт кореляції

Показникова | 3,826535 | 0,034922 | 0,013863 | 0,999505

Степенева | 3,941028 | 0,067579 | 0,007493 | 0,999747

Моделі мають наступний вигляд:

Показникова (10)

Степенева (11)

В табл.3. наведені показники апроксимації та прогнозу за моделями (10), (11).

Таблиця 3.

Результати апроксимації та прогнозу тенденції зміни показників

Функція

Прогнозні значення | Вересень

t=1 | Жовтень

t=2 | Листопад

t=3 | Грудень

t=4 | Відносне відхилення прогнозу

(в %)

Показникова3,964,104,254,402,33

Степенева3,944,134,244,330,65

Фактично3,924,204,204,30

За процентним значенням відносних відхилень прогнозу можна зробити висновок, що побудовані прогнозно-математичні моделі є досить точними. Отже, за кожною з них можна побудувати прогноз з метою визначення тенденції зміни рівня якості знань студентів в залежності від рівня якості знань, виявленого під час вхідного контролю, або, узагальнюючи, від успішності в попередні навчальні періоди. На рис.5 показані графіки тенденції динаміки фактичних значень результативної ознаки та тенденції динаміки результатів всіх трьох прогнозів.

Рис. 4. Графічна інтерпретація прогнозів за трьома моделями.

Далі було побудовано прогнозно - математичну модель, яка описує залежність успішності студентів від якості викладання навчальних дисциплін, на основі даних оцінки якості викладання та якості знань студентів за досліджуваним предметом (табл.4), з використанням програмного засобу ПРІАМ. Була отримана математична модель, яка описує залежність оцінки на екзаменах від рівня роботи викладача та рівня підготовки групи.

Таблиця 4.

Оцінки якості викладання предмету та якості знань студентів.

Рейтинг викладача (бали) | Рейтинг групи (бали) | Бал групи з предмету

55 | 3,90 | 3,58

100 | 3,90 | 4,16

100 | 3,90 | 4,04

55 | 3,90 | 3,78

79 | 3,90 | 4,32

85 | 3,10 | 3,50

90 | 3,10 | 4,44

80 | 3,10 | 3,88

10 | 3,10 | 3,50

80 | 3,10 | 4,11

98 | 3,80 | 4,22

100 | 3,80 | 4,09

80 | 3,80 | 4,13

100 | 3,80 | 4,70

Отримана модель має вигляд:

Y = 4.02555+1.12948x1 - 0.0796944z2 - 0.552264z1x2 (12)

де

x1 = 0.0144033(X1 -79.4286);

z1 = 3.18489(x12+0.564576x1-0.121442);

x2 = 2.05882(X2 -3.58571);

z2 = 5.47667(x22 + 0.419457x2-0.562284);

Після підстановок маємо:

(13)

Модель адекватна (> ), інформативна (R=0.747; ), з задовільною стійкістю (число обумовленості - 2,32) (табл.5).

Таблиця 5.

Таблиця статистичних характеристик

Ім’я/номер

коефіцієнта | Коефіцієнт

регресії | Стандартна помилка

коефіцієнта регресії | Обчислене

t значення | Доля участі

1.12948 | 0.16095 | 2.44553 | 0.439158

-0.0796944 | 0.076561 | -0.709272 | 0.0396225

-0.552264 | 0.149314 | -1.33291 | 0.0786325

Аналіз статистичних характеристик коефіцієнтів моделі показує, що впливом викладача пояснюється успішність на 43,9%, впливом підготовки групи – на 4,0%, а взаємодією викладача та групи 7,9%. На рис.5 надано поверхню відгуку за побудованою моделлю.

Рис. 5. Графік тенденції зміни показників успішності в залежності від якості викладання навчальних дисциплін та підготовленості групи.

Оскільки наша задача полягає в визначенні тенденції зміни рівня якості знань в залежності від зміни рівня якості викладання навчальних дисциплін, необхідно побудувати окремо прогноз тенденції зміни якості викладання() та прогноз тенденції зміни якості знань студентів() в часі на короткостроковий період(семестр, рік). Для цього можна використати методику побудови прогнозно-математичної моделі за однією з функцій – степеневою або показниковою – і обрахувати прогнозне значення на потрібний період упередження прогнозу t.=1, 2,…. З метою спрощення розрахунків можна скористатись стандартною функцією Forecast(x,Y) з пакету MS Excel будь-якої редакції. Далі, використовуючи прогнозно-математичну модель (13) і прогнозні значення і , можна визначити прогнозне значення успішності студентів на зазначений період t.

Аналіз тенденції зміни показників рівня якості підготовки до сесії, рівня якості викладання та рівня якості успішності дає можливість приймати оперативні управлінські рішення і досягати запланованого рівня якості перелічених показників.

В четвертому розділі На основі результатів експериментального впровадження методів науково-технічного прогнозування для оцінки якості роботи ВНЗ та використання їх в інтегральній інтелектуальній комп’ютерній технології удосконалення навчального процесу було розроблено методологічну схему рекомендацій щодо застосування досвіду КІІМ іншими організаціями, які надають освітні послуги, відносно: формування масивів даних для прогнозно-математичних моделей, наповнення бази даних та бази знань, побудови прогнозів з використанням розробленої комп’ютерної програми (рис.6), визначення оптимального управлінського рішення за результатами прогнозу за допомогою математичної моделі удосконалення навчального процесу.

Використовуючи функціонально-вартісний аналіз та результати оцінки математичної моделі залежності успішності від якості викладання дисциплін, можна підрахувати коефіцієнт зниження поточних витрат на якість (табл.6).

Таблиця 6

Розподіл витрат на функції, що впливають на якість освіти

Ранг функції | Значимість, % | Питома вага в загальних витратах, % | Коефіцієнт (К) витрат на функцію

1 Викладач | 43,9 | 40 | 0,911162

2 Студент | 7,9 | 0 | 0

3 Інфраструктура | 48,2 | 60 (з них 20 –адм.) | 1,5

Оптимальним значенням є: ( краще, ніж )

Як бачимо з розрахунків, необхідно шукати шляхи здешевлення витрат на утримання адміністративного сектору та інфраструктури.

Для визначення результативності і ефективності коригувальних та запобіжних дій було використано адаптовану до умов і специфіки ВНЗ універсальну методику, за якою розраховано, що проведення управлінських запобіжних дій за результатами прогнозування згідно розроблених методик удосконалення навчального процесу середня швидкість зростання показника результативності становить 6,7 %, а показника ефективності – 4%.

.

Рис.6. Алгоритм програми оцінки і удосконалення якості навчального процесу в ВНЗ.

Виділений блок містить в собі алгоритм пошуку виваженого рішення за допомогою використання бази даних і бази знань (БДтаЗ).

ВИСНОВКИ

В дисертації, присвяченій розкриттю закономірностей в оцінці якості навчального процесу в ВНЗ за допомогою механізму короткострокового прогнозування і створення інтелектуальної інформаційної технології удосконалення навчального процесу, досягнуті поставлені цілі. Для цього, на основі аналізу вітчизняного та зарубіжного досвіду в області визначення якості роботи ВНЗ, знайдено напрямки її удосконалення та вирішено задачі:

1. Розроблено (на основі загальних правил та методик удосконалення навчального процесу) новий формалізований метод і теоретичні положення процесу моніторингу і системного аналізу навчального процесу в ВНЗ з метою його постійного удосконалення на основі математичних моделей з використанням методів штучного інтелекту, що дозволяє скоротити час на прийняття коригувальних управлінських рішень та підвищити продуктивність праці персоналу.

2. Запропоновано (на основі загальних правил математично-прогностичного апарату) метод побудови прогностичних математичних моделей оцінки якості освіти в ВНЗ, призначених для отримання оперативної прогнозної інформації щодо тенденції навчального процесу та вирішення задачі оперативного удосконалення якості освіти.

3. Запропоновано спосіб структурування інформації та створення бази даних і бази знань щодо оцінки якості освіти в ВНЗ з використанням можливостей штучного інтелекту для аналізу та підготовки управлінських рішень, що наповнюють відповідну базу даних.

4. Розроблено та реалізовано гнучку інтелектуальну технологію удосконалення навчального процесу на основі методики, яка базується на сучасних високоефективних комп’ютерних засобах та технологіях штучного інтелекту, що дозволяє швидко та легко реагувати на зміни в якості навчального процесу в ВНЗ.

5. На основі розробленого методу, моделей, алгоритмів, методик та інтелектуальної технології удосконалення навчального процесу створено програмні модулі обробки інформації та здійснено їх практичне впровадження.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1 Головко Д.Б., Пархоменко Н.А. Определение качества ВНЗ методом экпертных оценок.// Вимірювальна та обчислювальна техніка в технологічних процесах. -Хмельницький, 2003.- №1(21),-с.182-186.

2 Хімічева Г.І., Пархоменко Н.О. Розробка прогнозно-математичної моделі оцінки якості роботи ВНЗ з урахуванням вимог споживачів.// Вимірювальна та обчислювальна техніка в технологічних процессах.- Хмельницький:- 2004.- №1 (21).- с. 174-178

3 Головко Д.Б., Пархоменко Н.О. Удосконалення системи оцінки якості базової підготовки студентів в узагальненій структурі державних і приватних ВНЗ з використанням інформаційних технологій.// Вісник Київського національного університету технологій та дизайну. – 2006, №3. -с.115-121.

4 Ступа В.І., Пархоменко Н.О., Деміденко О.О. Оцінка якості знань студентів в форматі ДСТУ ISO 9001// Проблеми інженерно-педагогічної освіти. -2006.- №13.- с.195-206

5 Н. Пархоменко. Науково-технічне прогнозування як індикатор перспективних напрямків розвитку сучасного вищого навчального закладу.// Вісник Львівського даржавного аграрного університету: Агроінженерні дослідження.-Львів: Львів. держ. агроуніверситет, 2006.-№10, с.535-539

6 Головко Д.Б., Пархоменко Н.А. Механизмы для оценивания качества работы высших учебных заведений на основе прогнозирования.// Материалы 4-й Международной научно-технического семинара ”Современные проблемы подготовки производства, заготовительного производства, обработки и сборки в машиностроении и приборостроении”. –К.:, АТМ Украины, 2004.-с. 40-41.

7 Головко Д.Б. Пархоменко Н.А. Прогнозирование тенденции качества знаний студентов вузов.// Сборник научных трудов. “Экологическая безопасность продукции и окружающей среды - потребность общества”. К., 2003. Вып. №1, -с.19-23.

8 Головко Д.Б., Пархоменко Н.А. Сертификация системи менеджмента качества в формате SGS// Збірник наукових праць “Сучасні інформаційні та енргозберігаючі технології життєзабезпечення людини”. -К.: 2004. -Вип. 1. -c.112-114.

9 Головко Д.Б., Пархоменко Н.О. Оцінка якості освіти в вищому навчальному закладі.// Збірник наукових праць “Сучасні інформаційні та енергозберігаючі технології життєзабезпечення людини”. -К.:- 2003. Вип.13, -c.301-303.

10 Головко Д.Б., Пархоменко Н.О. Управління якістю освіти в ВНЗ у форматі упередження бажань споживачів.// Материалы 4-й Международной научно-практической конференции “Качество, стандартизация, контроль: теория и практика”. –К.: АТМ Украины, 2003.-с.28-30.

11 Головко Д.Б., Пархоменко Н.А. Анализ методов обработки экспертных оценок.// Качество, стандартизация, контроль: теория и практика. Материалы III-й Международной научно-практической конференции. - К.: АТМ Украины, 2003.-с.32-35.

12 Пархоменко Н.О. Навчання персоналу питанням якості - запорука успіху в ринкових умовах.// Світ якості України, К.,- 2004, № 1/05, с.26-27.

13 Пархоменко Н.А. Опыт совершенствования сертифицированной международным органом SGS системы менеджмента качества в соответствии с требованиями стандарта ISO 9001:2000 в вузе.// Сборник материалов II Международной конференции “Стратегия качества в промышленности и образовании”. – Варна:- 2006.- т.2.- стр.338-342.

АНОТАЦІЯ

Пархоменко Н.О. Розробка оцінки якості навчального процесу в вищому навчальному закладі методом науково-технічного прогнозування. –Рукопис.

Дисертація на здобуття вченого ступеня кандидата технічних наук за спеціальністю 05.01.02 – “Стандартизація і сертифікація”. Київський національний університет технології і дизайну. Київ, 2007.

Дисертація присвячена вирішенню проблем у сфері забезпечення якості навчального процесу в ВНЗ за допомогою розробки механізму короткострокового прогнозування і створення інтелектуальної інформаційної технології удосконалення навчального процесу як інструменту управління якістю освіти.

У дисертації розроблено новий формалізований метод і теоретичні положення процесу моніторингу і системного аналізу навчального процесу в ВНЗ, запропоновано метод побудови прогностичних математичних моделей оцінки якості освіти в ВНЗ, запропоновано спосіб структурування інформації та створення бази даних і бази знань щодо оцінки якості освіти в ВНЗ з використанням можливостей штучного інтелекту, розроблено та реалізовано гнучку інтелектуальну технологію удосконалення навчального процесу на основі методики, яка базується на сучасних високоефективних комп’ютерних засобах та технологіях штучного інтелекту, що дозволяє швидко та легко реагувати на зміни в якості навчального процесу в ВНЗ.

На основі розробленого методу, моделей, алгоритмів, методик та інтелектуальної технології удосконалення навчального процесу створено програмні модулі обробки інформації та здійснено їх практичне впровадження.

Ключові слова: якість, конкурентоспроможність, прогнозування, прогнозно-математична модель, адекватність, удосконалення процесу, управління якістю, тенденція, динаміка, забезпечення якості, бази даних, бази знань, експертне правило, штучний інтелект.

АННОТАЦИЯ

Пархоменко Н.А. Разработка оценки качества учебного процесса в высшем учебном заведении методом научно-технического прогнозирования. –Рукопись.

Дисертация на соискание ученой степени кандидата технических наук по специальности 05.01.02 – “Стандартизация и сертификация”. Киевский национальный университет технологии и дизайна. Киев, 2007.

Дисертация посвящена решению проблем в сфере обеспечения качества учебного процесса в ВУЗ с помощью разработки механизма краткосрочного прогнозирования и создания интеллектуальной информационной технологии усовершенствования учебного процесса как инструмента управления качеством образования.

В диссертации разработан новый формализованный метод и теоретические положения процесса мониторинга и системного анализа учебного процесса в ВУЗ, предложен метод построения прогностических математических моделей оценки качества образования в ВУЗ, предложен способ структурирования информации и создания базы данных и базы знаний для оценки качества учебного процесса в ВУЗ с использованием возможностей искусственного интеллекта, разработана и реализована гибкая интеллектуальная технология усовершенствования учебного процесса на основе методики, которая базируется на современных высокоэффективных компьютерных средствах и технологиях искусственного интеллекта, позволяющих быстро и легко реагировать на изменения в качестве учебного процесса в ВУЗ.

На основе разработанного метода, моделей, алгоритмов, методик и интеллектуальной технологии усовершенствования учебного процесса созданы программные модули обработки информации и осуществлено их практическое внедрение.

Ключевые слова: качество, конкурентоспособность, прогнозирование, прогнозно-математическая модель, адекватность, усовершенствование процесса, управление качеством, тенденция, динамика, обеспечение качества, базы данных, базы знаний, экспертное правило, искусственный интеллект.

SUMMARY

Parkhomenko Nataliya A. "Тне development of an estimation of quality of educational process in HIGHER SCHOOL by the method of scientific and technical forecasting".

The thesis for degree of Candidate of Technical Science in the speciality 05.01.02 – standartization and certification. Kyiv national university of technologies and design. Kyiv, 2007.

The thesis is dedicate to permission of actual problem in quality guaranteeing sphere of education in Higher School by using the methods of scientific and technical forecasting. The scientific researches gave the possibility to use the statistical methods for analysing the existing levels of knowledges and to propose the prognostic-mathematical models for development short-term prognosis, which help to defined the tendency of dynamic