ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

КОДЖА ТЕТЯНА ІВАНІВНА

УДК 681.3:378.146

АВТОМАТИЗОВАНА СИСТЕМА УПРАВЛІННЯ ТА КОНТРОЛЮ ЗНАНЬ В ПРОЦЕСІ НАВЧАННЯ

Спеціальність 05.13.06 – Автоматизовані системи управління та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Одеса – 2003

Дисертацією є рукопис

Робота виконана в Одеському національному політехнічному університеті Міністерства освіти і науки України на кафедрі “Охорона праці та безпека життєдіяльності”

Науковий керівник: доктор технічних наук, професор

Гогунський Віктор Дмитрович,

Одеський національний політехнічний університет,

завідувач кафедри “Охорона праці та безпека життєдіяльності”

Офіційні опоненти: доктор технічних наук, професор

Козак Юрій Олександрович,

Одеська національна академія зв’язку,

завiдувач кафедри інформатизації та управління

кандидат технічних наук, доцент

Мещеряков Володимир Іванович,

Одеська державна академiя холоду,

завідувач кафедри систем автоматизованого проектування

Провідна установа: Національний технічний університет України

“Харківський політехнічний інститут”,

кафедра комп’ютерної математики та математичного моделювання, Міністерство освіти і науки України, м. Харків

Захист відбудеться “ 25 ” вересня 2003 р. о 1330 годині на засіданні спеціалізованої вченої ради Д 41.052.01 в Одеському національному політехнічному університеті за адресою: 65044, м. Одеса, пр. Шевченка, 1, ауд. 400-А.

З дисертацією можна ознайомитися в бібліотеці Одеського національного політехнічного університету за адресою: 65044, м. Одеса, пр. Шевченка, 1.

Автореферат розісланий “ 22 ” серпня 2003 р.

Вчений секретар

спеціалізованої вченої ради Ямпольський Ю.С.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Досягнення в галузі телекомунікаційних технологій та обчислювальних мереж забезпечують необхідні технічні можливості для розробки та впровадження в систему освіти сучасних інформаційних технологій. Найбільш істотним внеском у вирішення цих задач є застосування автоматизованих систем навчання і контролю знань.

Актуальність теми. Інтенсивний розвиток процесу інформатизації системи освіти є важливою складовою комплексної національної програми України. При переході від локальних навчальних систем до дистанційних якісно змінюються їхні функціональні можливості, які дозволяють значно розширити коло користувачів, зробити спілкування між тими, хто навчається, і викладачем більш інтенсивним. Організація дистанційної автоматизованої навчальної системи (ДАНС) вимагає пророблення мережних аспектів, зв'язаних з наданням віддаленого доступу до системи, раціональним використанням часу і ресурсів мережі для управління і контролю знань. При створенні ДАНС однією з найбільш важливих задач є організація об'єктивного і надійного контролю знань. Більшість існуючих систем контролю знань мають обмежену кількість форм представлення відповідей (звичайно, вибіркових) і двобальну систему оцінки. Це обумовлено простотою аналізу вибіркових відповідей і відсутністю формальних методів диференційованої оцінки якості засвоєння навчального матеріалу. Тому актуальним стає створення методологічних основ моделювання автоматизованих систем управління навчанням і контролю знань, адекватних сучасним тенденціям розвитку інформаційних технологій і дидактичним принципам організації та проведення навчальної роботи.

Зв’язок роботи с науковими програмами, планами, темами. Дисертаційна робота виконувалася відповідно до НДР кафедри охорони праці та безпеки життєдіяльності Одеського національного політехнічного університету № 385-32 “Методи і напрямки удосконалення охорони праці. Розробка автоматизованої системи тестування працюючих при проведенні інструктажів”.

Метою дисертаційної роботи є підвищення рівня підготовки фахівців за рахунок впровадження нових інформаційних технологій для забезпечення об'єктивного контролю знань на основі диференційованої оцінки відповідей тих, хто навчається.

Відповідно до поставленої мети в роботі вирішуються наступні задачі:

—

розробка методики, алгоритмів і програм для диференційованої оцінки результатів тестування з використанням методологічного апарату алгебри нечітких множин;

—

—

—

Об'єкт дослідження — комп'ютерна система автоматизованого контролю знань.

Предмет дослідження — методологічні основи та інструментальні засоби створення автоматизованої системи управління і контролю рівня засвоєння знань.

Методи дослідження. Для досягнення мети і задач, поставлених в роботі, використовувалися методи теорії нечітких множин, теорії ймовірностей і математичної статистики, комбінаторики. Оцінка якості функціонування автоматизованої системи контролю рівня засвоєння знань проводилася шляхом натурного експерименту в реальних умовах мережі комп'ютерного класу.

Наукова новизна отриманих результатів:—

дістали подальшого розвитку принципи побудови спеціалізованих баз даних тестових завдань, які відрізняються від існуючих адаптацією до рівня знань;—

розроблено метод диференційованого аналізу результатів тестування на основі нечіткої логіки, що дозволяє підвищити об'єктивність результатів комп’ютерного тестування;—

експериментально визначена залежність результатів тестування від числа спроб проходження тестів, яка свідчить, що рівень засвоєння знань підвищується у разі створення умов самонавчання;

—

вперше запропоновано алгоритм індивідуальної адаптації системи комп'ютерного тестування до рівня знань того, хто навчається, по числу питань, що задаються.

Практичне значення отриманих результатів. Розроблене програмно-технічне забезпечення та інструментальні засоби системи автоматизованого контролю знань дозволяють створювати тести для контролю навчального матеріалу різних предметних галузей відповідно до рівнів засвоєння, а також набутого досвіду в процесі навчання.

Формування умов самонавчання при тестуванні дозволяє підвищити ступінь засвоєння навчального матеріалу: після п'ятої спроби проходження тесту результати тестування поліпшуються в середньому з 1,8 до 3,4 за 5-бальною шкалою оцінок.

Запропонований алгоритм динамічної обробки та аналізу відповідей безпосередньо в процесі тестування, який коректує кількість питань, що задаються, у залежності від поточної середньої оцінки, дозволяє скоротити час тестування, а при ДН зменшити час використання ресурсів мережі для обміну інформацією.

Розроблений програмний продукт “Автоматизована система контролю знань” (АСКЗ) використовується в навчальному процесі для студентів Інституту промислових технологій, дизайну та менеджменту в рамках курсів “Інформатика, основи програмування та використання ЕОМ”, “Основи екології”, “Охорона праці”, “Використання ЕОМ в інженерній практиці”, а також для студентів Південноукраїнського відділення Міжрегіональної академії управління персоналом.

Особистий внесок здобувача. В роботі [1] виконаний аналіз ефективності формування умов самонавчання при впровадженні АСКЗ в навчальний процес; в роботі [2] виконана кластеризація послідовностей відповідей і визначена достатня кількість питань для об'єктивної оцінки результатів тестування; в роботі [3] розроблена структурна схема програмного забезпечення АСКЗ і виконаний аналіз ефективності застосування зворотного зв'язку в процесі контролю знань; в роботах [4, 5, 6] запропоновані алгоритми і методи оцінки рівня засвоєння знань на основі теорії нечітких множин; в роботі [7] запропонований принцип формування моделей тестових завдань засобами комп’ютерного представлення знань, запропонована методика розрахунку ймовірностей випадкового і навмисного угадування частково правильних відповідей.

Апробація результатів дисертації. Основні положення і результати дисертаційної роботи доповідалися та обговорювалися на семінарі “Моделювання в прикладних наукових дослідженнях” (Одеса, 2001), на конференції “Комп’ютерне моделювання та інформаційні технології в науці, економіці та освіті” (Кривий Ріг, 2001), на міжнародній науково-технічній конференції “Автоматика-2001” (Одеса), на науково-технічній конференції “Енергозбереження в системах опалення, вентиляції та кондиціонування” (Одеса, 2003), на 38-й науковій конференції молодих дослідників ОПУ-магістрантів “Сучасні інформаційні технології та телекомунікаційні мережі” (Одеса, 2003).

Публікації. Результати дисертації опубліковані в 3-х статтях в збірниках наукових праць, рекомендованих ВАК України, і в 5-ти матеріалах і тезах конференцій та семінарів.

Структура дисертації. Дисертація складається з вступу, чотирьох розділів та шести додатків. Повний обсяг дисертації складає 233 сторінки, обсяг тексту — 110 сторінок, додатків — 68 сторінок. Дисертація містить 39 рисунків, 9 таблиць та посилання до 123 літературних джерел.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовується актуальність теми дисертації та доцільність проведення досліджень. Сформульована мета роботи та задачі, які необхідно вирішити для її досягнення. Викладається наукова новизна та практичне значення одержаних результатів.

В першому розділі проаналізовано стан проблеми і тенденції розвитку однієї з найбільш актуальних галузей застосування сучасних інформаційних технологій — автоматизованих навчальних систем. Виконано докладний огляд характерних рис і основних дидактичних принципів ДН, що виражають залежність між цілями підготовки фахівців і закономірностями практики навчання. Основу освітнього процесу при ДН становить цілеспрямована і контрольована інтенсивна самостійна робота того, хто навчається за індивідуальним розкладом, з використанням інструментальних засобів — спеціальних систем комп'ютерного навчання.

Досліджено основні напрямки розвитку систем комп'ютерного тестування. Розглянуто принципи програмованого навчання і контролю знань, як однієї з найбільш ефективних дидактичних систем, що забезпечує навчання відповідно до поетапної структури пізнавальної діяльності людини і формує у кожного, хто навчається, прийоми практичного оволодіння предметною галуззю професійної діяльності.

В другому розділі розглянуто основні форми і моделі представлення знань. Для побудови продукційних моделей та семантичних мереж запропоновано представлення елементарних знань за допомогою кортежу атомарної одиниці знань: <ім'я об'єкта, властивість об'єкта, значення властивості>. При формуванні тесту правильно складене питання та еталонна відповідь разом становлять закінчене твердження деякої предметної галузі. Явище (чи ідея) в такому твердженні звичайно співвідноситься з об'єктом (ім'я об'єкта) і деякою характеристикою об'єкта (властивість об'єкта), яка приймає чисельне, логічне або текстове значення (значення властивості). Припустимо, що питання в тестовому завданні сформульоване так: “Яким символом позначається абсолютне посилання на комірку в електронних таблицях Microsoft Excel?”, еталонна відповідь: “$”. В цьому питанні ім'я об'єкта — “комірка”, властивість об'єкта — “абсолютне посилання”, значення властивості — “$”. Тобто задані ім'я об'єкта і його властивість, а невідомим, так званим навчальним елементом, є значення властивості об'єкта. В іншому формулюванні цього ж питання невідомою може бути властивість об'єкта. При цьому для одержання однозначної відповіді повинно бути задане ім'я об'єкта і значення його властивості. Питання: “В електронних таблицях Microsoft Excel адреса комірки, записана у вигляді $D$7 є … “, еталонна відповідь: “абсолютним посиланням”. Ще одне формулювання даного питання: “Який елемент електронних таблиць Microsoft Excel характеризуються абсолютним посиланням, записаним у вигляді $D$7?”, еталонна відповідь: “комірка”. Відомими елементами кортежу даних в такому питанні є властивість об'єкта і його значення. Продукційний підхід до формування питань тесту дозволяє формулювати питання, що перевіряють знання кожного з елементів у кортежі атомарної одиниці знань будь-якого твердження. Відповідно до цього принципу розумову діяльність по відновленню знань того хто тестується можна представити у вигляді продукційних правил виводу:

1) ЯКЩО <Ім'я об'єкта = “комірка”> І <Властивість об'єкта = “абсолютне посилання”> ТО <Значення властивості = “$”>;

2) ЯКЩО <Ім'я об'єкта = “комірка”> І <Значення властивості = “$D$7”> ТО <Властивість об'єкта = “абсолютне посилання”>;

3) ЯКЩО <Властивість об'єкта = “абсолютне посилання”> І <Значення властивості = “$D$7”> ТО <Ім'я об'єкта = “комірка”>.

Існують твердження, відносно яких сформовані тестові завдання припускають неоднозначні відповіді. Наприклад, питання: “Перелічити типи посилань на комірку в електронних таблицях Microsoft Excel”, еталонна відповідь: “абсолютна, відносна, змішана”. В цьому випадку задане ім'я об'єкта — “комірка” і властивість об'єкта — “посилання”, яка в свою чергу є об'єктом для властивостей “абсолютна”, “відносна”, “змішана”. Представлення елементарної одиниці знань такого твердження може бути реалізоване за допомогою моделі семантичної мережі (рис. 1), де як поняття виступають імена об'єктів (комірка, посилання), а як відносини — зв'язки між ними (тип, властивість, значення).

При підготовці тестових завдань велике значення має правильний вибір форми їхнього представлення, яка буде використовуватися при контролі знань різних об'єктів вивчення. Розглянуто два основних види тестових завдань — відкриті і закриті. Тестове завдання відкритого виду являє собою твердження з невідомою змінною, котре передбачає вільну відповідь того хто тестується. При організації системи контролю знань форма представлення таких відповідей є найбільш природною, а задача комп'ютерної оцінки відповіді — найбільш складною. Такі завдання використовуються для виявлення знання термінів, визначень, понять тому відповідь на них той хто тестується формує за власним розсудом без еталона чи підказки. Практично у всіх системах машинного представлення текстів використовується обмежена природна мова, оскільки повної формальної моделі ні для однієї природної мови поки що не створено. Тому для організації роботи з текстовими відповідями запропонований метод, заснований на застосуванні еталонних і додаткових відповідей, інформація про які заноситься в базу даних тестових завдань. Для кожного питання відкритого тесту існує одна еталонна та безліч додаткових відповідей. Еталонна відповідь заноситься викладачем при підготовці питання, а додаткові відповіді є відповідями студентів, які записуються в базу даних безпосередньо при тестуванні. І еталонним і додатковим відповідям встановлюється диференційована оцінка в діапазоні [0,1] залежно від ступеня їх правильності. Ефективність роботи такого методу в основному залежить від обсягу бази даних системи та різноманіття додаткових відповідей. Форми закритих тестових завдань розрізняють за принципом побудови відповіді: 1) альтернативні (передбачають наявність двох варіантів організації відповіді типу “так – ні”; “вірно – невірно” і т.п.); 2) з множинним вибором (передбачають, принаймні, три можливих відповіді); 3) відновлення відповідності частин (складаються з двох чи більше стовпців(колонок) слів, фраз, графічних зображень, цифрових або літерних позначень і т.п., в яких необхідно визначити відповідність елементів, розташованих у різних колонках і зв'язаних один з одним); 4) відтворення вірної послідовності (використовуються для контролю знання правильної послідовності дій, алгоритмів діяльності, технологічних прийомів).

Представлено алгоритми оцінки рівня засвоєння знань в категоріях двоічної логіки та на основі методів теорії нечітких множин. В процедурі виконаної в категоріях двоічної логіки оцінка за правильну чи неповну відповідь пропорційна долі вибраних варіантів відповіді з загальної кількості правильних. Якщо вибраний хоча б один неправильний варіант, то відповідь оцінюється нульовим балом. Алгоритм оцінки рівня засвоєння знань на основі алгебри нечітких множин дозволяє однозначно оцінити відповідь того хто тестується, з урахуванням як абсолютно правильних, так і частково правильних або неповних варіантів відповідей. Вирішення поставленої задачі удосконалення алгоритму оцінки результатів тестування зводиться до ідентифікації нелінійного об'єкта з чотирма входами та одним виходом

(1)

де d – вихідна кількісна змінна, що відображає оцінку за відповідь на поточне питання;

– вхідні кількісні змінні (в дужках вказані терми, якими вони оцінюються): –

кількість правильних варіантів відповіді (1, 2, 3, 4, 5); –

кількість вірних відповідей, вказаних тим хто тестується (1, 2, 3, 4, 5); –

загальна кількість всіх відповідей, обраних тим хто тестується (1, 2, 3, 4, 5); –

загальна кількість варіантів відповіді (2, 3, 4, 5, 6).

Вихідна змінна dj оцінюється 8 кількісними термами (0,1; 0,2; 0,3; 0,4; 0,5; 0,6; 0,7; 0,8), і кожному сполученню значень параметрів вхідних змінних поставлено у відповідність одне з рішень . Нечітка база знань являє собою сукупність правил ЯКЩО <входи>, ТО <вихід>, що відображають досвід експертів і їх розуміння причинно-наслідкових зв'язків у розглянутій задачі прийняття рішення. Матриця знань визначає систему логічних висловлень типу “ЯКЩО-ТО, ІНАКШЕ”:

(2)

Таким чином, шукане співвідношення (1), що встановлює зв'язок між вхідними параметрами і вихідною змінною , формалізовано у вигляді системи нечітких логічних висловлень (2), які базуються на матриці знань визначеної експертами і зв'язує значення вхідних змінних з одним із можливих типів рішення .

При контролі знань з використанням вибіркового методу введення відповідей виникає імовірність випадкового угадування правильних відповідей при повному незнанні навчального матеріалу. Також, із застосуванням в АСКЗ принципу диференціації оцінки відповіді, не виключена імовірність навмисного вибору тим хто тестується з N запропонованих варіантів N-1. При цьому результуюча оцінка за тест буде відмінною від 0. Тому необхідно знати величину імовірності угадування як правильної, так і частково правильної (неповної) відповіді. Показник, що характеризує програми тестування з погляду можливості одержання позитивної оцінки при угадуванні, визначається за допомогою формули Бернуллі за умов біноміального розподілу незалежних випадкових подій і теореми додавання ймовірностей. Результати розрахунків показують, що імовірність угадування при вибірковому методі конструювання відповіді виявляється близькою до нуля, коли пропонується достатнє число варіантів відповіді, а саме для питання з 2, 3, 4, 5 та 6 варіантами відповіді імовірність випадкового угадування становить, відповідно, 50; 16,7; 7,1; 3,3; 1,6 %. Визначені у такий спосіб імовірності відносяться тільки до випадково вгаданих відповідей, які є абсолютно правильними. Розрахунок імовірності випадкового і навмисного угадування частково правильних відповідей здійснюється за умови, що всі питання в тесті вважаються незалежними, а всі відповіді — однаково імовірними й оцінюються диференційовано в діапазоні [0,1]. Статистична імовірність випадкового угадування частково правильної відповіді є частотою одержання відносної оцінки dj за одну відповідь

,

де – кількість появ dj для питання з N варіантами відповіді; –

кількість усіх можливих комбінацій вибору для питання з N варіантами відповіді.

Значення залежить від загальної кількості варіантів відповіді, обраних студентом і кількості правильних з них, і визначається згідно із матрицею знань, що створюється експертами, і враховує всі можливі комбінації вибору варіантів відповіді і їхню диференційовану оцінку. Підрахувавши кількість появ кожної з відносних оцінок dj, що приходиться на групу з N варіантів відповіді, одержимо величину .

Значення залежить від загальної кількості варіантів відповіді в питанні і кількості правильних з них, і визначається за допомогою методів комбінаторики з використанням правила сполучення варіантів. Так для питання з 2, 3, 4, 5 та 6 варіантами відповіді число становить відповідно 2, 12, 42, 120, 310 комбінацій вибору.

Статистична імовірність навмисного угадування частково правильної відповіді

,

де – кількість появ відносної оцінки dj, що приходиться на групу з N варіантів відповіді при виборі N-1; –

кількість усіх можливих комбінацій для питання з N варіантами відповіді при виборі N-1.

Максимальна імовірність одержання студентом позитивної результуючої оцінки ( балів з 100) при випадковому угадуванні дорівнює 7,1 % і з'являється в питаннях з чотирма варіантами відповіді. У питаннях з п'ятьма та шістьма запропонованими варіантами імовірність одержання позитивної оцінки знаходиться в межах 2,5 – 3,3 %. При навмисному угадуванні імовірність одержання позитивної оцінки за тест близька до нуля.

В третьому розділі наведені результати структурної побудови АСКЗ (рис. 2). Перший стовпчик складається з блоків, які представляють 7 інструментальних модулів системи. Кожний модуль відповідає однойменній екранній формі та містить набір елементів управління, які запускають певні процедури. Другий стовпчик містить короткий опис процедур звертання до бази даних системи, які виконуються при активізації елементів управління екранних форм. Третій стовпчик структурної схеми складають елементи бази даних системи.

Рис. 2. Структурна схема програмного забезпечення АСКЗ.

Виконано розробку інструментальних засобів кожного з програмних модулів системи:

1. Вибір курсу, теми та ідентифікація студента. В системі передбачена функція автоматичного заповнення списку груп на першому сеансі тестування. Надалі функція автозаповнення вимикається, після чого в тестуванні можуть брати участь тільки студенти, чиї прізвища є в списку групи. На головній формі можна вибрати мову спілкування із системою: українську, російську, англійську.

2. Тестування I рівня. Програмний модуль виконує безпосереднє представлення питань і варіантів відповідей тесту I рівня засвоєння знань, який контролює знайомство студента з раніше засвоєною інформацією. Також виконується аналіз відповідей і запис результатів аналізу в базу даних системи. Питання вибираються системою випадково. Правильних відповідей може бути декілька: від 1 до 5.

3. Тестування II та III рівня. Програмний модуль призначений для контролю здатності відтворення по пам'яті раніше засвоєної інформації (II рівень) і виконання нетипової дії за зразком (III рівень), а саме для вирішення задач. Тестові завдання ІІ та ІІІ рівня засвоєння знань є тестами відкритого виду без запропонованих варіантів відповіді. Студенту необхідно самостійно за допомогою клавіатури ввести відповідь на поточне питання. В процедурі оцінювання його відповідь порівнюється з еталоном і при їхньому повному збігу вважається правильною. Регістр символів і наявність прогалин між ними не враховуються. При розбіжності з еталоном відповідь того хто тестується порівнюється з додатковими відповідями, які знаходяться в базі даних системи, і при збігу оцінюється відповідним балом. Якщо збігів не виявлено, відповідь оцінюється нульовим балом. Додатковими відповідями є відповіді студентів, які при першому порівнянні не збігалися з еталоном. Серед цих відповідей можуть бути неповні або неточні, не зовсім правильні відповіді, які, однак, заслуговують певної диференційованої оцінки. Усі вони заносяться в базу даних системи й оцінюються викладачем в діапазоні [0,1].

4. Перегляд результатів тестування. Запускається з головної екранної форми і дозволяє аналізувати попередні результати тестування. Інформація виводиться в табличній формі й може бути відібрана за результатами однієї групи, однієї теми, або одного студента. При функціонуванні АСКЗ в локальній мережі комп'ютерного класу зазначений підхід дозволяє підсилити мотивацію навчання за рахунок створення умов для зіставлення результатів тестування в рамках навчальної групи або курсу.

5. Створення та редагування тестів I рівня. Програмний модуль містить поле введення питання тесту і 6 полів для введення варіантів відповідей. Підсистема закрита паролем і доступна тільки викладачу. При створенні тестів можна для однакового тексту питання створювати різні варіанти відповідей, а також редагувати (перезаписувати) тексти вже існуючих питань.

6. Створення та редагування тестів II та III рівня. Програмний модуль підсистеми містить поле введення питання тесту, поле введення еталонної відповіді, та по 10 полів для виводу додаткових відповідей з відносними оцінками в діапазоні [0,1]. В даному програмному модулі за допомогою відповідних кнопок можна переглянути нові додаткові відповіді і записати їхню відносну оцінку в базу даних системи.

7. Розробка та ведення бази даних файлової системи. Програмний модуль дозволяє виводити на екран список дисків, каталогів кожного диска і файлів обраного каталогу, а також одержувати інформацію про повне ім'я файлу, що підлягає редагуванню, шифр курсу, теми або групи, повну назву курсу або теми тесту. При формуванні списку тем курсу задається і може бути відкоректованою кількість питань в тесті, час, що приділяється тестуванню, максимальна сума балів за відповідь.

В четвертому розділі приведені результати впровадження АСКЗ в навчальний процес на базі локальної мережі комп'ютерного класу.

Розглянуто вплив умов самонавчання на результати засвоєння навчального матеріалу. Ефективність використання АСКЗ у навчальному процесі характеризується наявністю залежності результатів тестування від кількості спроб проходження тесту. Формування умов самонавчання здійснюється по закінченні тестування, коли система дає студентам можливість порівнювати свої відповіді з еталонними. Дані для побудови залежності оцінки знань від числа спроб проходження тестів узяті з бази даних результатів тестування експериментальної апробації системи. З 2598 спроб проходження тестів обрані результати 92 студентів, які не менше п'яти разів проходили той самий тест. На рис. 3, простежується тенденція поліпшення рівня підготовки студентів із збільшенням кількості спроб проходження тестів: після першої спроби число позитивних відповідей 24 %, після другої спроби – 49 %, третьої – 52 %, четвертої – 59 %, п'ятої – 74 %.

Розроблено адаптивну стратегію комп'ютерного тестування в залежності від рівня підготовки того, хто навчається. В традиційних комп'ютерних тестах фіксованої довжини кількість питань, що задаються, не залежить від того, наскільки правильні відповіді того, хто навчається в процесі контролю знань. Тому актуальною задачею, особливо в системах ДН, стає розробка програм комп'ютерного тестування, які пристосовуються в процесі контролю знань до рівня підготовки того, хто навчається, а також забезпечують об'єктивну і надійну оцінку рівня його знань. Це дозволить скоротити число питань тесту і зменшити час використання ресурсів мережі для обміну інформацією.

Проаналізовано дані про результати проходження 563 екзаменаційних тестів по дисципліні “Інформатика, основи програмування та використання ЕОМ”. Результати тестування являють собою послідовності, що складаються з 25 оцінок Yi кожна з яких є відносною величиною в діапазоні [0,1]. Приклад послідовності оцінок відповідей одного тесту: 0 + 1 + 1 + 1 + 0,5 + 1 + 1 + 0,8 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 0,3 + 1 + 1 +1 + 1 + 1 + 1 + 1 + 1. Результуюча оцінка кожного тесту Zs визначається як середнє арифметичне значення відносних оцінок однієї послідовності.

Розподіл послідовностей результатів тестування по чотирьох вибірках, виходячи зі значення результуючої оцінки за один тест Zs, дозволяє простежити за зміною поточної середньої оцінки при збільшенні кількості питань в процесі тестування: перша вибірка [1 Zs 0,9]; друга вибірка [0,9 Zs 0,75]; третя вибірка [0,75 Zs 0,6]; четверта вибірка [0,6 Zs 0].

Виберемо з кожної вибірки по одній послідовності та визначимо в них середні арифметичні спочатку двох, потім трьох, чотирьох, ..., двадцяти п'яти сусідніх значень оцінок відповідей

, (3)

де Yi – відносна оцінка відповіді на i-те питання тесту (i = 1, 2, …, 25);

m – кількість сусідніх значень оцінок відповідей, серед яких визначається середнє арифметичне (m = 2, 3, 4, …, 25);

n – порядковий номер значень в одній послідовності середніх оцінок (n = 1, 2, …, 24).

В кожній з обраних послідовностей значення відносних оцінок, відповідно до законів їхнього розподілу, мають приблизно однакову кількість і розташування. Наприклад, для послідовностей з першої вибірки результатів тестування кількість оцінок велика, а оцінок зовсім незначна. Тому обрані послідовності відносних оцінок можуть розглядатися як представники відповідних вибірок з характерною для кожної з них зміною поточної середньої оцінки. Для того щоб врахувати всі можливі варіанти розташування за допомогою формули (3) виконується кластеризація відносних оцінок в кожній обраній послідовності відповідей.

В послідовностях , що утворилися, визначимо мінімальне, максимальне і середнє значення:

, , .

Графічне представлення , і для послідовності з другої вибірки результатів тестування виконане на рис. 4. При побудові графіків середні значення з відносних одиниць виміру переведені в бали з діапазоном шкали [0, 100].

Для виявлення передбачуваної залежності необхідної і достатньої кількості питань тесту від контрольованого рівня знань використані методи математичної статистики. Перетворимо послідовності, які складаються з всіх оцінок відповідей одного тесту в послідовності середніх оцінок з діапазоном шкали [0, 100], що враховують тільки попередні відповіді. Простежимо за тим, як в процесі тестування від питання до питання змінюється характер розсіювання п'яти попередніх значень середніх оцінок. Характеристикою розсіювання може служити величина стандартного відхилення елементів вибірки з послідовності середніх оцінок. Враховуючи постійну кількість елементів у вибірці (n = 5) та початок виконання розрахунків з п'ятого питання тесту, визначимо величину стандартного відхилення для кожної вибірки упродовж однієї послідовності середніх оцінок

,

де – середня оцінка після відповіді на j питання тесту (j = 1, 2, ..., 25);

k – порядковий номер питання, для якого визначається стандартне відхилення вибірки середніх оцінок (k = 5, 6, ..., 25).

Для розглянутого в прикладі результату тестування величина стандартного відхилення середніх оцінок змінюється в такий спосіб: 943,89; 106,39; 22,04; 12,68; 18,74; 9,07; 6,84; 7,86; 5,29; 3,69; 2,66; 1,96; 1,92; 2,03; 2,04; 1,77; 1,13; 0,92; 0,75; 0,63; 0,52.

В отриманих послідовностях для всіх результатів тестування простежується тенденція зменшення зі збільшенням порядкового номера питання. Задамося кількома граничними значеннями стандартних відхилень ( = 1, 2, 3, 5, 7, 10 %) і знайдемо для кожного результату порядковий номер питання, після відповіді на який . Ці порядкові номери визначать індивідуально для кожного тесту кількість питань, достатню для оцінки рівня засвоєння знань при заданому стандартному відхиленні.

На підставі експериментальних результатів побудовані залежності достатньої кількості питань kд від поточної середньої оцінки за тест після відповіді на k-те питання тесту для різних граничних стандартних відхилень (рис. 5). По характеру зміни залежностей , проведені дослідження виявляють закономірність зменшення достатньої кількості питань зі збільшенням значення поточної середньої оцінки. Тобто, чим гірше студент засвоїв навчальний матеріал, тим більше питань йому необхідно задавати для об'єктивної оцінки рівня засвоєння знань. Так, при 5 % нормі розсіювання середніх оцінок (крива 3) для = 90 балів (відмінно) досить 10 питань, = 75 балів (добре) – 14 питань, = 60 балів (задовільно) – 19 питань.

Рис. 5. Залежність достатньої кількості питань kд від поточної середньої оцінки за тест : 1 – %, 2 – %, 3 – %, 4 – %, 5 – %, 6 – %

На основі отриманих результатів побудовано алгоритм динамічної обробки й аналізу відповідей в процесі тестування. Робота підпрограми починається з процедури виводу на екран чергового питання тесту і його варіантів відповіді. Наступна процедура оцінює відповідь, тим самим, формуючи послідовність Yi. Далі виконується перевірка умови про мінімальну кількість заданих питань, потрібну для розрахунку стандартного відхилення. Якщо умова дотримується, то управління переходить до процедури розрахунку величини стандартного відхилення вибірки, що складається з п'яти попередніх середніх оцінок (). Потім виконується розрахунок мінімально припустимої кількості питань , виходячи з результуючої середньої оцінки і заданого викладачем значення граничного стандартного відхилення . Далі виконується порівняння розрахункового та граничного стандартного відхилень, а також порівняння поточної та мінімально припустимої кількості питань. Якщо умова вірна, і задана кількість питань не менша припустимої , то подальша видача питань припиняється. Далі виконується перерахування середньої оцінки за тест до обраної викладачем перед початком тестування шкали оцінок. При недотриманні якоїсь з вище названих умов, перед виводом наступного питання перевіряється досягнення кінця тесту, а саме порівнюється порядковий номер поточного питання з максимальною кількістю питань в даному тесті. Якщо , то видача питань припиняється і виконується перерахування . Таким чином, тестування закінчується, коли точність поточної середньої оцінки досягає статистично прийнятного рівня або коли буде задана максимальна кількість питань.

Обґрунтовано доцільність використання нечіткої логіки при оцінювані рівня засвоєння знань. Оцінка відповідей із застосуванням методів теорії нечітких множин трохи вище відповідної оцінки в категоріях двоічної логіки. Це пояснюється відмінністю підходів двоічної та нечіткої логіки при оцінювані частково правильних відповідей. В той час коли двоічна логіка “оцінює” частково правильну відповідь нульовим балом, нечітка логіка “визначає” загальну кількість усіх обраних відповідей, а з них — кількість вірних. Потім використовуючи логічні рівняння, складені на основі нечіткої бази знань, виконується диференційована оцінка відповіді в діапазоні [0,1].

Розроблені методологічні основи та інструментальні програмні засоби автоматизованої системи управління і контролю рівня засвоєння знань пройшли експериментальну апробацію в мережі комп'ютерного класу кафедри “Охорона праці та безпека життєдіяльності”.

ВИСНОВКИ

В дисертаційній роботі поставлена і вирішена задача підвищення якості підготовки фахівців шляхом організації об'єктивного і надійного контролю знань на основі диференційованої оцінки відповідей тих, хто навчається. В ході проведених досліджень отримані наступні результати:

1.

2.

3.

4.

5.

6.

7.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.

2.

3.

4.

5.

6.

7.

8.

Коджа Т.І. Автоматизована система управління та контролю знань в процесі навчання. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – Автоматизовані системи управління і прогресивних інформаційних технологій. – Одеський національний політехнічний університет, Одеса, 2003.

Дисертаційна робота присвячена розробці та впровадженню нових інформаційних технологій для забезпечення об'єктивного контролю знань. Розроблені моделі представлення знань і принципи побудови спеціалізованих баз даних тестових завдань дозволяють формувати питання відповідно до рівнів пізнавальної діяльності людини незалежно від семантики предметних галузей. Отримано співвідношення системи нечітких логічних висловлень для диференціації оцінки результатів комп'ютерного тестування. Установлено залежність мінімальної кількості питань, що забезпечують об'єктивну оцінку результатів тестування від якості засвоєння навчального матеріалу. Розроблено адаптивну стратегію комп'ютерного тестування, що дозволяє скоротити число питань тесту і зменшити час використання ресурсів мережі для управління і контролю знань.

Ключові слова: контроль знань, диференційована оцінка, нечіткі логічні висловлення, умови самонавчання, адаптивна стратегія, комп'ютерне тестування.

Kodzha T.I. Automatic knowledge control system for the educative process. – Manuscript.

Dissertation for the degree of candidate of technical sciences, speciality 05.13.06 – automatic control systems and progressive information technologies. – The Odessa National Polytechnical University, Odessa, 2003.

The Dissertation describes development and application of new information technologies designed for provision of knowledge objective control. The elaborated models of knowledge presentation and the principles of tests specialized database construction enable to form the questions in compliance with the levels of man’s cognitive activity irrespective of the subject sphere semantics. Correlations of the fuzzy logical statements system for the differentiated evaluation of the computer testing results have been obtained. Dependence of questions minimal quantity providing for the testing objective evaluation on the taught material mastering quality has been established. Developed has been a computer testing adaptive strategy enabling to lessen the number of test questions and the time of using the network resources for knowledge control.

Keywords: knowledge control, differentiated evaluation, fuzzy logical statements, self-education conditions, adaptive strategy, computer testing.

Коджа Т.И. Автоматизированная система управления и контроля знаний в процессе обучения. – Рукопись.

Диссертация на соискание ученой степени