Харківський національний університет радіоелектроніки

Дьоміна Вікторія Михайлівна

УДК 681.518:519.718+378.147

МЕТОДИ ТА МОДЕЛІ ОЦІНЮВАННЯ ЗНАНЬ
В АВТОМАТИЗОВАНИХ СИСТЕМАХ ТЕСТУВАННЯ

05.13.06 – автоматизовані системи управління та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня
кандидата технічних наук

Харків – 2002

Дисертацією є рукопис.

Робота виконана в Харківській державній академії культури, Міністерство культури та мистецтв України.

Науковий керівник доктор технічних наук, професор Асєєв Георгій Георгійович, Харківська державна академія культури, завідувач кафедри інформаційних технологій

Офіційні опоненти:– 

доктор технічних наук, професор Левикін Віктор Макарович, Харківський національний університет радіоелектроніки, директор інституту комп’ютерних та інформаційних технологій, завідувач кафедри ІУС;– 

кандидат технічних наук, доцент Голоскоков Олександр Євгенович, Національний технічний університет “ХПІ”, кафедра АСУ, професор.

Провідна установа

Національний технічний університет України “КПІ”, кафедра технічної кібернетики, Міністерство освіти і науки України, м. Київ.

Захист відбудеться “29 __травня___ 2002 р. о __1300___ годині на засіданні спеціалізованої вченої ради Д .052.01 в Харківському національному університеті радіоелектроніки, м. Харків, пр. Леніна, 14, факс (0572) 40-91-13.

З дисертацією можна ознайомитись у бібліотеці Харківського національного університету радіоелектроніки, м. Харків, пр. Леніна, 14.

Автореферат розісланий 27.04.2002 р.

Вчений секретар

спеціалізованої вченої ради Саєнко В.І.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Одним із ключових факторів розвитку системи освіти в Україні є значне збільшення обсягів і зростання складності інформації, необхідної для засвоєння студентами. Широке використання в процесі навчання досягнень комп'ютерних технологій дозволить скоротити терміни, підвищити якість і знизити вартість підготовки і перепідготовки фахівців в умовах ринкової економіки. Тому поряд із традиційними формами освіти на сучасному етапі все більше поширення одержують дистанційні, які надають широкий спектр освітніх послуг, у тому числі й автоматизовані системи навчання. Створення й удосконалення таких систем освіти наполегливо вимагає відповідного розвитку й удосконалення автоматизованих систем оцінювання отриманих знань.

Тому створення надійних автоматизованих систем тестування і впровадження в практику нових підходів, що дозволяють у максимальному ступені наблизити результати автоматизованого тестування до результатів контролю знань респондентів з залучанням викладача, є актуальною задачею. У результаті вирішення даної задачі підвищиться якість контролю знань, а отже і якість підготовки фахівців, як при традиційному навчанні, так і в дистанційній освіті, що важливо для реформування вищої школи України під час переходу на ринкову економіку.

Побудова автоматизованих систем тестування являє собою достатньо складну задачу. Її складність полягає в тому, що удосконалення такої системи повинно проходити в процесі її безупинного функціонування, до того ж негативний результат її дій неприпустимий. Тим самим, значно знижуються можливості експериментальної перевірки можливих удосконалень. Крім того, система контролю знань складна ще і тому, що вона є складовою частиною системи навчання в цілому. Вищевикладене підтверджує необхідність комплексного підходу до удосконалення системи тестування, заснованої на врахуванні великої кількості факторів, що належать до різноманітних розділів науки. Під час її створення необхідно використовувати такі галузі знань, як: кібернетика, предмет, за матеріалами якого проводиться контроль, дидактика, психологія, соціологія та ін.

Великий внесок у розвиток проблеми вимірювання знань в автоматизованих системах тестування внесли такі вчені: В.М. Глушков, В.С. Аванессов, А.А. Андреєв, О.Я. Кравець, І.І. Тихонов, В.О. Андріанов, Н.Ф. Тализіна, В.П. Беспалько, Ю.М. Кушелєв, В.М. Буликін, Ж.М. Фабр, Ж. Нуазе.

Методи та алгоритми оцінювання знань, що існують, засновано на різноманітних формальних моделях. Сукупність таких моделей і відповідних їм алгоритмів носить мозаїчний характер, що пов'язано з відсутністю базових концепцій, на яких би вони ґрунтувалися. Слід зазначити, що проблема аналізу результатів тестування, оцінювання і визначення якості знань навіть на концептуальному рівні ще не вирішена.

Автоматизованим системам тестування властиві якості, що визначають доцільність їхнього застосування, як при традиційній, так і при дистанційній формах освіти: короткочасність перевірки; стандартизованість її проведення й аналізу результатів; можливість їхнього представлення в числовій формі; а також можливість їхньої математичної обробки. Дослідження у даній галузі показали, що застосування цих систем має недоліки. У більшості існуючих автоматизованих системах тестування досить часто бали за відповідь формально підсумовуються без урахування логічної структури набутих знань, і оцінка виступає як показник кількості, а не якості знань. Отриманий результат, у більшості випадків, або не відповідає традиційній п'ятибальній чи альтернативній дванадцятибальній системі, або адаптація загальної суми до стандартної оцінки призводить до викривлень у вимірі знань. Оцінка, отримана таким чином, відрізняється від оцінки викладача. Цей недолік, наявний у багатьох систем тестування, обмежує сферу їх використання.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках наукових досліджень, що проводилися в Харківській державній академії культури на кафедрі інформаційних технологій. Крім того, наукові дослідження з теми дисертації входять складовою частиною до тематичного плану кафедри економічної кібернетики Харківського державного аграрного університету “Розробка рекомендацій щодо удосконалення засобів автоматизованої оцінки знань студентів і слухачів ФПК сільськогосподарських вищих навчальних закладів”: 20.02.01 (шифр теми в НДР кафедри).

Мета і задачі дослідження. Метою роботи є автоматизована оцінка знань респондентів за допомогою математичних методів та моделей.

Для досягнення поставленої мети в роботі необхідно вирішити такі задачі дослідження:

1. Провести аналіз методів і моделей оцінювання знань в автоматизованих системах тестування.

2. Розробити принципи моделювання логіки викладача, що використовуються при автоматизації оцінювання знань.

3. Розробити метод автоматизованого коригування оцінки знань респондента в помежовій області між близькими балами.

4. Розробити метод запобігання угадуванню респондентом відповідей на питання тесту, що ґрунтується на моделі взаємозв'язку структур баз даних тестування, за допомогою теорії графів.

5. Розробити алгоритм і відповідні програмні засоби автоматизованої системи тестування, в якій будуть реалізовані запропоновані методи і математичні моделі оцінювання знань.

6. Розробити метод оцінки впливу суб‘єктивних факторів на якість оцінювання знань та провести оцінку ефективності автоматизованої системи тестування.

Об’єктом дослідження в роботі є процес розробки математичного забезпечення автоматизованих систем тестування.

Предметом дослідження є методи та математичні моделі оцінювання знань при розробці математичного забезпечення автоматизованої системи тестування.

Методи дослідження: для моделювання логіки викладача та коригування оцінки застосовано математичний апарат, який включає розділи алгебри логіки, булевої алгебри, теорії кінцевих предикатів та логіки множин; для запобігання угадуванню відповідей на запитання тесту використано теорії графів та баз даних; для оцінки ефективності автоматизованої системи тестування застосовано статистичний аналіз.

Наукова новизна одержаних результатів:

1. Вперше розроблено логіко-алгебраїчні методи і моделі, які є основою математичного забезпечення автоматизованої системи тестування. Ці методи та моделі базуються на розділах алгебри логіки, булевої алгебри, теорії кінцевих предикатів та теорії графів і дозволяють формалізувати процес оцінювання знань викладачем, запобігти угадуванню відповідей на запитання тесту, визначити оцінку між близькими балами, а також збільшити точність виміру знань.

2. Вперше розроблено метод оцінки впливу суб'єктивних факторів на якість оцінювання знань при традиційному контролі й автоматизованому тестуванні, в основу якого покладено правило додавання (розкладання) варіації, що дає можливість знизити значущість суб'єктивних факторів при автоматизованому тестуванні.

3. Вперше доведено гіпотезу про невелику розбіжність результатів оцінювання в автоматизованої системи тестування і викладачів-експертів із використанням -критерію Колмогорова, яка дає можливість одержати малі похибки при апробації розроблених методів і математичних моделей.

Практичне значення отриманих результатів. На підставі розроблених у роботі математичних методів та моделей оцінюванні знань респондента: – 

запропоновано цілісну технологію формалізації логіки викладача;– 

розроблено алгоритм оцінювання знань респондента;– 

розроблено комплекс програмних засобів автоматизованої системи “Тест”.

Дослідний варіант автоматизованої системи “Тест” випробувано і впроваджено в цілому ряді вищих учбових закладів: у Харківському державному аграрному університеті (довідка про використання від 05.06.2001 № 340), у Харківській державній академії культури (довідка про використання від 29.06.2001 № 38-01-585), в Українській державній інженерно-педагогічній академії (акт про використання від 24.12.2001 № ) та у Національному аерокосмічному університеті ім. М.Є. Жуковського “ХАІ” (акт про використання від 25.12.2001 № /12).

Система моделює логіку викладача, виключає його суб'єктивізм, коригує оцінку в зоні неповної впевненості між близькими балами, а також запобігає спробам угадування респондентом відповідей на запитання тесту. Застосування розробленої автоматизованої системи в автоматизації навчального процесу дозволить підвищити якість оцінювання знань не тільки при традиційній формі навчання в вищих навчальних закладах, але і при дистанційній освіті.

Особистий внесок здобувача. Усі основні результати отримані особисто дисертантом. У роботах [5, 7, 8] автором застосовано на практиці методику налагодження тестів, яка заснована на статистичних методах; у [6] розроблено логіко-алгебраїчний підхід до оцінювання знань; у [1] формалізовано оцінку для нижнього рівня в межах теми, що використовує логіко-алгебраїчний підхід, застосовано теорію графів для запобігання угадуванню відповідей на завдання тесту при альтернативному (вибірковому) методі представлення запитань тесту, розроблено алгоритм оцінювання на нижньому рівні для основного блоку автоматизованої системи тестування; у [2] формалізовано підсумкову оцінку знань респондента, яка використовує кінцеві предикати 1 порядку; у [9] розроблено метод коригування оцінки в помежовій області між близькими балами; у [3] – алгоритм оцінювання знань за п'ятибальною системою, що використовує логіку викладача, розширено для загального випадку R-бальної шкали; у [4] застосовано -критерій Колмогорова для дослідження розбіжності в оцінюванні знань респондента між автоматизованою системою тестування і викладачем-експертом; у [10] розглянуто проблеми автоматизованого контролю знань при традиційній та дистанційній формах освіти, запропоновано підхід оцінювання знань з урахуванням логіки викладача.

Апробація результатів дисертації. Основні матеріали і результати дисертації доповідалися та обговорювалися на міжнародному семінарі “Проблеми відновлення вищої бібліотечної й інформаційної освіти” (Харків, 1995); підсумкових наукових конференціях професорско – викладацького складу, науковців, аспірантів і здобувачів Харківського державного аграрного університету (Харків, 1995, 1996, 1997); Всеукраїнській науковій конференції молодих учених аграрників “Економіка, менеджмент, освіта в системі агропромислового комплексу” (Харків, 2000); Міжнародній науково-практичній конференції “Механізм господарювання і економічна динаміка в АПК” (Харків, 2001); науково-практичному семінарі на базі кафедри ПЗ ЕОМ Харківського національного університету радіоелектроніки (Харків, 2001); науково-методичному семінарі на кафедрі ІУС Харківського національного університету радіоелектроніки (Харків, 2001).

Публікації. За результатами виконаних досліджень опубліковано 10 друкованих праць, із них 4 – у наукових фахових виданнях, затверджених переліком ВАК України, та 4 – тези доповідей.

Структура й обсяг роботи. Дисертація складається із вступу, чотирьох розділів, висновку і має загальний обсяг 138 сторінок. Робота містить 24 рисунки, 24 таблиці, 7 додатків на 67 сторінках, список використаних літературних джерел із 179 найменуваннями на 16 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність вибраного напрямку роботи, сформульовано основну мету дослідження, подано загальну характеристику роботи.

У першому розділі дисертаційної роботи подано огляд і аналіз видів контролю знань в автоматизованому та дистанційному навчанні, розглянуто представлення відповідей в автоматизованих системах тестування, подано аналіз використання теорії графів для моделювання взаємозв’язку структури баз даних, які відбивають логічну структуру отриманих знань. Проведено огляд і аналіз досліджень існуючих методів та моделей оцінювання знань в автоматизованих системах тестування.

У найбільш поширених рейтингових системах оцінювання знань (О.Я. Кравець, О.О. Непріков, В.О. Андріанов, Н.Ф. Тализіна, М.Ф. Корольов, І.І. Тихонов) оцінка в загальному вигляді виставляється в шкалі інтервалів:

,

де – “вага” i-го завдання в балах, – результат перевірки засвоєння i-го завдання тесту, що означає відповідно, “не знає” або “знає” респондент відповідь на запитання, N – кількість завдань у тесті. До переваг цих методів належить лаконічність і прозорість при оцінюванні знань, можливість оцінювання знань не тільки за кінцевим результатом, але й в умовах неповної відповіді, а також простота технічної реалізації. Проте такі підходи мають низку істотних недоліків. Оцінка має не якісний характер, властивий оцінці при традиційному контролі з особистою участю викладача, а кількісний; оцінка не відповідає традиційній п'ятибальній або новій дванадцятибальній системі і потребує переведення в одну з зазначених шкал, що призводить до викривлення при вимірі знань. При оцінюванні не враховується структура отриманих знань випробуваних; не вирішено проблему точного вибору “ваги” завдання .

Великий вплив на розвиток сучасних автоматизованих систем тестування здійснив метод оцінювання знань, розроблений В.П. Беспалько. Було запропоновано дванадцятибальну шкалу оцінок і чітко сформульовано вимоги до оцінювання на різних рівнях складності тестових завдань. До недоліків даного підходу варто віднести нечіткість границь, яка потребує уточнення оцінки, округлення результату, що приводить до викривлення при оцінюванні, та формальність виміру знань, яка не враховує логіку викладача.

Крім названих, автором розглянуто й інші методи оцінювання знань, що здобули поширення у вищих закладах нашої країни і за кордоном. Так званий логарифмічний метод оцінювання знань (Е.Л. Носенко), у якому здійснюється спроба формалізувати у вигляді рівняння методи викладача при виставленні оцінки. Проте рекомендаційний характер оцінки і велика роль особистої участі викладача є його суттєвими недоліками. До недоліків параболічного методу (Е.Г. Маліночка) можна віднести роздрібненість оцінки, а отже і необхідність її округляти, нечіткість кордонів між оцінками, а також вузьку спрямованість запропонованого методу, який призначено тільки для самоконтролю респондентів. Перевагами цього методу є належність до традиційної п’ятибальної системи і гнучкість встановлення нижньої межі, яка відповідає оцінці “2”.

Автором також подано аналіз автоматизованих засобів контролю, що використовують логічне моделювання (роботи Г.О. Сергєєва, Л.О. Абатурової, Ю.М Кушелєва, В.М. Буликіна, В.К. Ємельянова, В.І. Коротєєва, І.О. Епштейна, Ж.М. Фабр, Н.Ф. Нуазе, К.О. Соловйової, С.І. Моторіна). Відзначено, що названими авторами розглянуто тільки моделювання логіки викладача при побудові тесту, оскільки оцінка виставляється з використанням рейтингового підходу. Наприкінці розділу описано місце логіко-алгебраїчних моделей серед існуючих засобів організації автоматизованих систем тестування.

У другому розділі подано моделювання процесу оцінювання знань в автоматизованій системі тестування. Розглянуто концепцію створення та процес проектування автоматизованої системи тестування з урахуванням комплексного підходу, який засновано на роботах В.М. Левикіна.

Описано математичне забезпечення для автоматизованої системи тестування. Доведено, що логіко-алгебраїчні методи моделювання процесу оцінювання знань респондента викладачем можуть застосовуватися при автоматизованому тестуванні.

Подано вхідні дані запропонованої автоматизованої системи тестування. На вхід повинні надходити запитання тесту. Їх сукупність визначено як множину , кількість елементів у якій дорівнює N. Множина T розбивається на теми ( – кількість тем у тесті) за будь якою загальною ознакою, що обумовлена викладачем:

.

За умовою теми можуть перетинатися: j, m, , : , . У межах кожної теми завдання повинні бути розташовані по важливості і ємності знань, що виявляються.

Основний блок системи повинен відбити інтуїтивну логіку викладача при виставленні оцінки за допомогою логічних рівнянь. Крім того, при контролі знань необхідно врахувати логічну структуру навчального матеріалу, структуру і системність отриманих знань респондентів, виключивши можливість угадування відповідей.

На виході системи повинні отримати оцінку знань випробуваних , або у вигляді “зараховано - не зараховано” (), або у вигляді “незадовільно”, “задовільно”, “добре” чи “відмінно” (), або оцінка може відповідати диференційованій R-бальній шкалі .

Розглянуто принципи моделювання логіки викладача при виставленні оцінки. Задачу виміру ступеня достовірності відповіді запропоновано вирішувати в такий спосіб. Питання поставлені так, що відповіді на них можливі тільки “так” або “ні”, “1” – якщо відповідь правильна і “0” – якщо помилкова. У результаті проходження тесту, одержуємо N чисел ( – відповідь на питання ), на підставі яких можна сформувати вектор . Вектор складається з нулів і одиниць, що дозволяє для рішення поставленої задачі застосувати теорію булевих функцій, алгебру логіки, теорію графів і теорію кінцевих предикатів.

Для моделювання взаємозв‘язку структур баз даних тестування, яке відбиває аналіз логічної структури навчального матеріалу й аналіз структури знань респондента, застосовано теорію графів. Під логічною структурою навчального матеріалу і структурою знань респондентів розуміється сукупність елементів навчального матеріалу, об'єктів знань і зв'язків між ними. На перевірці цілісності логічних зв'язків базується метод запобігання угадування відповідей респондентів. Формалізація зв'язків також дозволяє виділяти питання з різним ступенем складності, важливості і місткості знань, що виявляються при тестуванні.

Моделювання логіки викладача при виставленні оцінки розбивається на два етапи: оцінювання на нижньому рівні – рівні питань певної теми і підсумкове оцінювання на верхньому рівні. На першому етапі повинно бути сформовано k оцінок по темах (, 4 – число оцінок на п’ятибальній шкалі). На другому – за допомогою функції , яка є кінцевим предикатом – проведено ідентифікацію відповідності отриманих знань певній оцінці.

Автором запропоновано застосування поняття кінцевого предиката (що запроваджено Ю.П. Шабановим-Кушнаренко) для оцінювання знань. Уведено формулу , що позначає одномісний предикат, який залежить тільки від змінної :

При рішенні поставленої задачі предикат ставить у відповідність єдину оцінку з множини L для даного рівня знань. Таким чином, операції підбору відповідних оцінок (, ) для тем, що контролюються, є елементарними предикатами. Також доведено, що будь-який предикат, який відбиває оцінювання певної теми, може бути записаний на мові алгебри кінцевих предикатів. Отже, система алгебри кінцевих предикатів для визначення якості знань респондентів і оцінювання за традиційною п’ятибальною системою повна.

Таким чином, в розділі розроблено теоретичні підходи до формалізації процесу оцінювання знань респондента викладачем.

У третьому розділі розроблено математичні моделі оцінювання знань в автоматизованій системі тестування, які реалізують викладені в другому розділі підходи до побудови системи автоматизованого тестування.

Відповідно до вимог, на вхід даної системи питання тесту повинні надходити згрупованими по темах (). Завдання в межах теми розміщуються по важливості знань, що виявляються. Для цього вибираються завдання, які дозволяють виділяти знання фундаментального характеру, так названі фундаментальні запитання. Серед них, з огляду на складність завдань, виділяються питання 1-го ступеня важливості і 2-го ступеня важливості, які відповідають оцінкам “задовільно” і “добре”.

Для моделювання логіки викладача на верхньому рівні визначено необхідну і достатню умову для виставлення підсумкової оцінки. Діапазон оцінки розглядається як відрізок, на якому обрана точка, що відповідає твердій оцінці. Ця точка поділяє інтервал оцінки на дві області. Область , що лежить ліворуч від неї, відбиває необхідний рівень знань, для одержання потрібної оцінки і, фактично, рівень функції тут нижче необхідного. Праворуч від зазначеної точки лежить область , у якій знання перевищують необхідний рівень для даної оцінки та є достатніми для одержання зазначеної оцінки. На прикладі оцінки “5” на рис.1 показано області необхідного () та достатнього () рівня знань.

Розглянуто ситуацію, коли оцінка потрапляє в область, що лежить на межі між балами, тобто виникає проблема помежового варіанта. На рис. 1 наведено функцію рівня знань із позначеною системою дискретних рівнів формальних оцінок за п'ятибальною системою. При цьому заштриховані ділянки відповідають відхиленню формальної оцінки від фактичного рівня знань. Показано критичну зону переходу оцінки на межах інтервалів. Практично отримана деяка зона непевності і більш широка, так названа зона неповної впевненості . У межах цієї зони має місце фактичне завищення або заниження оцінки внаслідок її нівелювання. Спроби знайти вихід із цього утруднення призводять до появи на практиці в зоні проміжних оцінок, наприклад “3 +” і “4 -”.

У четвертому розділі дисертаційної роботи подано результати апробації розробленої автоматизованої системи “Тест” і проведено оцінку ефективності методів та моделей, викладених в другому і третьому розділах.

Для бази даних тестових завдань автоматизованої системи розроблено контрольні тести для поточного і рубіжного контролю за різноманітними дисциплінами. Виділено експериментальні групи, контроль знань в яких проводився за допомогою автоматизованої системи тестування і контрольні, вимір знань у яких проходив з залученням групи викладачів-експертів. Експериментальні і контрольні групи поставлено в однакові умови навчання, за винятком форми контролю. Вимоги до знань студентів на певну оцінку встановлено єдиними для різноманітних форм контролю.

Проведено дослідження процесу формування тестових завдань, які представлені у вигляді бази даних. Оцінка ефективності тестових завдань, які використано в експерименті, базується на роботах В.С. Аванессова. Коефіцієнти надійності тесту знайдено за формулою:

,

де – середній коефіцієнт кореляції тестових завдань. Для розробленого тесту “Теорія екстремумів” = 0,96, що дозволяє зробити висновок про задовільне розрізнення тестом випробуваних із різноманітним ступенем засвоєних знань і може бути застосовано для оцінювання знань.

Проведено статистичну обробку отриманих у ході експерименту даних. Оцінка розглядалася як випадкова величина, тобто кожне зі значень системи оцінок має ймовірність (). Очевидно, що . Ця сумарна ймовірність розподілена між окремими значеннями оцінок відповідно до закону розподілу. Автором доведено гіпотезу нормальності розподілів оцінок блоків контрольних і експериментальних груп і побудовано функції кривих нормального розподілу для різноманітних форм контролю.

Після вивчення кожної теми в контрольній групі проведено опитування респондентів. Знайдено частоти оцінок за формулою , де – частота оцінки , а – кількість оцінок , , k – кількість поділок на шкалі оцінювання (за п'ятибальною системою ), N – загальна кількість оцінок. На підставі значень та для контрольних і експериментальних груп, побудовано статистичний ряд. Визначено числові характеристики статистичного розподілу: математичне очікування , дисперсія , асиметрія , ексцес , середньоквадратичне відхилення і варіація . Виходячи з отриманих результатів, зроблено такі висновки: криві нормального розподілу для різноманітних груп варіюються. Оскільки було зроблено припущення, що респонденти знаходяться в однакових умовах навчання і рівні здібностей в укомплектованих групах практично не відрізняються, тому на точність оцінювання і на характер кривої впливає складність контрольної роботи і деякий параметр, який можна віднести до суб'єктивних факторів.

Автором розроблено метод оцінки впливу суб'єктивних факторів на якість оцінювання знань, до яких відноситься організація контролю, підготування групи до кожної форми контролю, поведінка студентів, настрій викладача, його особисте ставлення до студентів, і т.і. До кожної групи респондентів було застосовано правило додавання (розкладання) варіації в статистичному аналізі. Для даних груп можна обчислити такі види варіацій: загальну (), міжгрупову () і внутрішньогрупову ().

У висновках стисло сформульовано основні наукові та практичні результати роботи.

У додатках наведено тексти розроблених тестів, матриці результатів тестування, кореляційні матриці R, коефіцієнти надійності тестів , статистичні ряди контрольних і експериментальних груп, дані про суб'єктивні і об'єктивні фактори, показники -критерію Колмогорова.

.

ВИСНОВКИ

На базі проведеного аналізу існуючих методів і моделей оцінювання знань в автоматизованих системах тестування в дисертації запропоновано нове рішення наукової задачі розробки математичних методів і моделей оцінювання знань респондентів в автоматизованих системах тестування. У результаті вирішення даної задачі підвищиться якість контролю знань, а отже і якість підготовки фахівців в Україні.

Проведені дослідження дозволяють зробити такі висновки.

1. У роботі теоретично систематизовано й узагальнено принципи і математичні моделі побудови існуючих автоматизованих систем тестування. Проведено аналіз методів і моделей оцінювання знань в автоматизованих системах тестування.

2. Розроблено логіко-алгебраїчні методи і моделі оцінювання знань, які є основою математичного забезпечення автоматизованої системи тестування і дозволяють формалізувати процес оцінювання знань викладачем. Розроблено теоретичні підходи до формалізації процесу оцінювання знань респондента викладачем. Запропоновано застосовувати алгебру кінцевих предикатів для формалізації логіки викладача при вимірі знань. Розроблено метод коригування оцінки в помежовій області між близькими балами. Розроблені методи та математичні моделі оцінювання знань для традиційної п'ятибальної системи поширено для диференційованої R-бальної шкали. Розроблено метод запобігання угадуванню респондентом відповідей на запитання тесту, що заснований на теорії графів.

3. Розроблено метод оцінки впливу суб'єктивних факторів на якість оцінювання знань. Застосовано правило складання (розкладання) варіації до сукупності оцінок, отриманих при автоматизованому тестуванні та у викладачів-експертів. Таку вибірку зроблено за ознакою впливу суб’єктивних факторів на оцінку. Методи та математичні моделі оцінювання знань, що використовуються в автоматизованій системі тестування, дозволяють значно знизити вплив суб‘єктивних факторів, які домінують при традиційній формі контролю знань.

4. Доведено гіпотезу про невелику розбіжність результатів оцінювання знань респондентів у викладачів-експертів і автоматизованої системи тестування з використанням -критерію Колмогорова. Для цього одержані статистичні ряди груп різних форм контролю знань респондентів. Проведено порівняння інтегральних частот оцінок, що виставлені викладачами-експертами, з одного боку, і автоматизованої системи тестування з іншого. Одержано малі похибки при апробації розроблених методів і математичних моделей.

5. Проведено дослідження процесу формування тестових завдань, які представлені у вигляді бази даних. Обчислено валідність завдань тесту і коефіцієнт надійності, які показують, що питання тесту можуть з високим ступенем точності виявляти випробуваних з різним рівнем отриманих знань і база даних тестових завдань може бути застосована для оцінювання знань в автоматизованій системі тестування.

6. На базі розроблених у роботі математичних методів і моделей оцінювання знань респондента запропоновано цілісну технологію формалізації логіки викладача; розроблено алгоритм і відповідні програмні засоби автоматизованої системи “Тест”.

7. Автоматизована система “Тест” випробувана в цілому ряді вищих навчальних закладів: у Харківському державному аграрному університеті, у Харківській державній академії культури, в Українській державній інженерно-педагогічній академії та у Національному аерокосмічному університеті ім. М.Є. Жуковського “ХАІ”. Застосування даної системи в автоматизації навчального процесу дозволить підвищити якість оцінювання знань не тільки при традиційній формі навчання у вищому навчальному закладі, але і при дистанційній освіті.

СПИСОК ОПУБЛІКОВАНИХ АВТОРОМ ПРАЦЬ ДО ТЕМИ ДИСЕРТАЦІЇ

1. Асеев Г.Г., Ситников Д.Э., Демина В.М. Об одном логико-алгебраическом подходе к построению автоматизированных систем контроля знаний // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 1999.– Вып. 51.– С. .

2. Ситников Д.Э., Демина В.М. Представление процесса формирования оценки знаний в виде логических уравнений с конечными предикатами // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 2000.– Вып. .– С. . 

3. Ситников Д.Э., Демина В.М. Логический подход к оцениванию знаний по R-балльной системе // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 2000. – Вып. 125.– С. 41-45.

4. Ситников Д.Э., Дёмина В.М. Оценка эффективности автоматизированной контролирующей системы // АСУ и приборы автоматики. – Х., 2001.– Вып. 115.– С. 76-81.

5. Вакуленко В.М. Перевірка якості тестів для автоматизованого контролю знань // Зб. ст. аспірантів.– Х.: ХДІК, 1997.– С. 67-70.

6. Ситніков Д.Е., Асєєв Г.Г., Вакуленко В.М. Логічні засоби оцінювання знань студентів // Вісн. Харк. держ. акад. культури: Зб. наук. пр. – Х., 1999. – Вип. 1: Бібліотекознавство. Документознавство. Інформатика.– С. 176-181.

7. Відлагодження тестів для автоматизованого контролю знань / В.М. Вакуленко, О.М. Казюта, С.В. Мартинова, А.О. Вєтрова // Матеріали наук. конф. (квіт. 1995 р.) / ХДАУ.– Х., 1995.– С. 35-36.

8. Вакуленко В.М. Опыт создания тестов для автоматизированного контроля качества обучающихся информациологии // Проблеми оновлення вищ. бібл. та інформ. освіти: Анот. прогр. міжнар. семінару (м. Харків, 15-18 трав. 1995 р.).– Х., 1995.– С. 44.

9. Дёмина В.М., Ситников Д.Э. Оценивание знаний в автоматизированной контролирующей системе // Економіка, менеджмент, освіта в системі агропромисл. комплексу: Матеріали Всеукр. наук. конф. молодих учених-аграрників (Харків, 11-13 жовт. 2000 р.) / ХДАУ.– Х., 2000.– С. 141-145.

10. Дёмина В.М. Автоматизированный контроль знаний при традиционном и дистанционном обучении // Механізм господарювання і економічна динаміка в АПК: Матеріали міжнар. наук.-практ. конф., присв. 185-й річниці заснування ХДАУ ім В.В. Докучаєва. – Х., 2001. – С. . – (Вісн. ХДАУ. Сер. Економіка АПК і природокористування; № 9).

АНОТАЦІЯ

Дьоміна В.М. Методи та моделі оцінювання знань в автоматизованих системах тестування. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – автоматизовані системи управління та прогресивні інформаційні технології, Харківський національний університет радіоелектроніки, Харків, 2002.

У дисертаційній роботі запропоновано підхід до побудови математичного забезпечення автоматизованої системи тестування, в основу якого покладено логіко-алгебраїчні методи та моделі оцінювання знань, що моделюють логіку викладача при виставленні оцінки. Подані методи дозволяють оцінювати знання респондента, коригувати оцінку в помежовій області між близькими балами, а також запобігати угадуванню респондентом відповідей на запитання тесту. Це дозволяє підвищити точність виміру знань і покращити якість підготовки фахівців особливо при дистанційній освіті.

У роботі наведено метод оцінки впливу суб‘єктивних факторів на якість вимірювання знань. Також доведено гіпотезу про невелику розбіжність результатів оцінювання у викладачів-експертів та автоматизованої системи тестування.

Ключові слова: система автоматизованого тестування, методи та моделі оцінювання знань, моделювання логіки викладача, точність виміру знань, коригування оцінки, суб’єктивний фактор, дистанційне навчання.

ABSTRACT

Dyomina V.M. Methods and models of knowledge appraising in automated test systems.– Manuscript.

Thesis for a candidate's degree in technical sciences on speciality 05.13.06 – Automated Control System and Progressive Informative Technology, Kharkov State National University of Radioelectronics, Kharkov, 2002.

In this work the approach to mathematical software constructing of automated test system based on logical-algebraic methods and models of knowledge appraising which model the teacher’s logic while putting marks is proposed. Introduced methods solve to appraise the respondent’s knowledge, correcting mark in the frontier field between close grades and to avert respondent’s guess of answers to test’s questions as well. It gives the possibility to raise the accuracy of measuring of knowledge and to improve the quality of specialist’s preparation especially in distance education.

In the work the method of appraising of subjective factors influence on the quality of knowledge measuring (dimension) is resulted. The hypothesis on a bit difference of the results of teacher-experts appraising and automated test system is resulted as well.

Kay words: automated test system, methods and models of knowledge appraising, modelling of teacher’s logic, accuracy of knowledge measuring (dimension), correct of mark, subjective factor, distance education.

АННОТАЦИЯ

Демина В.М. Методы и модели оценивания знаний в автоматизированных системах тестирования. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 – автоматизированные системы управления и прогрессивные информационные технологии, Харьковский национальный университет радиоэлектроники, Харьков, 2002.

В предложенной диссертационной работе разработаны логико-алгебраические методы и модели, составляющие основу математического обеспечения автоматизированной системы тестирования, которые позволяют моделировать логику преподавателя при выставлении оценки.

Представлен анализ существующих методов и моделей оценивания знаний в автоматизированных системах тестирования. Доказано, что в наиболее распространенных рейтинговых системах тестирования оценка несет количественный, а не качественный характер, присущий отметке при традиционном контроле с личным участием преподавателя; она не соответствует традиционной пятибалльной или новой двенадцатибалльной системе и требует перевода в одну из указанных шкал, что приводит к искажению при измерении знаний. Оценка, полученная таким образом, отличается от выставленной преподавателем. Следовательно, разработка автоматизированных систем тестирования, которые бы применяли методы оценивания знаний, присущие преподавателю, является актуальной задачей.

Предложена теория перехода от нечетко формализуемых понятий к логически формализуемым количественным понятиям, в которой впервые применена алгебра конечных предикатов. Впервые предложено использовать понятие конечного предиката для оценивания знаний, а также применять алгебру конечных предикатов для формализации логики преподавателя при измерении знаний. Доказано, что любой предикат, отражающий оценивание конкретной темы, может быть записан на языке алгебры конечных предикатов. Предложено оценивание и измерение знаний проводить в два этапа: оценивание в пределах темы на нижнем уровне и итоговое оценивание. Формализован метод оценивания знаний респондента в зоне неполной уверенности для определения оценки в пограничной области между близкими баллами. Развит и усовершенствован метод предотвращения угадывания респондентом ответов на задания теста, основанный на теории графов. Применение теории графов также позволило построить модель взаимосвязи структур баз данных тестирования, которая отражает анализ логической структуры учебного материала и анализ структуры полученных знаний. Представленные методы и математические модели оценивания знаний для автоматизированного тестирования формализованы для традиционной пятибалльной системы, общей R-балльной и двухбалльной по типу “зачтено” “не зачтено”.

На основании теоретических разработок, предложенных в работе, созданы алгоритм и программные средства автоматизированной системы “Тест”, которая внедрена в ряде вузов: в Харьковском государственном аграрном университете, в Харьковской государственной академии культуры, в Украинской государственной инженерно-педагогической академии и в Национальном аэрокосмическом университете им. Н.Е. Жуковского “ХАИ”.

Проведено исследование процесса формирования тестовых заданий, представленных в виде базы данных тестирующей системы, которые разработаны для проведения эксперимента по оценке эффективности автоматизированной системы тестирования. В результате проведенных вычислений был сделан вывод о том, что представленные тесты хорошо различают испытуемых с различным уровнем полученных знаний. База данных тестовых заданий может быть применена для оценивания знаний обучаемых в автоматизированной системе тестирования.

Разработан метод оценки влияния субъективных факторов на качество оценивания знаний. Показано, что при традиционной форме контроля с личным участием преподавателя на качество оценивания знаний влияют субъективные факторы. При автоматизированном тестировании этот параметр значительно снижается и практически стремится к нулю.

Проведено исследование расхождения в оценивании знаний между преподавателями-экспертами и автоматизированной системой тестирования. Доказана гипотеза о небольшом различии результатов оценивания при различных формах контроля с применением -критерия Колмогорова. При апробации разработанных методов и математических моделей получены малые погрешности результатов оценивания знаний респондентов.

Оценка знаний респондента, выставленная автоматизированной системой тестирования, несет не только количественный параметр, но и качественную характеристику, свойственную отметке при традиционном контроле с личным участием преподавателя. Она соответствует традиционной пятибалльной системе, на нее практически не влияют субъективные факторы, которые в той или иной мере искажают измерение знаний при традиционном контроле. Кроме того, доказана гипотеза о небольшом расхождении результатов оценивания при традиционном и автоматизированном контроле, моделирующем логику преподавателя.

Автоматизированная система тестирования может быть использована при автоматизированном оценивании знаний респондентов не только при традиционном, но и при дистанционном образовании.

Ключевые слова: система автоматизированного тестирования, методы и модели оценивания знаний, моделирование логики преподавателя, точность измерения знаний, корректировка оценки, субъективный фактор, дистанционное образование.

Відповідальний за друк Горбенко І.Д.

Підп. до друку 11.04. 2002 р. Формат 60х84/16

Обсяг: 1,2 ум.-друк. арк., 1,0 – вид. арк.

Тираж 100. Замовлення___

ХНУРЕ. Україна. 61166, Харків, просп. Леніна, 14.

Надруковано в учбово-виробничому видавнично-поліграфічному центрі ХНУРЕ.

61166. Харків, просп. Леніна, 14.