Якщо за правильне виконання завдання студент отримує оди-ницю, а за неправильне - нуль, то бал виражає кількість правильно виконаних завдань. Результат можна оцінювати не лише нулем чи одиницею, але й присвоювати певний ваговий коефіцієнт, що відповідає складності завдання.

Індивідуальні початкові бали всіх студентів yi, i= ми легко можемо отримати з бази даних, оскільки наша модель базується на деяких вхідних статистичних (емпіричних) даних. yi – результат (індивідуальний бал) i-го студента після проходження тесту (кількість усіх правильних відповідей).

Обчислюємо середній результат сумарних балів учасників тестування та середній результат студентів за даним завданням:

, .

Важливою вимогою до тестових завдань є їх об'єктивний рівень складності [7]. У тесті немає місця завданням з невідомою мірою складності. Завдання стають тестовими лише після емпі-ричної перевірки міри їх складності.

Складність завдань можна визначати двома способами [18]:

- на основі оцінки передбачуваної кількості й характеру
розумових операцій, необхідних для вдалого виконання завдань;

- на основі емпіричної перевірки завдань із підрахунком част-ки неправильних відповідей.

У класичній теорії тестів багато років розглядалися тільки емпіричні показники складності [28]. У сучасних теоріях навчаль-них тестів, які використовуються в дистанційному навчанні, більше уваги приділяється характеру розумової діяльності в процесі виконання тестових завдань різних форм.

Емпірично складність завдання визначається додаванням еле-ментів матриці за рядками і дорівнює кількості правильних відповідей, отриманих за кожним завданням (Rj). Чим більше правиль-них відповідей на завдання, тим воно легше для даної групи студентів [22].

У силу простоти показник Rj зручний, але до тих пір, поки не з'являться інші групи з іншою кількістю студентів. Тому для одер-жання об'єктивних характеристик й, ділять на кількість студентів у кожній групі (об'єм вибірки):

.

У результаті отримаємо нормований статистичний показник – частку правильних відповідей, pj. Статистика рj довго викорис-товувалася як показник рівня складності завдання в класичній теорії тестів. Пізніше була усвідомлена певна її неточність: адже збільшення значення рj означає не зростання складності завдання, а, навпаки, зростання легкості. Тому з показником складності завдань стали асоціювати протилежну статистику - частку неправильних відповідей, qj.Вона обчислюється як відношення кількості неправильних відповідей Wj (від англ. wrong – неправильний) до кількості учасників тестування п:

, .

Наступною вимогою до тестових завдань є варіація балів.

Якщо на деяке завдання правильно відповідають усі студенти, то таке завдання стає нетестовим. Учасники тестування відпові-дають на нього однаково: між ними немає варіації. Відповідно даним завданням в матриці будуть стояти лише одиниці. Не тесто-вим вважається завдання, на яке немає жодної правильної відповіді. Варіація щодо нього теж дорівнює нулю. Нульова варіація означає практичну необхідність викидання завдання з тесту [33].

Зручною мірою варіації є значення дисперсії і стандартне відхилення sу сумарних балів учасників тестування:

,

та дисперсія - дисперсія результатів студентів з j-го завдання:

.

Якщо успішність виконання завдання оцінюється балами 0 чи 1, то міра варіації визначається формулою: або .

Обчисливши дисперсію, можна знайти й стандартне відхи-лення .

Завдання в тестовій формі не можна назвати тестовим, якщо воно не корелює із сумою балів з усього тесту [16]. Для цього можна використовувати коефіцієнт кореляції Пірсона:

Зі збірника завдань викидаємо завдання, що не володіють дискримінативністю: pj >0,9 (надто легкі), pj <0,2 (надто важкі). Виключають завдання, що погано корелюють із сумою балів ( <0,15), і негативні коефіцієнти кореляції. Для зменшеного списку завдань складається нова впорядкована таблиця, для якої пе-рераховуються вищезгадані показники.

Крім того, отримані тестові завдання повинні задовольняти критерій надійності та валідності.

Надійність тесту тим вища, чим більш погоджені результати
учасника тестування при повторній перевірці знань за допомогою
того самого тесту [17]. Погодженість можна вимірювати коефі-цієнтом надійності Кьюдера-Річардсона:

.

Якщо 0,8 0,89 - тест має високу надійність, якщо 0,9 - надійність дуже висока. Чим вищий показник надійності, тим менша помилка виміру індивідуального результату.

Валідність тесту показує, наскільки добре тест робить те, для чого він був створений [8]. Визначити коефіцієнт валідності тесту означає встановити, як виконання тесту співвідноситься з іншими незалежно зробленими оцінками знань учасників тестування. Для визначення валідності необхідним є незалежний зовнішній критерій, тобто оцінка експерта (викладача). За коефіцієнт валідності приймають коефіцієнт кореляції результатів тестових вимірів і критерію. Якщо експертна оцінка знань студентів, отримана незалежно від процедури тестування, представлена числовою послідовністю Y1, Y2 , …, Yn, то коефіцієнт валідності тесту може бути обчислений так:

,

де , - cтандартне відхилення експертних оцінок.

Висновки

В ході виконання дипломної роботи були здійснені дослідження, систематизація, опис методології, методики й технології побудови адаптивних систем дистанційного навчання і контролю знань. Дослідження показали важливість перевірки валідності тесту в процесі навчання студента в адаптивній системі контролю знань.

Оскільки під час дистанційного навчання відсутнє “живе” спілкування, яке відбувається між викладачем і студентом в процесі звичного навчання і дає можливість викладачу корегувати навчальний процес, виникла необхідність надання таких можливостей і автоматизованим системам навчання. Коли б викладання курсу відбувалося для всіх студентів по одному стандарту, не для всіх цей стандарт підходив би. Проблемі адаптації і присвячена проведена наукова робота.

Отримані такі нові наукові та практичні результати:

систематизовано і описано інформаційно-структурну модель перевірки валідності.

побудовано математичну модель перевірки валідності у адаптивній системі дистанційного навчання. Створення цих двох моделей сприяло більш гнучкішій адаптації параметрів заняття до характеристик даного конкретного студента.

Дані результати є важливими у дослідженні взаємодії студента та автоматизованої системи навчання, так як валідність є новою і перспективною