теорії ІRТ функцію (р{в) називають "Item response function" (ІRF). Спеціальну назву має графік такої функції - характеристична крива j-ого завдання (ІСС). При виборі вигляду функції Рj враховують обставини як емпіричного, так і математичного характеру. Припустивши, що значення латентних параметрів змінних і мають нормальний розподіл, маємо дві такі фyнкції. Одна з них зазвичай позначається - деяка логістична функція, інша - інтегральна функція нормованого нормального розподілу. Оскільки для одних і тих самих значень x ординати точок графіків функцій і відрізняються мало, а саме:
,
то на практиці перевагу віддають функції , адже в неї значно простіше аналітичне задання, вигідне для оцінювання .
Кількість параметрів у такому аналітичному заданні функції розбиває сімейства ІКF на класи. Серед логістичних функцій розрізняють:
однопараметричну модель Дж. Раша:
двопараметричну модель А. Бірнбаума:
трипараметричну модель А. Бірнбаума:
У кожній з моделей параметри і виражаються як показники єдиної для всіх моделей шкали логітів. Уведення єдиної шкали логітів для елементів цих двох різних множин дозволяє ввести взаємозв’язок між змінними у вигляді різниці, оцінити складність завдань тесту незалежно від рівня підготовки груп учасників тестування.
РОЗДІЛ 3
Основні математичні моделі
3.1. Трипараметрична модель Бірнбаума
Для тестів із завданнями в закритій формі інколи спосте-рігається суттєве відхилення емпіричних даних від теоретичної кривої, що характеризує ймовірність правильного виконання за-вдання при різних значеннях параметра . Такий ефект найбільш характерний для учасників із низькими значеннями параметра при відповідях на найскладніші завдання тесту. Спроби з'ясувати причини такого відхилення привели творців сучасної теорії тестів до висновку про вплив ефекту вгадування правильної відповіді на достовірність емпіричних даних [14, 15].
Можливо, що учасники тестування з різним рівнем знань користуються різними методами при виборі правильної відповіді. Точніше, методами користуються тільки ті з них, хто володіє достатніми знаннями для правильного вибору. Інші ж, знання яких характеризуються низькими значеннями параметра , просто вгадують правильну відповідь на завдання. І чим складніше завдання, тим імовірніше, що відповідь одержана саме таким чином. Для того, щоб урахувати фактор вгадування, А. Бірнбаум запропо-нував трипараметричну логістичну модель [29].
У такому випадку ймовірність правильної відповіді студентом на j-те завдання тесту знаходять за формулою:
,
де, крім попередніх позначень, введено третій параметр cj, що характеризує ймовірність правильної відповіді учасником тестуван-ня на j-те завдання тесту при відсутності знань у студента, тобто сj - це ймовірність вгадування правильної відповіді на j-те завдання. Наприклад, для завдання з п'ятьма варіантами відповідей за кла-сичним означенням сj =0,2, а з чотирма запропонованими відпо-відями сj= 0,25.
Графік характеристичної кривої j-го завдання у разі трипараметричної моделі зображено на рисунку 3.1.
Рис. 3.1. Характеристична крива j-ого завдання теста для трипараметричної моделі
Цікаво порівняти кривизну кривої на малюнку із зображеною характеристичною кривою завдання, що має ту ж точку перегину, але нижньою асимптотою якої є вісь в (с, = 0). На основі такого порівняння легко бачити, що наявність третього параметра (с, ^ 0) перетворює характеристичну криву на більш похилу. Таким чином, ефект вгадування знижує диференціюючу здатність завдань тесту.
3.2. Математична модель перевірки валідності адаптивної системи тестування
У сучасних адаптивних системах контролю знань використовується значно більша кількість завдань, в порівняні із класичним тестом, і вони підбираються індивідуально до кожного студента відповідно до рівня його підготовки і корисності. Тому класичні статистичні методи аналізу результатів тестування не влаштовують нас при визначенні валідності, оскільки вони прийнятні тільки тоді, коли всі студенти виконують однакові завдання і після закінчення тестування можна скласти прямокутну матрицю результатів. А адаптивне тестування передбачає виконання завдань студентами різних спеціальностей, різної кількості завдань і ймовірність того, що хоча б два студенти виконають одні й ті ж завдання при проходженні випробування, низька. Матриця результатів матиме різну довжину стовпчиків, або різну довжину рядків. Якщо взяти найбільшу довжину і доповнити таку таблицю до прямокутної, заповнивши порожні клітинки значеннями від 0 до 1, то спотворимо результати тестування. Тому слід шукати нові методи визначення валідності засновані на класичній статистичній методиці.
Одним із можливих варіантів може бути визначення валідності кожного окремого завдання банку знань, яке виконували студенти (очевидно, що для завдання, яке ніхто не проходив, немає сенсу шукати валідність емпіричним способом). Крім цього, повинна забезпечуватись ще й варіація балів. Враховуючи, що валідність тесту може і має обчислюватись для кожної групи студентів, варто обирати завдання, які дістались трьом і більше студентам.
Отже, якщо маємо результати тестування деякої групи студентів, то наша “матриця” матиме приблизно такий вигляд:
Таблиця 1. Матриця результатів адаптивного тестування.
№ завдання | Студент 1 | Студент 2 | Студент 3 | Студент 4 | Студент 5
1 | 1 | 0 | 1 | 1
2 | 0 | 1 | 1
3 | 0 | 0 | 1
4 | 1 | 1 | 1 | 1
5 | 1 | 1 | 0 | 0 | 0
6 | 1 | 1 | 1 | 1 | 0
В цій таблиці 1 – правильна відповідь, 0 – неправильна відповідь, порожня клітинка – не давав відповіді на питання.
З такою матрицею робити математичні розрахунки неможливо.
Тому, будемо рухатись по кожному завданню. Позначимо через xi числову оцінку успішності виконання завдання i-им студентом. Результати тестування звичайно подають-ся у вигляді вектора {xi} (i=). Вектор тестових результатів показує результат виконання всіх завдань учасниками тестування. На практиці прийнято, як правило, використовувати дихотомічну шкалу оцінок результатів. Унаслідок правильного виконання завдання