для виміру на всьому діапазоні зміни склад-ності, то знижується точність виміру на окремій ділянці. І, навпаки, якщо прагнемо точно виміряти знання випробуваних, наприклад, середнього рівня підготовленості, то це буде вимагати більшої кількості завдань саме даного рівня складності. Тому тест не може бути ефективним узагалі, на всьому діапазоні підготовленості випробуваних. Він може бути більш ефективний на одному рівні знань і менш - на іншому. Саме цей зміст вкладається в поняття диференційної ефективності тесту[26].
Виходячи з вищесказаного, можна зробити висновок, що практично всі змінні, які використовуються для аналізу освітнього процесу, є латентними (прихованими), тобто безпосередньо не вимірюваними. Найбільш часто використовується в освітньому процесі латентна змінна - рівень знань тих, хто навчається. При використанні традиційної або класичної системи тестування латентна змінна - рівень знань - вимірюється як частка правильних відповідей. Перевага цієї системи вимірювання в тому, що вона проста, наочна й легкодоступна для розуміння. Проте ця система володіє істотними недоліками. Так, оцінка рівня знань залежить від набору тестових завдань. Результати ж об'єктивних вимірювань не повинні залежати від вимірювального інструмента, що викорис-товується (в даному випадку набору тестових завдань), а також результати вимірювання при використанні класичної системи тестування є істотно нелінійними. Система тестування, а точніше система вимірювання латентних змінних, що використовується, на основі адаптивних тестів принципово відрізняється від найвідомішої класичної або традиційної системи тестування за багатьма аспектами. Обмеження, які з'являються при використанні відпо-класичної теорії тестів, при цьому багато в чому зніма
за все це можливість, на відміну від традиційної системи тесту-вання, одержати більш об'єктивні оцінки. Так, при використанні традиційної системи тестування (вимірювання) рівень знань визначається часткою правильних відповідей. Проте така оцінка залежить від складності завдань у тесті. Якщо тест складається з легких завдань, частка правильних відповідей буде високою, якщо з важких завдань, то - низькою, тобто оцінка рівня знань при використанні традиційної системи вимірювань не може вважатися об'єктивною. Принциповою відмінністю системи тестування на основі адаптивних тестів є те, що оцінка рівня знань студентів не залежить від складності тесту, тобто є об'єктивною. Це означає, що такі оцінки рівня знань можуть бути ефективно використані для вирішення будь-яких задач оптимізації навчального процесу – оцінки ефективності педагогічних інновацій і технологій, моніторингу й т. д.
1.5. Поняття валідності
Валідність – обґрунтованість і адекватність дослідницьких інструментів (операціоналізованих понять, вимірювальних операцій та експериментів).
Валідність тесту. Апріорна валідність – попереднє, інтуїтивне оцінювання змістової валідності тесту. Внутрішня валідність – неформальна процедура, що її використовують для визначення валідності тесту. Змістова валідність – оцінювання валідності інструмента тестування, засноване на детальному дослідженні змісту пунктів тесту. Інкрементна валідність – поняття, що означає кількість додаткової, валідної інформації, що її одержують за допомогою тесту. Конгруентна валідність – метод встановлення валідності нового тесту. Консенсуальна валідність – неформальна процедура для оцінювання валідності, заснована на певній угоді (консенсусі) якомога більшої кількості людей.
Валідність теста - поняття, що вказує нам на те, що тест вимірює, і наскільки добре він це робить. Валідність свідчить про те, чи придатна методика для вимірювання визначених якостей, особливостей і наскільки ефективно вона це робить. Найбільш поширеним способом знаходження теоретичної валідності методики є конвергентна валідність, тобто зіставлення даної методики з авторитетними близькими методиками і доводів значимих зв’язків з ними. Зіставлення з методиками, які мають іншу теоретичну основу і констатація відсутності значимих зв’язків з ними, називається дискримінантною валідністю. Інший вид валідності – прагматична валідність – перевірка методики з точки зору її практичної значимості, ефективності, корисності. Для проведення такої перевірки як правило, використовується так звані незалежні зовнішні критерії, тобто використовується незалежне від тесту, зовнішнє джерело інформації про виявлення в реальному житті і діяльності людей вимірюваного психічного порушення. Серед таких зовнішніх критеріїв можуть бути успішність, професійні досягнення, успіхи в різних видах діяльності, суб’єктивні оцінки (або самооцінка). Для перевірки валідності тесту можна використовувати метод відомих груп, коли запрошуються люди, про яких відомо, до якої групи за критерієм вони відносяться (наприклад, група успішних, дисциплінованих студентів – високий критерій, і група невстигаючих, недисциплінованих студентів – низький критерій, а студенти з середнім значенням не беруть участь в тестуванню). Величини коефіцієнта валідності завжди нижче за коефіцієнт надійності. В залежності від специфіки самої діагностичної методики і зовнішнього критерію розрізняють декілька її видів : 1. Валідність по одночасності, або поточна валідність – визначається за допомогою зовнішнього критерію, інформація по якому збирається в період проведення дослідження (успішність, продуктивність). 2. Прогностична або передбачаюча валідність відрізняється тим, що інформація за зовнішнім критерієм збирається дещо пізніше за часом після проведення дослідження. 3. Ретроспективна валідність – визначається на основі критерію, який відображає події або стан якості в минулому. Вона також може свідчити про передбачення можливостей методики. Ще одна класифікація валідності : 1. Теоретична – її перевіряють за кореляційними показниками однієї і тієї ж властивості отриманої за допомогою різних методик. 2. Емпірична – перевіряється за відповідністю діагностичних показників реальної поведінки, спостерігаємим діям та реакціям досліджуваного. 3. Внутрішня – означає відповідність завдань, субтестів, суджень, що містяться в методиці. 4. Зовнішня – майже емпірична але в одному випадку мова йде про зв’язок між показниками методики та найбільш важливими зовнішніми ознаками, які відносяться до поведінки досліджуваного. Перевірка методики на валідність – називається валідизацією. Критерії валідності : - низький –0,2-0,3. – середній –0,3-0,5. – вищий