Існуючі в цій теорії методи оцінки надійності тесту дають зниження надійності при включенні в тест помітно легких і важких завдань. У той же час захоплення завданнями однієї лише середньої складності призводить до серйозної деформації змісту тесту: останній втрачає здатність відображати зміст досліджуваної дисципліни, в якій завжди є легкий і важкий матеріал. Таким чином, у погоні за теоретично високою надійністю губиться змістовна валідність тесту. Прагнення ж підняти валідність нерідко супроводжується зниженням його надійності. У науковій літературі це називається парадоксом Ф.Лорда, який описав цей парадокс із точки зору статистичної теорії тестів.
1.4. Знання як об’єкт для виміру
Класифікація знань
При тестуванні виявляються як знання, так і незнання, що до-сягається за допомогою системи завдань, спрямованих на виявлення знань. У рамках інформаційної моделі навчання знання визначаєть-ся як інформація про ту чи іншу предметну область, зафіксована в реченнях звичайних чи спеціалізованих мов. Тому можна сказати, що оцінка якості знань залежить не тільки від змісту навчальної дисципліни, але й від якості фіксації в змісті тесту таких елементів, які дозволили б оцінити міцність, повноту, глибину, оператив-ність, гнучкість, конкретність і узагальненість, системність і си-стематичність, а також інші відомі в літературі характеристики знань. Для вирішення завдань виміру знань корисне ще одне визна-чення знання: це об'єктивно й суб'єктивно достатнє визнання істинності судження. Знання, що виявляється у відповіді на конк-ретне завдання тесту, можна розглядати як логічне судження. B. S. Bloom і R. М. Gagne запропонували таку класифікацію знань:
знання назв, імен;
знання змісту назв і імен;
фактуальні знання;
знання визначень;
порівняльні знання;
класифікаційні знання;
знання протилежностей, протиріч, синонімічних і анто-німічних об'єктів;
асоціативні знання;
причинні знання, знання причинно-наслідкових відно-шень, знання основ, принципів класифікації;
10) процесуальні, алгоритмічні, процедурні знання;
11)технологічні знання;
узагальнені, системні знання;
імовірнісні знання;
14)абстрактні знання;
15)структурні знання;
16) методологічні знання.
Перераховані види знань не утворюють поки що повної кла-сифікаційної системи й тому допускають можливість помітного розширення поданої номенклатури, заміни одних видів знань іншими, об'єднання їх у різні групи.
Оцінювання, оцінка й вимір знань
У світовій педагогічній літературі використовується близьке до виміру поняття "evaluation", що можна перекласти як "оціню-вання", маючи на увазі не тільки кінцевий результат, але й процес формування оцінки. Відповідно виділяються два основних види оцінювання - формуюче й підсумкове. Мета першого - робити, за допомогою оцінювання, вплив на поточний процес навчання за рахунок установлення зворотного зв'язку від студента до викладача. Мета другого - одержати підсумкові результати навчання. Оцінка, як поняття, має два основних значення: 1) судження про цінність (чи значимість); 2) приблизна характеристика деякої величини. Оцінки поділяються на дві групи: абсолютні й відносні. У фор-мулюванні відносних оцінок використовуються терміни "добре", "погано" й т. п. Оцінки викладачів вузів ближчі до абсолютних оцінок, розділених на чотири рівні (градації) – відмінно, добре, задовільно й незадовільно.
Вимір знань і його об'єктивність
Для виміру знань вимагаються емпіричні показники. Ними є нині будь-які методи контролю знань, хоч інтуїтивно зрозуміло, що вони неоднаково подають знання. Апріорі можна стверджувати, що тест це робить краще через більшу його обґрунтованість. В основу обґрунтування якості тесту, крім згаданої вище інтерпретації одержуваних результатів, покладені концепція і модель виміру, а також дані статистичної обробки й інтерпретації результатів перевірки знань. Зазвичай інтерпретація результатів тестування не є важкою справою. Отримана сума балів приймається за відповідний рівень знань, хоч кожний визнає, що знання і бали, отримані за показниками знань, - різні явища. Адже можна придумати тисячі різних показників і всі вони будуть із різною кількістю балів указувати на рівень знань. Головна теза інтерпретації - не хто що знає, а хто за даним набором завдань виявився вище чи нижче. Хоч при такій інтерпретації завжди залишається місце для критики тесту з позиції неповноти його змісту, в практиці цей підхід завжди виявлявся вирішальним через можливість скоротити кількість завдань і приймати рішення на основі тесту з меншою кількістю завдань. Власне кажучи, це форма редукції, успіх якої залежить від якості розробки тесту й від обґрунтування валідності скороченого тесту з нормативно орієнтованою інтерпретацією.
Поняття ефективності тесту
Ефективним можна назвати тест, який краще, ніж інші тести, вимірює рівень знань за певним критерієм, із меншою кількістю завдань, якісніше, швидше, дешевше, й усе це, по можливості, в комплексі. Поняттю "ефективність" близьке за змістом поняття "оптимальність". Це поняття трактується як найкраще з можливих варіантів із погляду задоволення декількох критеріїв, узятих по черзі чи разом. Ефективний тест не може складатися з не-ефективних завдань. У такому разі природно порушити питання про ознаки, що відрізняють ефективне завдання від неефективного. З погляду змісту, ефективне завдання перевіряє важливий елемент змісту навчальної дисципліни, що нерідко називають ключовим для необхідної структури знань випробуваних. У тест відповідно вклю-чаються тільки такі завдання, які експерти визнають як ключові елементи досліджуваної навчальної дисципліни. У визначенні ефективності тесту звертається увага на два ключових елементи - кількість завдань тесту й рівень підготовленості тих, хто проходить цей тест. Якщо з якого-небудь тесту з великою кількістю завдань зробити оптимальний вибір меншої кількості, то може утворитися система, що не поступається помітно за своїми властивостями тесту з порівняно великою кількістю завдань. Тест із меншою кількістю завдань у такому випадку можна називати більш ефективним[35].
Ефективність тестів може залежати й від форми. Порушення тестової форми завжди призводить до гіршого вираження змісту й до гіршого розуміння змісту завдання випробуваними. Ефектив-ність тесту залежить також і від принципу підбору завдань. Якщо підбирати завдання