1. При використанні архітектури "тонкий" клієнт – "товстий" сервер тестування відбувається в режимі віддаленого доступу. В рамках ЛОМ це не викликає ніяких особливих проблем. Тестування відбувається в штатному режимі (по одному питанню), запуск зовнішніх процесів відбувається через RPC (Remote Process Call), існує можливість застосування схем адаптивного тестування.

При наявності високошвидкісного каналу можливий аналогічний доступ через Інтернет. Основна проблема при цьому пов’язана із зовнішніми процесами, які необхідно оформляти як Інтернет додатки.

2. При використанні архітектури "товстий" клієнт – "тонкий" сервер в задачі сервера входить: зберігання інформації про результати тестування; організація взаємодії підсистеми контролю знань, що розміщена на машині клієнта, і допоміжного програмного забезпечення (ДПЗ).

Централізоване зберігання бази даних з результатами тестування має наступні переваги [4, 12];—

надійний захист від несанкціонованого доступу;—

простота організації віддаленого адміністрування;—

широкі можливості статистичної обробки даних.

Для "тонкого" клієнта цей підхід взагалі є єдино можливим, а для "товстого" клієнта можна передбачити тимчасову буферизацію результатів тестування у випадку відсутності доступу до сервера.

Під час контролю знань ДПЗ може бути застосовано при оцінюванні відповідей (перш за все, текстових і графічних) і при аналізі результатів тесту (наприклад, для визначення причини неправильних відповідей).

Використання ДПЗ дозволяє розширити функціональні можливості системи. Але оцінка відповідей за допомогою ДПЗ призведе до збільшення часу реакції системи.

Таким чином, для тестування через Інтернет, а також для ситуації використання ДПЗ для оцінки відповідей, необхідно (наряду з інтерактивним режимом) передбачений пакетний режим тестування.

Під пакетним режимом розуміють використання лінійної схеми тестування: користувач спочатку відповідає на всі запитання, а потім система оцінює відповіді. Порогова, адаптивна і інші схеми пропонують облік оцінок поточних відповідей в процесі тестування, тому не підходить для пакетного режиму.

На даний момент часу існує велика кількість систем контролю знань (СКЗ), які виконані у вигляді окремих програмних продуктів (наприклад, Конструктор тестів), так і вбудованих в навчальні системи (наприклад, у всіх АНС передбачений контроль знань)

Аналіз існуючих СКЗ виявив наступні недоліки цих систем;—

Обмежена кількість типів завдань. Не у всіх системах реалізовані навіть основні форми (за Аванесовим) представлення завдань.—

Відсутність методів диференціального оцінювання відповідей. Існують тестової системи, в яких оцінка може бути диференційованою, але це реалізується неформальними способами:

а) задається декілька еталонів, один з яких є абсолютно правильним, а інші – частково правильними (для них вказується більш низький бал, ніж для абсолютно правильного еталону);

б) користувачу дається N можливостей для відповіді: якщо він відразу відповів правильно, від дістає максимальний бал, якщо з і-ої спроби (i?N), то оцінка зменшується пропорційно значенню і.—

Слабкі можливості параметричного налаштування тесту.—

Відсутність відкритої архітектури. Закритість систем обумовлюється:

а) Зберіганням тестів в базі даних системи;

б) Відсутністю можливості підключення зовнішніх модулів для представлення питань, отримання відповідей і оцінки відповідей;

в) Обмеженою кількістю алгоритмів формування тестів і управлінням проведення тестового контролю.—

Багато СКЗ надають можливості віддаленого тестування (через Internet), але можливості таких систем є ще більш обмеженими у порівнянні з локальними СКЗ [13] (хоча дане твердження можна частково спростувати, можливості сучасних засобів для розробки Інтернет додатків дають змогу створювати доволі серйозні і складні програмні продукти).

1.3 Вимоги до систем контролю знань

При створенні системи контролю знань необхідно:—

Зробити систему максимально відкритою;—

Забезпечити переносимість тестів на рівні їх вихідних текстів;—

По можливості врахувати всі типи завдань і відповідей;—

Реалізувати методи оцінювання відповідей різних типів, які дозволять диференціальне оцінювання відповідей користувача.

Для вирішення цієї задачі необхідно:—

Проаналізувати різні типи завдань і відповідей;—

Ввести метрику для визначення степені подібності відповідей користувача і еталонних відповідей;—

Розробити формат опису тестів, який враховує різні варіанти відповідей і завдань і можливість підключення зовнішніх модулів.

Будь-яка система контролю знань включає в себе багато пропонованих запитань, правильні відповіді на них і правила визначення коректності відповідей, отриманих в ході опитування. Тому опис тесту складається з наступних частин:—

Опис правил формування тесту із списку контрольних завдань і методів оцінки результатів тесту в цілому;—

Опис завдань;—

Опис еталонів відповідей і методів оцінок відповідей, отриманих в ході опитування.

1.4 Аналіз відповідей користувача

Одним із основних блоків спеціалізованого математичного забезпечення АНС є блок аналізу відповідей користувача, який функціонує наступним чином. При використанні будь-якого способу вводу відповіді виділяються деякі ознаки, у відповідності з якими відповідь відноситься до категорії правильних або неправильних.

1.4.1 Представлення завдань і відповідей

Завдання – це передача інформації по прямому каналу зв’язку (від системи до користувача). За звичай він оформляється у вигляді тексту, можливо, супроводжується графічною ілюстрацією або звуковим повідомленням.

В реальних системах найбільш розповсюджена в СКЗ форма відповідей – вибіркова: завдання супроводжується декількома готовими варіантами відповідей, з яких необхідно вибрати один, рідше – декілька правильних відповідей. Другим за популярністю йде числова відповідь, за звичай, як результат вирішення запропонованої задачі. Крім цього, інколи використовується текстова відповідь, але (за деяким виключенням) без аналізу, тобто правильною відповіддю вважається відповідь, яка повністю співпадає з еталоном (або з декількома еталонами, як це реалізовано в запропонованій системі d-tester). Деякі системи контролю знань підтримують також окремі специфічні форми відповідей, наприклад, дозволяють створювати структурні схеми на заданій елементній базі або вибирати визначену область на графічному зображенні. Але подібні форми відповідей не мають широкого застосування, так як не володіють достатнім рівнем абстракції.

На основі аналізу існуючих тестових систем можна виділити:—

Типи завдань (за формою представлення):

а) Текст;

б) Зображення;

в) Процес.

г) Звукове повідомлення (зводиться до типів "текст" і/або "процес").—

Типи відповідей (за формою вводу і представлення):

а) Множина елементів (невпорядкована);

б) Список елементів (впорядкований);

в) Вираз (арифметичний);

г) Фраза (текст);

д) Зображення;

е) Звукове повідомлення (зводиться