ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ
ІНСТИТУТ ПРОБЛЕМ МАТЕМАТИЧНИХ МАШИН І СИСТЕМ
ФЕДОРУК ПАВЛО ІВАНОВИЧ
УДК 681.3.068
СИСТЕМА ДИСТАНЦІЙНОГО НАВЧАННЯ ТА КОНТРОЛЮ ЗНАНЬ НА БАЗІ ІНТЕРНЕТ-ТЕХНОЛОГІЙ (НА ПРИКЛАДІ МЕДИЧНИХ ВУЗІВ)
01.05.03 Математичне та програмне забезпечення обчислювальних машин і систем
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Київ - 2001
Дисертацією є рукопис.
Робота виконана на кафедрі медичної інформатики Київської медичної академії післядипломної освіти ім. П.Л.Шупика Міністерства освіти і науки України.
Науковий керівник: доктор медичних наук,
професор Мінцер Озар Петрович, Київська медична академія післядипломної освіти ім. П.Л.Шупика завідувач кафедри медичної інформатики
Офіційні опоненти:
доктор технічних наук, старший науковий співробітник Різник Олександр Михайлович, Інститут проблем математичних машин і систем НАН України, м. Київ, завідувач відділом
кандидат технічних наук, старший науковий співробітник Кудрявцева Світлана Павлівна, Міжнародний науково-навчальнийо Центр інформаційних технологій та систем ЮНЕСКО/МПІ НАН України і Міністерства освіти і науки, м. Київ, завідувач відділом
Провідна установа:
Національний технічний університет України “К П І”, кафедра обчислювальної техніки, м. Київ
Захист відбудеться “16” січня 2002 року о 14 годині на засіданні спеціалізованої вченої ради Д26.204.01 в Інституті проблем математичних машин і систем НАН України за адресою: 03187, Київ 187, проспект Академіка Глушкова,42
З дисертацією можна ознайомитись у науковій бібліотеці Інституту проблем математичних машин і систем
Автореферат розісланий 15.12.2001 року
Вчений секретар
спеціалізованої вченої ради Ходак В.І.
Загальна Характеристика роботи
Актуальність роботи
За останні роки в усьому світі в системах освіти відбулися істотні структурні зміни, зумовлені розвитком Інтернет та його зростаючим впливом на всі сторони діяльності суспільства. Основну роль в удосконаленні системи освіти, без сумніву, будуть мати нові інформаційні технології і, в першу чергу, дистанційні засоби навчання. На сьогодні у світі накопичено значний досвід реалізації систем дистанційного навчання. Вони використовують комп'ютерні мережі, системи безпосереднього телевізійного мовлення та сучасні телекомунікаційні технології. Але системи дистанційного навчання ще не знайшли достатнього поширення в Україні. Особливо це стосується медицини, в якій якість освіти є першочерговою задачею. Останнє ускладнюється постійним збільшенням кількості інформації та підвищенням вимог до якості лікування хворих. Якщо раніше в країнах колишнього СРСР для медиків було прийнято термін підвищення кваліфікації п'ять років, то зараз така частота вдосконалення абсолютно недостатня. Отже, важливо забезпечити постійну освіту і, що найголовніше, - ефективний контроль знань. Тому в останні роки підвищена увага приділяється методикам дистанційного навчання й контролю знань. За літературними даними комп'ютерні системи контролю знань достатньо ефективні і дозволяють не тільки забезпечити державну перевірку якості знань, але й забезпечити основу самовдосконалення. В той же час технології дистанційного контролю знань в Україні ще недостатньо відпрацьовані. Зокрема, не вивчена оцінка валідності процедури сертифікації й контролю знань, не відпрацьовані методики формування запиту і співставлення з еталонними відповідями, моніторинг рівня знань того, хто навчається. На даний час не доведено можливість функціонування державної системи дистанційного контролю знань в умовах недостатньо розвинутої інфраструктури телекомунікацій, не розроблено зручного й зрозумілого для користувача-непрограміста інструменту для роботи з такими системами. Тому ретельне вивчення принципів, логіки, технологій і валідності дистанційного навчання і контролю знань, дослідження ефективності систем дистанційного навчання і контролю знань є актуальною і важливою проблемою, яка потребує свого вирішення.
Зв'язок роботи з науковими програмами, темами
Робота виконана в рамках НДР "Розробка і впровадження нових методів навчання в післядипломній освіті лікарів та провізорів на основі широкого використання сучасних інформаційних технологій" (УДК 61.07+614.251+61:621.3, №держреєстрації 0090000186), яка виконується на кафедрі медичної інформатики КМАПО ім.П.Л.Шупика. В результаті здійснення роботи автором розроблено систему дистанційного навчання і контролю медичних знань на базі Інтернет-технологій, проведено експериментальні дослідження ефективності роботи системи.
Мета і задачі дослідження
Основна мета даної роботи є підвищення ефективності технологій дистанційного навчання і контролю медичних знань на базі Інтернет-технологій.
При цьому вирішувалися такі конкретні наукові задачі:
1.
Обґрунтувати основні засади побудови систем контролю медичних знань в післядипломному навчанні.
2.
Обґрунтувати структуру та створити методологію побудови інструментальних засобів системи дистанційного навчання і контролю знань на базі Інтернет-технологій.
3.
Розробити математичну модель доступу до віддалених баз даних в системі дистанційного навчання і контролю знань і на її основі довести можливість реалізації такої системи.
4.
Розробити програмне забезпечення системи дистанційного навчання і контролю знань на базі Інтернет-технологій.
5.
Розробити спеціалізовану мову, призначену для опису алгоритмів функціонування системи дистанційного тестування при її розробці й модернізації.
6.
Провести експериментальні дослідження перевірки ефективності роботи системи.
7.
Обґрунтувати оцінку валідності процедури контролю знань на базі Інтернет-технологій.
Об’єктом дослідження є технологія дистанційного навчання і контролю знань.
Предметом дослідження є система дистанційного навчання і контролю знань на базі Інтернет-технологій.
Методи дослідження. При розробці та дослідженнях системи дистанційного навчання та контролю знань використовувались методи математичної статистики, системного аналізу, програмування, марковських ланцюгів, обчислювальних мереж.
Наукова новизна отриманих результатів:
-
обґрунтовано основні засади контролю медичних знань в післядипломному навчанні;
-
створено методологію побудови інструментальних засобів системи дистанційного навчання та контролю знань, яка базується на патернах класів та об’єктів, що взаємодіють між собою;
-
розроблено спеціалізовану мову ТестЛінг для взаємодії з системою;
-
запропоновано комплексний критерій оцінювання валідності імовірнісно-неоднозначних медичних знань, що дозволило автоматизувати процес оцінювання знань;
-
проведено адаптацію системи до обмежень пропускної здатності каналів зв’язку, реакції СУБД та відгуку системи в цілому на основі використання математичної моделі взаємодії процесів системи з використанням апарату марковських процесів.
Достовірність та обґрунтованість отриманих результатів забезпечені:
-
використанням комплексу взаємодоповнюючих експериментальних методик;
-
строгістю постановки задач, що вирішуються, використанням обгрунтованих та апробованих математичних методів;
-
узгодженістю розроблених модельних уявлень з одержаними експериментальними результатами;
-
узгодженістю результатів між собою, а також із літературними даними.
Практичне значення отриманих результатів визначається використанням розробленої системи для дистанційного навчання та державної атестації знань спеціалістів (СДНКЗ). Свідоцтво про державну реєстрацію прав автора ПА №3713, Міністерство освіти і науки України, Державний департамент інтелектуальної власності. Система впроваджена в навчальний та науковий процес КМАПО ім. П.Л.Шупика та Прикарпатського університету ім..В.Стефаника, що оформлено відповідними актами про провадження. Показано ефективність використання системи для задач самоконтролю й самоосвіти. Створено зручний і прозорий інструмент для підтримки та розвитку систем дистанційного навчання та контролю знань на основі розробленої автором предметно-орієнтованої мови ТестЛінг.
Особистий внесок здобувача полягає у розробці системи дистанційного навчання й контролю знань на базі Інтернет-технологій, спеціалізованої мови ТестЛінг, математичної моделі системи доступу до віддалених баз даних , системи оцінки валідності дистанційного контролю знань, проведенні експериментальних досліджень, описаних в дисертації, а також участі в обговоренні результатів, їх інтерпретації, написанні та оформленні статей. Основні наукові результати оригінальні, доповідалися автором на наукових конференціях і семінарах.
В наукових працях здобувачем було проведено розробку та дослідження методів вирішення поставленої задачі, обґрунтування вибраних методів та об'єктів дослідження [1-6].
Отримання експериментальних результатів:
-
оцінка ефективності системи дистанційного навчання за допомогою математичної моделі системи доступу до віддалених баз даних на основі теорії масового обслуговування [10];
-
оцінка валідності дистанційного тестування знань [11].
Розробка комплексу методик аналізу експериментальних даних [7,8,9-11 ]. Проведення всіх чисельних розрахунків, аналіз отриманих залежностей, створення узагальнюючих теоретичних моделей [10-11]. Опис системи дистанційного навчання та контролю знань [12], розробка методології проектування систем дистанційного навчання, опис мови ТестЛінг[13].
Апробація результатів дисертації
Основні результати роботи доповідалися та обговорювалися на наукових семінарах, школах, конференціях, у тому числі на:
- навчально-методичній конференції "Клінічна лекція". - Київ. – 1998;
- семінарі "Информационные технологии и программно-аппаратные средства в медицине, биологии и экологии". -Київ. – 1998;
- міжнародній конференції "Післядипломна освіта на порозі XXI сторіччя".- Київ. –1999;
- XX міжнародній науково-технічній конференції “Проблеми фізичної і біомедичної електроніки”. –Київ. –2000;
- 3 rd International Conference “TET 2001”. –Prague. –2001;
- XXI Міжнародній науково-технічній конференції “Проблеми фізичної і біомедичної електроніки”. –Київ. –2001;
-
Конференції з міжнародною участю “Інформаційні технології в охороні здоров’я та практичній медицині”. –Київ. –2001.
Публікації. Матеріали дисертації викладені в 13-ти публікаціях, у тому числі у 5-ти статтях у наукових фахових журналах, рекомендованих ВАК України.
Структура та обсяг роботи. Дисертаційна робота складається із вступу, 4-х розділів та списку використаних джерел. Обсяг дисертації – 138 сторінок. Дисертація містить 25 рисунків, 17 таблиць та 111 бібліографічних джерел.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі обґрунтовано актуальність роботи, сформульовано мету і задачі досліджень, наведено наукову новизну дисертації та її практичну цінність. Проведено аналіз існуючих методів і підходів для побудови подібних систем. Обгрунтовано обраний напрямок досліджень і зроблено постановку задачі досліджень.
Перший розділ узагальнює моделі дистанційного навчання, методи й стратегії підвищення взаємодії та активності при дистанційному навчанні, питання функціонування систем дистанційного навчання, питання стратегії та управління системами дистанційного навчання. Розглянуто моделі та системи дистанційної освіти, технології, що застосовані в дистанційному навчанні, варіанти впровадження дистанційної освіти в Україні. Показано, що на даний момент варіант організації дистанцiйного навчання, що базується на iнтерактивному телебаченні (two-way TV), враховуючи соціально-економічну ситуацiю в Україні не є можливим для реалізації. Маючи на увазі різноманітні варіанти i моделі дистанцiйного навчання, робимо висновок, що на найближчу перспективу в нашій країні найбільш реальною є організація дистанцiйного навчання на базі комп'ютерних телекомунiкацiй, як регіональних, так i глобальних (Internet). При цьому, залежно від економічних можливостей регіонів, технологічною основою такого навчання може бути:
- обмін текстовими файлами;
- обмін текстовими i графічними, звуковими файлами, використання всіх можливостей та інформаційних ресурсів Internet;
- в додаток до першого варіанту - використання різноманітних традицiйних навчальних матеріалів (друкованих, звукових, аудіовізуальних), а також засобів нових інформаційних технологій.
Огляд сучасних систем дистанційного навчання та програмних пакетів для створення курсів ДО показав, що на сьогодні вже існує досить багато потужних продуктів даного спрямування, але кожен із них має певні обмеження, що не дозволяють використати їх як універсальний інструмент, який можна використати в галузях, де знання носять неоднозначний та імовірнісний характер. У табл.1 наведені порівняльні характеристики найбільш відомих віртуальних навчальних середовищ (ВНС).
Таблиця 1
Порівняльні характеристики найбільш відомих ВНС
Вимоги до ВНС | ВНС
First
Class | Web
CT | Learning Space
Простий і інтуїтивно зрозумілий інтерфейс | Так | Так | Так
Врахування імовірнісного характеру знань | Ні | Ні | Ні
Отримання в процесі навчання різносторонньої інформації про рівень, тих хто навчається | Ні | Так | Так
Обробка даних розподілена на основі мережевої взаємодії | Так | Так | Так
Технічні вимоги враховують обмеженість фінансових, технічних і мережевих ресурсів вітчизняних освітніх закладів | Ні | Ні | Ні
Тому створення системи дистанційного навчання та контролю медичних знань адаптованої до вимог сучасного рівня вітчизняної освіти, а також розробка універсального засобу, котрий міг би бути використаний при проектуванні системи, на сьогодні є актуальним і науково обґрунтованим питанням.
У другому розділі описані принципи та теоретичні засади побудови систем дистанційного навчання та контролю медичних знань, структура та програмне забезпечення систем дистанційної освіти, використання Інтернет-технологій для розробки даних систем, технології застосування гіпертекстового інтерфейсу для роботи з віддаленими базами даних. Розглянуто два напрямки використання WWW-технологій для роботи з віддаленими базами даних, проаналізовано можливості сучасних програмних пакетів для розробки систем доступу до віддалених баз даних (табл.2).
Таблиця 2
Порівняльні характеристики засобів розробки інтерфейсів до БД
Засоби | Комерцій-ність | Трудоміст-
кість | Залежність від ОС
Бібліотеки і функції на мові C | Ні | Висока | Ні
Мова програмування Perl | Ні | Помірна | Ні
Пакет Web - Oracle – Web | Так | Низька | Ні
Пакет Cold Fusion | Так | Низька | Так
Аналіз показав, що для створення системи дистанційного навчання та контролю знань в умовах недостатньо розвинутої інфраструктури телекомунікацій та забезпечення користувачів переважно малопотужною комп’ютерною технікою найбільш оптимальною буде модель клієнт-сервер, де основне навантаження покладається на сервер, а клієнтська частина якомога менше залежить від апаратної конфігурації та операційного середовища. Таким вимогам, виходячи з вищесказаного, відповідає технологія доступу до віддалених баз даних через WWW - FastCGI, яка містить у собі найпотужніші аспекти специфікацій CGI і API. З іншого боку, деякі задачі все ж будуть вимагати залучення в систему Java-технологій (наприклад, контроль часу атестації у системі дистанційного контролю знань, що не повинен залежати від швидкості передачі даних через мережу).
Для проектування систем дистанційного навчання та контролю знань пропонується створена нами методологія побудови інструментальних засобів системи, яка базується на патернах класів та об’єктів, що взаємодіють між собою, і дозволяють вирішувати загальні задачі проектування в конкретному контексті. На рис. 1 наведено модель взаємодій ініціювання процесу атестації.
Третій розділ описує експериментальну систему дистанційного навчання та контролю медичних знань. При розробці системи перед нами ставилась задача організації дистанційного навчання та атестації знань медичних працівників України. Для вирішення даної задачі нами було запропоновано схему функціонування системи дистанційного навчання та контролю знань у післядипломній освіті для медичних вузів, котра базується на встановленні центрального сервера дистанційного навчання та підключенні його до Internet. Так як на сьогодні в кожному обласному центрі є можливість доступу до Internet, стало можливим, використовуючи Internet-
Рис.1. Модель взаємодій ініціювання процесу атестації
технології створити систему дистанційної освіти, яка може охопити територію всієї України, організувавши в областях центри дистанційного навчання. Важливим у даній ситуації є те, що це можливо здійснити, використавши наявні вже технічні та комунікаційні засоби. Система передбачає навчання курсантів на протязі місяця, після чого проводиться державна атестація знань тих, хто пройшов навчання. Програмну оболонку створеної нами системи умовно можна розділити на три блоки: блок навчання, блок контролю знань та блок атестації (рис.2).
В системі реалізована модель обчислень клієнт-сервер, що передбачає розділення інтерфейсу користувача (функції вводу, відображення та певної обробки даних) від сервісів СУБД. Функціонування програмної оболонки на стороні сервера забезпечується СУБД PostgreSQl (v6.5.2), сервером для обробки http запитів Аpache (v1.3), шлюзовим інтерфейсом CGІ (v2.46), що функціонують в операційному середовищі Unix FreeBSD 3.5.1. СУБД PostgreSQl дозволяє в повній мірі реалізувати багатокористувацький режим та необхідний захист інформації. Усі запити для вибору потрібної інформації побудовані з використанням мови SQL-3. Інтерфейс користувача розробляється на основі HTML-форм, які є найбільш зручним механізмом передачі запитів до баз даних. На стороні сервера для доступу до баз даних використовується механізм CGI (Fast CGI).
Рис.2. Функціонування програмної оболонки
В даному розділі описано розроблену на основі використання патернів проектування спеціалізовану мову ТестЛінг, яка дозволяє забезпечити підтримку та обслуговування системи дистанційної освіти в умовах використання її у середовищі людей, котрі, як правило, не є спеціалістами в галузі комп’ютерної техніки на рівні програмування. Це зручний і зрозумілий непрофесіоналу інструмент для роботи з системою. Дана мова призначена для опису алгоритмів функціонування системи дистанційного тестування. Вона являє собою предметно-орієнтовану мову програмування, розроблену з урахуванням можливості її застосування не тільки професійними програмістами. Використання цих інструментальних засобів дозволяє більш ніж у два рази скоротити час на підготовку та модернізацію завдань.
Четвертий розділ присвячено дослідженню ефективності системи дистанційного навчання та контролю знань, описано розроблену систему оцінки валідності процедури контролю знань, наведено опис проведених експериментів щодо дослідження ефективності функціонування апаратно-програмного комплексу та валідності контролю знань при використанні даної системи. Для того, щоб оцінити функціональність системи при різній кількості користувачів, а також передбачити необхідну потужність каналів для певної прогнозованої кількості користувачів, було побудовано математичну модель функціонування системи.
Побудована модель ґрунтується на теорії систем масового обслуговування. Процес взаємодії одного користувача із системою може перебувати в одному з 4-х станів:–
користувач шукає відповідь на запитання;–
система отримує запит через мережу;–
база даних опрацьовує запит;
– через мережу користувачеві надсилається відповідь на запит (рис.3).
Вважаємо цей процес марковським і однорідним, і відповідно час переходу між станами - розподіленим за експоненціальним законом .
Після проведення перетворень та використавши рівняння для даного марковського процесу отримуємо закономірність зміни завантаженості (рис.4).
При маємо , звідки - при наближається до - максимальної пропускної здатності БД. Відповідно змінюється вхідний і вихідний трафіки : , де - константи, залежні від технічних параметрів системи.
Для дослідження ефективності функціонування системи на практиці, здійснювалось тестування для сервера на базі CPU-233MHz, RAM-64Mb, HDD-4,3Gb (система1) за допомогою програмних засобів функції top ОС Unix, яка оцінює завантаженість системних ресурсів, а також mrtg для визначення вхідного та вихідного трафіків.
Рис.4. Результати експериментальних досліджень для системи1
Роботу системи досліджували при проведенні державної атестації медиків, коли курсанти повинні відповісти на 150 запитань на протязі двох годин. Нами формувались групи з різною кількістю курсантів. При клієнтах вхідний трафік був рівним в середньому відповідно 261 біт/c, 329 біт/c, 340 біт/c (рис.4). При клієнтах система втрачала стійкість.
Порівняємо теоретичні й експериментальні дані, значення котрих наведено в табл.3. Тестуванням встановлено, що .
Таблиця 3
Теоретичні й експериментальні дані для системи1
Характеристики
10 | 20 | 30
0,73 | 0,90 | 0,95
0,78 | 0,95 | 1
261 | 329 | 340
0,77 | 0,97 | 1
2,0 | 8,1 | 19,9
0,20 | 0,61 | 0,87
Де, - кількість клієнтів, -теоретична завантаженість БД, - відношення, - вхідний трафік, - відношення, - теоретичний розмір черги, - завантаженість системних ресурсів.
Отже, близькість між відносною зміною теоретичної завантаженості та вхідного трафіка, підтверджує обгрунтованість обраної моделі.
Крім того, зміна завантаженості системних ресурсів є проміжною між зміною завантаженості БД та зміною об’єму пам’яті, зайнятого чергою, оскільки завантаженість системи залежить від обох цих параметрів.
Аналогічні вимірювання було проведено для сервера на базі CPU-550MHz, RAM-128Mb, HDD-10Gb (система2).У цьому випадку . (табл.4).
При покращенні технічних характеристик системи зменшується, а збільшується практично обернено пропорційно, тому знаменник змінюється мало. Проте у системі2 потроєння кількості клієнтів практично потроює й трафік, чого не було для системи1. Це пов’язано з тим, що параметр при перебуває в області квазілінійної залежності від . Отже, обрана модель є достатньо добрим наближенням, що дає змогу оцінити трафік залежно від числа користувачів:
,
де - середній розмір вимог від клієнта.
Аналогічно , де - середній розмір відповіді.
Система оцінки валідності процедури контролю знань
При розробці системи дистанційного навчання та контролю знань постало питання валідності процедури тестового контролю та самоконтролю.
Валідністю в даній роботі ми вважали сукупність відомостей про те, відносно яких характеристик особистості можуть виноситись кваліфікаційні судження, а також про міру обґрунтованості останніх на підставі тестових оцінок або якихось інших засобів оцінювання. З’ясувати валідність тесту означає перевірити, чи дійсно тест вимірює потрібну нам характеристику і наскільки надійно він це робить.
Найпоширенішою процедурою визначення валідності є критеріальна валідизація – перевірка узгодженості результатів тестування з критерієм. Щодо тестів досягнень, до яких належить розроблена система, критерієм найчастіше є оцінка рівня знань, тестованих авторитетними фахівцями в даній галузі. У нашому випадку ми проводили додаткове опитування осіб, які підлягали тестуванню в КМАПО ім. П.Л.Шупика, з оцінкою за традиційною шкалою: 5 – “відмінно”, 4 – “добре”, 3 – “задовільно”, 2 – “незадовільно”. Для підвищення надійності оцінка виставлялась колективно (комісією у складі 4 чоловік) шляхом компромісу. За час проведення експериментів через нашу систему пройшло 9656 тих, що атестувались. Це дає змогу говорити про достатньо представницьку виборку з генеральної сукупності, так як було охоплено практично всі медичні спеціальності.
Тестові та експертні оцінки порівнювалися трьома способами :
1)
Оскільки тестові та експертні оцінки мають різний характер (експертна є дискретною і має 4 рівні, а тестова коливається в межах 0 - 100, тобто може вважатись континуальною), то для їх порівняння було вирішено застосовувати ранговий коефіцієнт кореляції Спірмена:
,
де – кількість тестованих; і - ранги -го тестованого відносно тестової та експертної оцінок.
2)
Обчислювався коефіцієнт кореляції добутку моментів Пірсона:
,
де , - експертна і тестова оцінки -го тестованого; і - середні оцінки; і - стандартні відхилення в порівнюваних рядах.
Цей коефіцієнт є мірою лінійної залежності між тестовою та експертною оцінками.
3)
Успішність (“склав - не склав”) відносно експертної та тестової оцінок порівнювалась за коефіцієнтом асоціації Пірсона :
,
де та - частки тих, хто отримав відповідно позитивну експертну та тестову оцінки; - успішність відносно обох оцінок одночасно. Результати наведено в табл.6. Максимальна валідність тесту досягається в тому випадку, коли окремі завдання та субтести, які його складають, максимально корелюють із загальним результатом, водночас мінімально корелюючи між собою. Було проведено аналіз внутрішньої узгодженості тесту за допомогою розбиття питань на парні й непарні. Отримані результати свідчать про достатній рівень консистентності тестів (табл.6). Важливим аспектом емпіричної валідності є тест-ретестова кореляція – міра стабільності отримуваних результатів. Для оцінки тест-ретестової кореляції проводилось дворазове тестування з невеликим інтервалом часу між тестами. Результати порівнювались так, як і в попередньому випадку (табл.6).
Таблиця 6
Результати обрахунку значень коефіцієнтів
Види кореляції | Коефіцієнти
ранговий кореляції Спірмена | добутку моментів Пірсона | асоціації Пірсона
Кореляція експертної і тестової оцінки | 0,63 | 0,72 | 0,81
Тест-ретестова кореляція для парних та непарних питань | 0,82 | 0,79
Тест-ретестова кореляція для загальної кількості питань першого і другого дня | 0,74 | 0,73 | 0,85
Необхідно врахувати, що на результат тестування суттєво впливають обставини його виконання. Нами було досліджено, як надійність результатів змінюється залежно від швидкості відгуку системи та від того, в якій частині тесту (ближче до початку чи кінця) знаходиться завдання. Для цього було проведено дворазове тестування в нормальних умовах та за умов штучно сповільненого відгуку системи. Результати наведено в табл.7.
Таблиця 7
Результати дворазового тестування в нормальних умовах та за умов штучно сповільненого відгуку системи
Види кореляції | Коефіцієнти
Ранговий кореляції Спірмена | добутку моментів Пірсона | асоціації Пірсона
Тест-ретестова кореляція для загальної кількості питань першого і другого дня | Без затрим-ки | З затрим-кою | Без затримки | З затрим-кою | Без затримки | З затрим-кою
0,74 | 0,59 | 0,65 | 0,53 | 0,83 | 0,71
Крім того, аналогічні коефіцієнти кореляції обчислено окремо для 1-ї, 2-ї, 3-ї і 4-ї чверті всіх питань. Результати порівнювались за допомогою рангового коефіцієнта кореляції Спірмена та коефіцієнта кореляції моментів Пірсона. При сповільненні відгуку системи за деякою межею тест-ретестова кореляція стає недостатньою. Це потрібно вважати важливим технічним обмеженням при плануванні системи. Також було проведено обрахунок кореляції чверті питань із загальною кількістю . Результати наведено в табл.8.
Таблиця 8
Результати обрахунку кореляції чверті питань з загальною кількістю
Види кореляції | Коефіцієнти
ранговий кореляції Спірмена | добутку моментів Персона
Тест-ретестова кореляція для 1-ої чверті питань з загальною кількістю | 0,63 | 0,65
Тест-ретестова кореляція для 2-ої чверті питань з загальною кількістю | 0,72 | 0,77
Тест-ретестова кореляція для 3-ої чверті питань з загальною кількістю | 0,81 | 0,82
Тест-ретестова кореляція для 4-ої чверті питань з загальною кількістю | 0,75 | 0,69
Отримані результати свідчать, що на результати в 1-ій і 4-ій чвертях завдань впливають відповідно адаптація до умов тестування та втома і послаблення уваги. Водночас цей вплив не настільки великий, щоб поставити під сумнів надійність методики.
Таким чином, отримані дані свідчать про достатню ефективність запропонованої технології навчання і контролю медичних кадрів (за умов дотримання згаданих вище вимог і процедур розробки й аналізу тестів).
ВИСНОВКИ
Результатом дисертаційної роботи є розробка , теоретичне обґрунтування та практичне впровадження програмних засобів системи дистанційного навчання та контролю медичних знань. Запропонована методологія побудови таких систем дозволяє їх досить швидку побудову, гарантує правильність їх функціонування та адаптації до внутрішніх і зовнішніх умов застосування. Для досягнення цього в дисертаційній роботі отримані такі головні наукові та практичні результати:
1.
Обґрунтовано основні засади побудови систем контролю медичних знань.
2.
Побудовано математичну модель, що ґрунтується на теорії масового обслуговування, для дослідження системи дистанційного навчання та контролю знань. Математична модель дозволила отримати оцінку стійкості системи при визначеній кількості користувачів та завантаженості каналів зв’язку, що дозволяє адаптуватися до внутрішніх і зовнішніх умов застосування системи.
3.
З різноманітних можливих підходів оцінки знань вибрані два, які є найбільш інформативними з точки зору важливості питань і ступеня наближення відповіді контрольованого й еталонної відповіді.
4.
Створена методологія побудови інструментальних засобів системи, яка базується на патернах класів та об’єктів, що взаємодіють між собою.
5.
Розроблено спеціалізовану мову ТестЛінг, яка призначена для опису алгоритмів функціонування системи дистанційного тестування і являє собою предметно-орієнтовану мову програмування, що дозволяє біль ніж у два рази скоротити час підготовки завдань для системи дистанційного контролю знань.
6.
Проведено експерименти по дослідженню ефективності системи дистанційного навчання та контролю знань, які підтвердили правильність розрахунків, проведених за допомогою математичної моделі. Розбіжність між теоретичними й практичними даними не перевищує 5%. Показано, що система є функціональною при існуючих в Україні каналах зв’язку.
7.
Розроблено систему оцінки валідності процедури дистанційного контролю знань, яка базується на використанні рангового коефіцієнту асоціації Пірсона, коефіцієнта кореляції Спірмена та коефіцієнта кореляції моментів Пірсона. В експериментальних дослідженнях показано, що отримані в результаті роботи автоматизованої системи атестації оцінки співпадають з експертними висновками на рівні 85%.
8.
Побудовано систему дистанційного навчання та контролю знань на базі сервера СУБД PostgreSQl (v6.5.2), сервера для обробки http запитів Аpache (v1.3), шлюзового інтерфейсу CGІ (v2.46), що функціонують в операційному середовищі Unix FreeBSD 3.5.1.
Основний зміст роботи викладено у публікаціях:
1.
Мінцер О.П.,Федорук П.І. Проблеми використання дистанційного навчання на базі комп’ютерних технологій: Збірник наукових праць співробітників КМАПО ім. П.Л.Шупика. –Київ, 1998. - С.112-125.
2.
Мінцер О.П., Федорук П.І. Пошук медичної та педагогічної інформації через системи INTERNET // Матеріали навчально-методичної конференції "Клінічна лекція". – Київ, 1998. - С.94-97. (Дисертант доповідав на конференції).
3.
Мінцер О.П., Гойко О.В., Трушин Е.П., Федорук П.І. Нові інформаційні технології навчання на відстані // Матеріали семінара "Інформаційні технології і програмно-апаратні засоби в медицині, біології і екології." -Київ: Медінформ, 1998. - С.44-46. (Дисертант доповідав на семінарі).
4.
Федорук П.І. Роль INTERNET у сучасній медичній освіті //Матеріали семінара "Інформаційні технології і програмно-апаратні засоби в медицині, біології і екології." -Київ: Медінформ., 1998. - С.62-67. (Дисертант доповідав на семінарі)
5.
Гойко О.В., Трушин Е.П., Сілкова О.М.,Федорук П.І. Дистанційне навчання як одна з форм післядипломної освіти // Збірник наукових праць співробітників КМАПО ім. П.Л.Шупика. –Київ, 1998. - С.58-60.
6.
Мінцер О.П., Пономаренко М.С., Бабський А.А., Площик В.М., Кухар О.О., Вовк Н.Б., Краснов В.В., Федорук П.І. Основні принципи та методологічні підходи у застосуванні комунікаційних мереж, в т.ч. Internet у процесі ефективного використання фармацевтичної інформації //Фармація. –Київ, 1998. –С.30-34.
7.
Федорук П.І. Використання технологій Інтернет в дистанційному навчанні // Электроника и связь. –Киев, 1999 . -№7.-C.85-87.
8.
Федорук П.І. Використання віддалених баз даних під керуванням СУБД POSTGRES //Электроника и связь. –Киев, 2000..- №8,Т1. -C.152-154.
9.
Федорук П.І. Використання сучасних інформаційних технологій для дистанційного навчання //Тези доповідей Всеукраїнської науково-методичної конференції "Сучасний стан вищої освіти в Україні: проблеми та перспективи." –Київ, 2000. –С.483-485. (Дисертант доповідав на конференції).
10.
Федорук П.І. Дослідження ефективності системи доступу до віддалених баз данних //Вісник НТУУ "КПІ" Інформатика, управління та обчислювальна техніка.–Київ, 2001. - №35. -С. 97-103.
11.
Федорук П.І., Никифорчин О.Р. Валідність дистанційного контролю знань медиків //Вісник НТУУ "КПІ" Інформатика, управління та обчислювальна техніка. –Київ, 2001. - №36.-С. 88-104.
12.
Федорук П.І. Опис системи дистанційного навчання та контролю знань(СДНКЗ) //Свідоцтво про державну реєстрацію прав автора на твір ПА №3713. – Міністерство освіти і науки України, Державний департамент інтелектуальної власності. –2000.
13.
Федорук П.І. Використання патернів проектування для побудови систем дистанційного навчання та контролю знань // Математичні машини і системи.–Київ, 2001р. –-№1,2. -C.146-153.
Анотація. Федорук П.І. Система дистанційного навчання та контролю знань на базі Інтернет-технологій(на прикладі медичних вузів).– Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.03 математичне та програмне забезпечення обчислювальних машин і систем. – Інститут проблем математичних машин і систем, Київ, 2001.
Дисертаційна робота присвячена технології створення системи дистанційного навчання та контролю медичних знань з використанням Internet-технологій. На основі проведеного в дисертації аналізу та розробленої технології створено програмний комплекс, який реалізує систему післядипломного дистанційного навчання та контролю медичних знань. Створено методологію побудови інструментальних засобів системи, яка базується на патернах класів та об’єктів, що взаємодіють між собою. Розроблено спеціалізовану мову ТестЛінг для взаємодії з системою. Запропоновано комплексний критерій оцінювання валідності імовірнісно-неоднозначних медичних знань, що дозволило автоматизувати процес оцінювання знань. Проведено адаптацію системи до обмежень пропускної здатності каналів зв’язку, реакції СУБД та відгуку системи в цілому на основі використання математичної моделі взаємодії процесів системи з використанням апарату марковських процесів. Розроблену систему впроваджено в науковий та навчальний процес вітчизняних навчальних закладів.
Ключові слова: система дистанційної освіти, Інтернет-технологія, база даних, WWW-сервер, патерн проектування, валідність контролю знань.
Аннотация. Федорук П.И. Система дистанционного образования и контроля знаний на базе Интернет-технологий(на примере медицинских вузов). –Рукопись.
Диссертация на соискание научной ступени кандидата технических наук по специальности 01.05.03 математическое и программное обеспечение вычислительных машин и систем. – Институт проблем математических машин и систем, Киев, 2001.
Диссертационная работа посвящена технологии создания системы дистанционного обучения и контроля медицинских знаний с использованием Internet-технологий. На основе проведенного в диссертации анализа и разработанной технологии создан программный комплекс, который реализует систему последипломного дистанционного обучения и контроля медицинских знаний. Созданная система дистанционного обучения и контроля знаний, используя Интернет-технологии, позволяет покрыть территорию Украины при организации проведения повышения квалификации и переаттестации медицинских работников. Программную оболочку созданной системы условно можно разделить на три блока: блок обучения, блок контроля знаний и блок аттестации. Анализ показал, что для создания системы дистанционного обучения и контроля знаний в условиях недостаточно развитой инфраструктуры телекоммуникаций Украины и обеспечения пользователей преимущественно недостаточно мощной компьютерной техникой наиболее оптимальным будет использование модели клиент-сервер, где основная нагрузка возлагается на сервер, а клиентская часть относительно мало зависит от аппаратной конфигурации и операционной среды. В системе реализована модель вычислений клиент-сервер, которая предусматривает разделение интерфейса пользователя (функции ввода, отображения и определенной обработки данных) от сервисов СУБД. Таким требованиям, исходя из вышесказанного, отвечает технология доступа к отдаленным базам данных через WWW - FastCGI, которая содержит в себе мощнейшие аспекты спецификаций CGI и API. С другой стороны, некоторые задачи все же будут требовать привлечения в систему Java-технологий (например контроль времени аттестации в системе дистанционного контроля знаний, который не должен зависеть от скорости передачи данных через сеть). Функционирование программной оболочки на стороне сервера обеспечивается СУБД PostgreSQl (v6.5.2), сервером для обработки http запросов Арасhе (v1.3), шлюзовым интерфейсом СGІ (v2.46), которые функционируют в операционной среде Unix FreeBSD 3.5.1. СУБД PostgreSQl позволяет в полной мере реализовать многопользовательский режим и необходимую защиту информации. Все запросы для получения нужной информации построены с использованием языка SQL-3. Интерфейс пользователя разработан на основе HTML-форм, которые являются наиболее удобным механизмом передачи запросов к базам данных. На стороне сервера для доступа к базам данных используется механизм CGI (Fast CGI).
Создана методология построения инструментальных средств системы, которая базируется на паттернах классов и объектов, которые разрешают решать общие задачи проектирования в конкретном контексте.
Для эффективного использования системы разработан удобный и понятный непрофессионалу инструмент для работы с системой - специализированный язык ТестЛинг. Данный язык предназначен для описания алгоритмов функционирования системы дистанционного тестирования. Она представляет собой предметно-ориентированный язык программирования, разработанный с учетом возможности его применения не только профессиональными программистами.
Для исследования системы дистанционного обучения и контроля знаний построена математическая модель, которая базируется на теории массового обслуживания. Математическая модель позволила получить оценку устойчивости системы при определенном количестве пользователей и загруженности каналов связи.
Проведены эксперименты по исследованию эффективности системы дистанционного обучения и контроля знаний, которые подтвердили правильность расчетов, проведенных с помощью математической модели. Расхождение между теоретическими и практическими данными не превышает 5%. Проведена адаптация системы к ограничениям пропускной способности каналов связи, реакции СУБД и отклика системы в целом на основе использования математической модели взаимодействия процессов системы с использованием аппарата марковских процессов. Показано, что система функциональна при существующих в Украине каналах связи.
Из большого списка возможных подходов оценки знаний выбраны два, которые на данном этапе наиболее информативные, – важность вопроса и степень приближения ответа контролируемого и эталонного ответов.
Разработанная система оценкок валидности процедуры дистанционного контроля знаний, которая базируется на использовании рангового коэффициента ассоциации Пирсона, коэффициента корреляции Спирмена и коэффициента корреляции моментов Пирсона. В экспериментальных исследованиях показано, что используемые в работе автоматизированной системы аттестации оценки совпадают с экспертными выводами на уровне 85%.
Ключевые слова:система дистанционного образования, Интернет-технология, база данных, WWW-сервер, паттерн проектирования, валидность контроля знаний.
Summary. Fedoruk P.I. System of distance education and control of knowlege on Internet technologies.
Dissertation on taking the candidate degree of technical science in speciality 01.05.03 – mathematical and program devices of computing equipment and systems. Institute of mathematical equipment and system problems, Kyiv, 2001.
The dissertation is dedicated to the system of distance education and control of medical knowledge with the usage of Internet technologies. On the basis of conducted analysis and elaborated technology the program complex is made which realizes the system of postgraduate distance education and control of medical knowledge. The methodology of system of instrumental means is conducted. It is based on the patterns of classes and objects, which interact with each other. A special language TestLing was constructed for interacting with the system. The complex criterion of validity of evaluation of ambiguously possible medical knowledge was offered that made it possible to automate the process of knowledge evaluation. It is conducted the system adaptation to the restrictions of throughput ability of communicational channels, database reaction and the system response on the whole on the basis of usage of mathematical model of system processes interaction with the help of the apparatus of Markov’s processes. The developed system is applied to scientific and educational process at home educational establishments.
Key words: distance education system, Internet-technology, data basis, WWW-server, patern of engineering, validity of knowledge control.
Підписано до друку 3.12.2001 р. Формат 60x90/16.
Ум. друк.арк.0,9. Обл.-вид. Арк. 0,9
Тираж100. Зам.149.
“Поліграф Центр”
04050, м. Київ-50, вул. Довнар-Запольського, 16.
Т.: (044) 578-04-14, т.: (044) 294-71-27.
