АКАДЕМІЯ ПЕДАГОГІЧНИХ НАУК УКРАЇНИ

ІНСТИТУТ ВИЩОЇ ОСВІТИ

СІЛКОВА ОЛЕНА ВІКТОРІВНА

УДК 378.147: 61

КОНТРОЛЬ ЗНАНЬ ТА ВМІНЬ У СТУДЕНТІВ ВИЩИХ МЕДИЧНИХ НАВЧАЛЬНИХ ЗАКЛАДІВ В УМОВАХ ВИКОРИСТАННЯ КОМП’ЮТЕРНИХ СИСТЕМ

13.00.04 - теорія і методика професійної освіти

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата педагогічних наук

Київ - 2003

Дисертацією є рукопис.

Робота виконана в Київський медичній академії післядипломної освіти лікарів та провізорів ім. П.Л. Шупика, Міністерство охорони здоров’я України

Науковий керівник – доктор медичних наук, професор

Мінцер Озар Петрович,

Київська медична академії післядипломної освіти

лікарів та провізорів імені П.Л. Шупика,

декан факультету підвищення кваліфікації

викладачів, завідувач кафедри медичної інформатики

з курсом педагогіки та психології

Офіційні опоненти: доктор педагогічних наук, професор

Кондратюк Олександр Пантелеймонович,

Інститут педагогіки і психології професійної освіти

АПН України, головний науковий співробітник;

кандидат педагогічних наук, доцент

Жильцов Олексій Борисович,

Всеукраїнський університет міжрегіональної академії

управління персоналом, професор кафедри вищої

математики, генеральний директор

Провідна установа - Прикарпатський університет імені Василя Стефаника,

Міністерство освіти і науки України,

м. Івано-Франківськ

Захист відбудеться “ 5 ” червня 2003 р. о _1400_ годині на засіданні спеціалізованої вченої ради К 26.456.01 в Інституті вищої освіти АПН України за адресою: 01014, м. Київ, вул. Бастіонна, 9, зал засідань

З дисертацією можна ознайомитись у бібліотеці Інституту вищої освіти АПН України за адресою: 01014, м. Київ, вул. Бастіонна, 9.

Автореферат розісланий “_2_” _травня _2003 р.

Учений секретар

спеціалізованої вченої ради,

кандидат філософських наук, доцент Горбунова Л.С.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність дослідження визначається змінами в системі освіти, що обумовлені потребами суспільства в якісній освіті світового рівня; Законом України “Про освіту”; Державною національною програмою “Освіта (Україна XXI століття)”; Національною доктриною розвитку освіти України у XXI столітті; всезростаючою необхідністю використання комп’ютерних технологій у навчальних закладах. У зв’язку з цими потребами, положеннями директивних документів постало завдання забезпеченням різних галузей соціального життя висококваліфікованими кадрами, зокрема, системи охорони здоров’я населення. Від лікарів вимагається наявність високого професіоналізму, в основі якого лежать не лише знання, а й готовність їх систематично поповнювати, уміння здійснювати контроль і самоконтроль за своїми діями і вчинками. У цьому контексті актуальним є використання комп’ютерних технологій для вимірювання рівня оволодіння знаннями, необхідними для вирішення практичних завдань.

Запровадження комп’ютерних технологій у навчальний процес є загальним завданням навчальних закладів усіх рівнів акредитації, потребує глибокої, копіткої наукової роботи зі складання програм, навчально-інформаційного матеріалу, системи навчальних тестів, методичних інструкцій для викладачів і студентів з урахуванням не тільки змісту навчальних предметів, а й завдань підготовки лікарів конкретних спеціальностей. Постають проблеми, обумовлені з використанням комп’ютерних технологій у різних методах, формах навчання (лекції, семінари, практикуми тощо). Аналіз матеріалів дискусій, які систематично відбуваються на науково-методичних конференціях, починаючи з 1996 року, свідчить про відсутність єдиної концепції щодо місця комп’ютерних технологій у підготовці лікарів на різних етапах їх навчання.

Найбільший інтерес викликає комп’ютерна оцінка знань. Він значно посилився в зв’язку з необхідністю забезпечення індивідуалізації навчального процесу – ефективним вирішенням проблеми передачі знань.

Гносеологічні та дидактичні аспекти контролю знань студентів, його місце в системі навчальної діяльності, понятійний апарат визначали педагоги і психологи Г.С.Костюк, О.М.Леонтьєв, С.Л.Рубінштейн. Контроль знань як складову частину навчання виділяли Ю.К.Бабанський, В.П.Беспалько, І.Є.Булах, Н.В.Кузьміна, Е.В.Лузик, О.П.Мінцер, О.В.Скрипченко, Н.Ф.Тализіна.

Аналіз праць учених вказує на важливість дослідження проблеми контролю знань як важливої складової навчального процесу. Окреслена проблема має вирішуватися з урахуванням психологічних і дидактичних факторів підготовки майбутніх лікарів до творчого використання набутого досвіду комп’ютерного контролю знань. Очевидною є необхідність пошуку оптимальних вимог до автоматизованих навчальних систем і реалізації з їх допомогою контролю знань залежно від кількості заданих запитань, обсягу їх бази, часу обміркування запитання, форми подання запитання (графічний, текстовий), ступеня складності - з одного, та ефективності педагогічного процесу - з іншого.

Водночас більшість дослідників акцентують увагу на педагогічних проблемах упровадження комп’ютерних систем контролю знань. Насамперед це стосується медичної галузі знань.

Як відомо, тести найбільше апелюють до стандартного використання готових знань. Відсутність можливості розкриття індивідуальності навчаємого, невелика увага до творчої, конструктивної діяльності за наявності стандартних, установлених відповідей – нічим не поправна прогалина недолік методу тестів. У ряді випадків використовуються достатньо важкі для поняття або прості тести.

Вкрай мало досліджень присвячено вивченню важливих дидактичних характеристик тестів: валідності, надійності, дослідженню процедур стандартизації тощо.

Зв’язок роботи з науковим програмами, планами, темами. Тема дисертації входить до тематики плану досліджень кафедри медичної інформатики Київської медичної академії післядипломної освіти ім. П.Л.Шупика “Розробка впровадження нових методів навчання в післядипломній освіті лікарів та провізорів на основі широкого використання сучасних інформаційних технологій” (УДК 61.07.614.251.61:621.3 № держреєстрації 00990000186) та в тематику досліджень Української медичної стоматологічної академії (м. Полтава) “Удосконалення методів контролю знань та комп’ютерного навчання в медичному вузі” (УДК 378.661 – 052.63 + 37.014.514 № держреєстрації 0198V000132).

Об’єкт дослідження – система контролю знань та вмінь як компонент навчального процесу в медичній освіті.

Предмет дослідження – методика комп’ютерного контролю знань та вмінь студентів вищих медичних навчальних закладів.

Мета дослідження – теоретично обґрунтувати та експериментально перевірити методику комп’ютерного контролю знань та вмінь студентів вищих медичних навчальних закладів за допомогою автоматизованої атестаційної системи нового типу.

Гіпотеза дослідження. Ефективність контролю професійної підготовки студентів вищих медичних навчальних закладів підвищується за умови впровадження в навчальний процес розробленої та експериментально перевіреної методики комп’ютерного контролю знань та вмінь на випускних курсах.

Відповідно до предмета, мети й гіпотези дослідження були визначені наступні завдання дослідження:

1)

2)

3)

4)

Методологічною та теоретичною основою дослідження стали концептуальні підходи, пов’язані з проблемами управління діяльністю у професійній освіті (В.І.Бондар, О.П,Кондратюк, О.Г.Мороз, В.О.Моляко, В.К.Сидоренко, та ін.); положення та висновки щодо діяльності (Г.С.Костюк, С.Д.Максименко); структура навчання (Ю.К.Бабанський, Л.М.Деркач, О.В.Скрипченко); досвід використання автоматизованих систем у навчанні (І.Є.Булах, Ю.І.Машбиць, О.П.Мінцер); особистісного підходу до навчання (І.Д.Бех, В.Ф.Поламарчук, В.В.Рибалка, Г.О.Балл).

Для розв’язання поставлених завдань та перевірки гіпотези використовувався комплекс теоретичних і емпіричних методів. Він включав аналіз науково-теоретичних джерел з проблем навчання, місця в ньому контролю знань та вмінь; тестування, метод експертних оцінок; спостереження, бесіди, аналіз результатів навчальної діяльності студентів, констатуючий та формуючий експерименти, а також статистична обробка даних.

Надійність та вірогідність результатів дослідження забезпечується сукупністю використаних методів дослідження, широкою апробацією основних положень дисертації у педагогічному процесі, якісним аналізом результатів дослідження, відповідністю вибору та результатами дослідно-експериментальної перевірки, різними джерелами інформації, доцільним співвідношенням та порівняльним аналізом.

Організація дослідження. Дослідно-експериментальна робота виконувалася в Українській медичній стоматологічній академії (м. Полтава) (550 осіб). Дослідження проводилось з 1995 по 2001 рік і складалося з кількох взаємопов’язаних етапів.

На першому етапі (1995 – 1997 навчальні роки) вивчалися теоретико-методологічні передумови, вихідні принципи та методики дослідження, стан досліджуваної проблеми, уточнювався понятійний апарат, обґрунтовувалися концептуальні ідеї, об’єкт, предмет і завдання, гіпотеза дослідження, проводився констатуючий експеримент згідно з розробленою програмою, розроблялися тести, їх структура, класифікація та методика проведення комп’ютерного контролю знань і вмінь.

На другому етапі (1997 – 1998 навчальні роки) проводився уточнювальний експеримент. На цьому етапі було виявлено найбільш вдалі критерії удосконалення автоматизованої атестаційної системи нового типу з метою ефективного контролю професійної підготовки майбутніх лікарів, здійснено апробацію методики комп’ютерного контролю знань та вмінь, з’ясовано позитивні і негативні моменти його використання. В уточнювальному експерименті розроблена методика комп’ютерного контролю знань та вмінь порівнювалась з традиційним контролем за допомогою експертів.

На третьому етапі (1998 – 2001 навчальні роки) здійснювався формуючий експеримент, спрямований на перевірку вірогідності сформульованої гіпотези, апробувалися методики комп’ютерного контролю знань та вмінь, які були вдосконалені після уточнювального експерименту, перевірялися шляхи вдосконалення навчального процесу з використанням автоматизованих атестаційних систем, що забезпечують ефективність професійної підготовки майбутніх лікарів. Разом з тим на заключному етапі аналізувалися й узагальнювалися результати дослідження, оброблялися експериментальні дані, формулювалися загальні висновки.

Наукова новизна одержаних результатів полягає в наступному:

1. Вперше теоретично обґрунтовано, розроблено й експериментально перевірено методику комп’ютерного контролю знань та вмінь студентів вищих медичних навчальних закладів, яка складається із завдання кількості запитань на іспиті в залежності від цілей атестації, часу на обміркування відповіді, кількості ситуаційних задач, форми подання завдань.

2. Розроблено структуру та класифікацію тестових завдань залежно від представлення відповіді для комп’ютерної перевірки знань і вмінь випускників вищих медичних навчальних закладів, що дало можливість підвищити ефективність перевірки якості знань і вмінь студентів.

3. Показано шляхи вдосконалення практичних занять з використанням автоматизованих атестаційних систем: обов’язковий базисний контроль знань перед початком занять, забезпечення відносної однорідності навчальної групи за рівнем знань, інформаційна підтримка рішень у процесі виконання навчальних завдань, адекватність набору практичних завдань рівню знань та вмінь.

4. Визначено шляхи вдосконалення семінарських занять у медичній освіті з використанням ААС: застосування ідей тендера, “закритих експертиз”, “суду”, “комісії”, використання телесемінарів .

Теоретичне значення дослідження полягає в доповненні педагогічної теорії новими знаннями в галузі методики контролю рівня знань та вмінь студентів за допомогою комп’ютерних технологій при проведені практичних та семінарських занять; розгляді контролю знань і вмінь у системі з змістовно-інформативними складовими процесу навчання; урахуванні психологічних характеристик професійної діяльності при контролі знань і вмінь студентів вищих медичних навчальних закладів: уміння швидко прийняти рішення, переваги образного, а не вербального компоненту, комплексне оцінювання даних.

Практичне значення одержаних результатів дослідження визначається тим, що впроваджено основні концептуальні положення і методику з проведення комп’ютерного контролю знань та вмінь студентів у навчальний процес Української медичної стоматологічної академії (м. Полтава) (акт про впровадження від 23.10.02), Запорізького медичного університету (акт про впровадження від 12.11.02).

Основні висновки та рекомендації можуть бути використані у медичних вищих навчальних закладах дипломної і післядипломної освіти з метою підвищення якості навчання, контролю знань та вмінь. Організація навчального процесу, відповідно до визначених у дисертації процедур контролю знань та вмінь дозволить поліпшити якість підготовки студентів. Теоретичні положення й висновки дослідження можуть бути використані при написанні підручників, навчально-методичних посібників з педагогіки та психології.

Апробація результатів дослідження. Основні положення дисертаційного дослідження доповідалися та обговорювались на конференціях: IV республіканській науково-методичній конференції “Застосування комп’ютерної техніки в навчальному процесі медичних та фармацевтичних вищих навчальних закладів України” (Київ-Донецьк, 1994); науково-методичній конференції “Проблеми підготовки медичних та фармацевтичних кадрів в Україні” (Київ-Полтава, 1998); науково-методичній конференції “Актуальні проблеми післядипломної медичної та фармацевтичної освіти в Україні” (Харків, 1998); навчально-методичній конференції “Роль реформи вищої освіти у підготовці лікарів” (Полтава, 1999); навчально-методичній конференції “Сучасні методи організації навчального процесу та їх оптимізація” (Полтава, 1999); науково-методичній конференції “Сучасні проблеми підготовки фахівців у вищих медичних та фармацевтичних закладах освіти I-IV рівнів акредитації МОЗ України” (Київ-Тернопіль, 1999); науково-методичній конференції “Семінар у медицині та фармації” (Київ, 2000); науково-методичній конференції “Практичне заняття у підготовці лікарів і провізорів” (Київ, 2001); науково-методичній конференції “Роль нових інформаційних технологій у підготовці сучасного лікаря” (Полтава, 2002); розширеному кафедральному засіданні співробітників кафедр медичної інформатики, гуманітарних дисциплін, управління охороною здоров’я, організації і економіки фармації, курсу педагогіки та психології КМАПО (Київ, 2000); засіданні відділу педагогіки і психології вищої школи Інституту вищої освіти АПН України (Київ, 2002).

Публікації. Результати проведеного дослідження висвітлено в семи авторських публікаціях, надрукованих у збірниках наукових праць, затверджених ВАК України.

Структура дисертації складається зі вступу, 3 розділів, висновків, списку використаних джерел та додатків. Робота обсягом 172 сторінки містить 24 таблиці та 24 рисунки. Список літератури нараховує 238 джерел.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність проблеми, визначено об’єкт, предмет, мету, завдання, гіпотезу, методологію та етапи дослідження, розкрито його наукову новизну, теоретичне і практичне значення, наведено дані про впровадження й апробацію результатів дослідження.

У першому розділі “Теоретичні основи контролю знань та вмінь студентів у навчальному процесі” на основі критичного аналізу психолого-педагогічної літератури розглянуто теоретичні основи досліджуваної проблеми у процесі традиційних форм навчання і застосуванні автоматизованих навчальних систем; проаналізовано форми контролю рівня знань та вмінь в експертних системах, у новітніх інформаційних системах (зокрема, у дистанційному навчанні); визначено місце контролю знань і вмінь за різних форм навчання.

Контроль знань виступав об’єктом наукового аналізу педагогів, психологів кінця XIX - XX століттях. Вже у середині XX століття процедура перевірки знань розглядалася педагогами і психологами як необхідний елемент у системі навчання, причому не тільки при розгляді самого процесу передачі знань, а й для виховання особистості (Ю.К.Бабанський, О.В.Скрипченко, Н.Ф.Тализіна та інші).

Одним із перших вивчив і запропонував системний підхід до навчальної діяльності О.М.Леонтьєв (1960). У її структурі він виділив три блоки, пов’язані з мотивами, метою, операціями. Проте в його працях не приділяється увага блоку контролю. Він відсутній і в аналізі навчальної діяльності Н.В.Кузьміної (1964), Т.А.Ільїної (1972), С.І.Архангельського (1978).

У психологічній концепції навчальної діяльності О.В.Скрипченко (1973) виділяються контрольно – оцінні складові у взаємозв’язку зі змістом, цілями, мотивами, операціями, комунікативністю тощо. До операційних компонентів він включав сенсомоторні, перцептивні, мнемонічні, мислительні, мовленнєві та інші складові.

У концепції навчального процесу Ю.К.Бабанського (1977), розглядається сім складових: цілі, зміст, форми і методи організації діяльності, методи емоційно-вольового стимулювання, контролю, аналіз і оцінка результатів.

Чеський дослідник Й.Лінгарт (1963) і російський учений П.К.Анохін (1980) контролюючий компонент у навчальній діяльності розглядають на стиках, пов’язаних з аферентним синтезом (обробкою, зіставленням і синтезуванням навчальної інформації) та зі зворотною аференцією і процесами, пов’язаними із встановленням неузгодженості між цілями і одержаними результатами.

Отже, в існуючих концепціях навчання не скрізь виділяється контроль і оцінка знань як складова навчальної діяльності студента і викладача. Там, де цей компонент входить у концепцію навчального процесу, контроль знань має різне походження і виконує неоднакові функції.

Переважна більшість сучасних досліджень учених зорієнтована на побудову концепції навчання з урахуванням суттєвої ролі контролю знань. Так, Olsen J.B. і Bunderson et al. (1989) виділяють чотири покоління комп’ютерних педагогічних вимірювань контролю знань: комп’ютерне тестування; комп’ютерне адаптивне тестування; безперервне вимірювання; інтелектуальне вимірювання знань. Найбільш поширені поки що два перші покоління.

У зв’язку зі зростаючим використанням комп’ютерної технології в навчальних закладах виникає необхідність нових досліджень, спрямованих на вивчення методики використання комп’ютерної технології в різних формах навчання (семінарах, практикумах), ефективності використання комп’ютерної технології у підготовці лікарів та інших медичних працівників.

Останнім часом багато країн світового співтовариства все частіше застосовують альтернативні засоби навчання, а саме відкриті університети, дистанційну освіту. Упровадження нових технологій навчання потребує розкрити проблему оцінювання та моніторування рівня знань та вмінь за допомогою комп’ютерних технологій.

Аналіз педагогічної літератури з досліджуваної проблеми послужив основою для вивчення проблеми контролю знань та вмінь як важливої складової навчального процесу, для визначення оптимальних вимог до автоматизованих атестаційних систем і реалізації з їхньою допомогою контролю знань та вмінь від ряду кількості завдань, що задаються, обсягу їхніх баз, часу на обміркування завдання, вигляду подання завдання; ступеня складності завдання.

Стан проблеми рівня контролю знань та вмінь майбутніх лікарів вивчався у студентів старших курсів Української медичної стоматологічної академії (м.Полтава). Для збору інформації з проблеми дослідження була розроблена методика перевірки контролю рівня знань та вмінь за допомогою експертів та автоматизованих атестаційних систем, система диференціації отриманих результатів. Проводилась традиційна статистична обробка даних за допомогою кореляційного аналізу, альтернативної статистики.

Результати констатуючого експерименту довели високу надійність комп’ютерного іспиту, яка випливає із зіставлення результатів контролю рівня знань та вмінь студентів викладачами-експертами та автоматизованою атестаційною системою нового типу. Так, результати контролю збіглися у 91% респондентів, причому в окремих випадках комп’ютерні системи були більш вимогливими екзаменаторами.

Констатуючий експеримент виявив залежність між оцінками експертів та автоматизованих атестаційних систем (коефіцієнт кореляції r=0,850,05; р<0,05).

У другому розділі “Експериментальна методика комп’ютерного контролю знань та вмінь студентів вищих медичних навчальних закладів” розроблено структуру, класифікацію тестових завдань для комп’ютерного контролю знань та вмінь, здійснено їх оцінку на надійність та валідність, визначено шляхи удосконалення автоматизованої атестаційної системи нового типу.

Перш за все, описуються головні принципи функціонування застосованої нами автоматизованої атестаційної системи.

Нами проаналізована логіка структуризації та класифікації тестових завдань (табл. 1).

Таблиця 1

Структура та класифікація тестів для комп’ютерної перевірки знань випускників медичних вищих навчальних закладів

№ п/п | Тестові завдання залежно від подання відповіді (стратегія тестування на рівні побудови тестового питання)

Закриті | Напівзакриті | Відкриті

1. | Альтернативні тестові завдання:

- тест “правильно-неправильно”;

- більше двох запропонованих варіантів відповіді | Конструювання відповіді шляхом вибору потрібних елементів із бібліотеки | Інтерактивні ситуаційні задачі

2. | Завдання множинного вибору:

- встановлення послідовності (ранжування) варіантів відповіді;

- - визначення групи правильних відповідей | Ситуаційні завдання зі строго заданим розгалуженим алгоритмом

3. | Знаходження відповідності між частинами завдання | Тести з заповненням пропусків

4. | Конструювання відповіді шляхом вибору потрібних елементів із бібліотеки

5. | Ситуаційні задачі

Здійснювалась оцінка надійності та валідності тестів, що використовувалися для атестації рівня знань та вмінь студентів.

В якості критерію надійності використовувався досить відомий підхід – метод перетестування (тест-ретест), або метод вимірювання ретестової надійності. Для однакових груп студентів проводили первинне та повторне тестування. Хоча у класичній методиці часовий інтервал для повторного тестування становить, здебільшого, два тижні (що гарантує забуття завдань тесту), в наших дослідженнях він не перевищував доби. Проведення такого ретестового контролю було можливо завдяки використанню великих баз даних завдань (він у більшості випадків перевищував 1000-1500 завдань).

В якості критерію валідності використовували експертні оцінки. Для цього опитували викладачів щодо рівня підготовки конкретних студентів. Після цього результати тесту і експертний рейтинг зіставляли. Вважали, що тест валідний, якщо коефіцієнт кореляції між отриманими даними був не нижче 0,6.

При вивченні критерію надійності, а також при аналізі валідності тестів величини коефіцієнтів кореляцій коливались у діапазоні від 0,7 до 0,9. Тільки в окремих випадках вони були меншими 0,7, але більшими 0,5.

Отримані коефіцієнти свідчать про коректність застосування запропонованих нами тестових завдань при атестації рівня знань та вмінь студентів.

З метою вдосконалення контролю рівня знань та вмінь студентів за допомогою комп’ютерних технологій проведено формуючий експеримент, який полягав у дослідженні залежності якості автоматизованих атестаційних систем від кількості завдань, що задаються, обсягу бази завдань, часу обміркування завдання, вигляду подання завдання (графічний, текстовий), ступеня складності завдання. Здійснено порівняльний аналіз оцінок експерта й атестаційної системи. Розглянуто основні причини відмінностей результатів оцінювання рівня знань та вмінь.

Відтак, дослідно-експериментальна перевірка запропонованої автоматизованої атестаційної системи нового типу виявила динаміку зміни показників оцінки рівня знань та вмінь у студентів атестаційною системою й експертами, яку відображено в табл.2.

Отримані результати показали, що найближчими до оцінок експерта були оцінки автоматизованої системи при кількості заданих завдань більше 150 (коефіцієнт кореляції 0,62±0,04). Дані свідчать, що при атестації за допомогою комп’ютерних технологій велике значення має кількість заданих завдань і обумовлена залежністю від цілей атестації: виявлення знань симптоматики, лабораторних методів дослідження, лікувальних призначень (назва препарату, його дозування), клінічної підготовки, кваліфікації.

При порівнянні оцінок експертів і атестаційної системи залежно від наданого часу на обміркування відповіді найбільше значення коефіцієнта кореляції (0,59±0,04) спостерігали при значеннях часу від 30 до 40 секунд. Значення цього фактора відносне, оскільки результати атестації повинні залежати як від рівня знань та вмінь тих, що атестуються, так і від попередньої тривалості тренінгу. Статистика досліджень показала, що студенти на першу половину завдань витрачали приблизно 10-15 секунд, а на наступні, внаслідок втоми, знервованості та інших негативних факторів, витрачали у 2 рази більше часу. Збільшення часу на обміркування відповіді також недоцільне, оскільки на отриманих результатах відбивається списування, підказування і таке ін.

Таблиця 2

Результати контролю рівня знань та вмінь студентів атестаційною системою (за етапами дослідження)

Досліджувані фактори | Оцінки автоматизованої атестаційної системи

Експериментальна група

Відмінно і добре | Задовільно | Незадовільно

число заданих завдань

<100

100-150

>150 |

114

109

107 |

82

85

83 |

4

6

10

час, наданий на відповідь

20-30 с

30-40 с

> 40 с |

100

105

109 |

88

81

89 |

12

14

2

наявність ситуаційних задач до загального об’єму

<10%

10%-25%

25%- 40% |

114

111

105 |

84

83

84 |

2

6

11

наявність графіків, таблиць, рисунків до загального об’єму

<10%

10%-25%

25%- 40% |

111

118

104 |

84

82

84 |

5

10

11

Апріорно було очевидно, що серед загального числа завдань, запропонованих студенту на іспитах, мали бути представлені всі типи задач (альтернативні, множинного вибору тощо) і насамперед - ситуаційні. Їхня важливість випливає з очевидністю з того факту, що при формуванні основних елементів професійної діяльності лікаря поряд з оцінкою необхідних понять і знань, вони повинні комплексно оцінювати дані обстеження хворого, призначати необхідні лабораторні та інструментальні дослідження, оцінювати їхні результати, проводити диференціальну діагностику, призначати необхідне лікування, оцінювати його ефективність. При цьому найважливішим аспектом професійної діяльності лікаря є діагностика захворювань.

Водночас, із отриманих даних випливає, що найкращим діапазоном питомої ваги ситуаційних завдань є 25% - 40% до загального числа заданих завдань. Саме за такої кількості досягається найвищий рівень кореляції (0,61±0,04) між даними атестаційної системи й оцінками експертів (р<0,05).

Аналогічний діапазон є оптимальним і для кількості завдань з елементами графіків, таблиць, рисунків серед загального обсягу завдань, що надаються студентам на іспитах (r=0,59±0,04, р<0,05).

Отже, можна стверджувати, що при атестації за допомогою автоматизованих систем тестові завдання доцільно подавати в наочній формі, оскільки в лікарській діяльності саме образний, а не вербальний компонент відіграє провідну роль.

У третьому розділі “Удосконалення навчального процесу з використанням автоматизованих атестаційних систем нового типу” розкрито шляхи вдосконалення практичних та семінарських занять у медичних вищих навчальних закладах із метою підвищення їх ефективності за допомогою комп’ютерних технологій.

Нами запропоновано принцип об’єднання типів завдань і видів контролю знань та вмінь (табл.3).

Таблиця 3

Види контролю і рівня засвоєння знань, сформованості методів пізнання та діяльності на практичних заняттях

Види контрольних випробувань | Контроль

Рівня засвоєння знань | Рівня сформованості методів діяльності

Альтернативні тести | Ознайомлення | Репродуктивний

Завдання множинного вибору | Розуміння

Завдання на відповідність, конструювання відповіді шляхом вибору потрібних елементів з бібліотеки тощо | Відтворення

Нелінійні тести | Репродуктивні уміння | Репродуктивно-продуктивний

Тести з різноманітною формою подання матеріалу (зображення, ситуаційні завдання, моделі тощо) | Уміння приймати рішення | Продуктивний

Наш досвід свідчить про те, що автоматизований контроль знань та вмінь має незаперечну перевагу порівняно з традиційними засобами контролю знань завдяки можливостям контролю великого обсягу інформації, забезпечення тренування в прийнятті рішень, самоперевірки знань тими, хто навчається, детального контролю знань та вмінь (виявлення "слабких" місць у навчанні), дистанційного контролю знань та вмінь, моніторування рівня і формалізації знань тощо. Але ж використання його приводить до корінної зміни структури практичних та семінарських занять.

Виділено п’ять найважливіших шляхів, що забезпечують удосконалення навчання під час практичних занять:

1) обов’язковий базисний контроль рівня знань та вмінь перед початком заняття; 2) забезпечення відносної однорідності навчальної групи за рівнем знань; 3) адекватність набору практичних завдань рівню знань студентів;

4) неформальний добір студентів у групи (психофізіологічні характеристики, рівень знань, кількість груп не менше 6-7 осіб); 5) інформаційна підтримка рішень у процесі виконання навчальних завдань за допомогою CD-ROM технологій, бази знань.

Значення семінару наприкінці двадцятого століття значною мірою зросло, особливо в системі медичної освіти. Суттєвим чинником у динаміці зміни ролі семінару виявилося широке впровадження інформаційних технологій. Важливими аспектами перебудови семінарського заняття у вищій медичній школі вважаємо використання CD-ROM та мультимедійних технологій.

Виділяємо такі шляхи вдосконалення семінарських занять: 1) ініціалізація інтелектуальної діяльності студента; 2) застосування експертних методів (для обговорення варіантів рішення застосовуються методи “комісії”, “закритих експертиз”); 3) активізація самостійної роботи студента під час підготовки, самоаналіз, робота з викладачем, консультантом; 4) застосування телесемінарів (клінічне ілюстрування рідкісних форм захворювань, досвіду провідних клінічних закладів).

Зміна організації навчання обумовлена використанням постійного контролю знань та вмінь, здійснюється з урахуванням програмно-цільових установок, обумовлених кваліфікаційними характеристиками лікарів-спеціалістів. Вона дає можливість виділити саме ті знання, вміння і навички, якими кожен із студентів повинен володіти досконало, вміти застосовувати їх безпомилково у розв’язанні клінічних задач. Окрім того, автоматизований контроль знань дозволяє краще сформувати прогресуючу мотиваційну основу навчально-професійної діяльності.

Наступна таблиця дає уявлення про якісні зміни результативності практичних занять за широкого і коректного впровадження комп’ютерного контролю знань (табл.4).

Як свідчать отримані дані, для завдань І рівня відчутної різниці між двома технологіями організації практичних завдань немає (p>0,05). Водночас, для більш складних завдань організація комп’ютерного тестування знань дає суттєве покращення якості викладання. Так, за умовної складності завдань 5-8 балів різниця в двох групах досліджень складає 12% (p<0,05). Ще більш відчутні позитивні наслідки впровадження комп’ютерного контролю знань за високої складності завдань (більше 12 бальних одиниць). Якщо в контрольній групі без застосування комп’ютерних тестів кількість тих, які відповідали правильно на завдання, була 46 5,5%, натомість в дослідній групі (із застосуванням комп’ютерних тестів), вона вже дорівнювала 61 5,3%, тобто складала вже 15% (p<0,05).

Таблиця 4

Зіставлення ефективності практичних занять при двох технологіях їх організації

№ п/п | Умовна важкість завдань

(у балах) | Загальна кількість студентів (251) | Контрольна група (без застосування комп’ютерних тестів)

(130 студентів) | Дослідна група

(із застосуванням комп’ютерних тестів)

(121 студент ) | Достовірність різниці

абс | Відповідали правильно | абс | Відповідали правильно | t | p

абс | % | абс | %

1 | 1-4 | 251 | 130 | 117 | 90 | 121 | 110 | 91 | 0,27 | > 0,05

2 | 5-8 | 211 | 107 | 75 | 70 | 104 | 85 | 82 | 2,06 | < 0,05

3 | 9-12 | 180 | 83 | 42 | 51 | 97 | 65 | 67 | 2,20 | < 0,05

4 | >12 | 166 | 81 | 37 | 46 | 85 | 52 | 61 | 1,96 | < 0,05

Цілком очевидно, що ілюстровані зміни якості навчального процесу на практичних заняттях залежать від технології організації тестування, варіація правильних відповідей може бути значною.

Подібні результати отримані нами і на семінарських заняттях (табл.5).

Незначне зменшення ефекту від використання комп'ютерного тестування на семінарах очевидне. Дійсно, на відміну від практичних занять, на семінарах роль викладача є помітно високою. Це певною мірою, нівелює розбіжності в базисному рівні знань, дає можливість студентам у реальному масштабі часу отримати інформацію, якої не вистачає їм для прийняття рішень, скоректувати неточні знання, отримати відповіді на незрозумілі питання. Тим не менше, наслідки впровадження комп’ютерного тестування на етапах обговорення проблем під час семінарських занять очевидні.

Таблиця 5

Зіставлення ефективності семінарських занять при двох технологіях їх організації

№ п/п | Умовна важкість завдань (у балах) | Загальна кількість студентів (251 студент) | Контрольна група (без застосування комп’ютерних тестів) (130 студентів) | Дослідна група (із застосуванням комп’ютерних тестів) (121 студентів) | Достовірність різниці

абс | Відповідали правильно | абс | Відповідали правильно

абс | % | абс | % | t | p

1 | 1-4 | 251 | 130 | 123 | 95 | 121 | 118 | 97 | 0,81 | > 0,05

2 | 5-8 | 211 | 107 | 78 | 83 | 104 | 94 | 90 | 1,5 | > 0,05

3 | 9-12 | 184 | 87 | 49 | 56 | 97 | 71 | 73 | 2,44 | < 0,05

4 | >12 | 168 | 83 | 42 | 51 | 85 | 59 | 69 | 2,42 | < 0,05

Важче оцінити ефективність використання тестів у лекційному висвітленні предметної галузі. Як відомо, комп’ютерна перевірка знань здійснюється, в основному, перед лекцією. Значно меншою мірою комп’ютерне тестування реалізується протягом лекції. Водночас, дані свідчать про кращу підготовленість до проведення практичних і семінарських занять, тих студентів, у яких забезпечується контроль знань та вмінь. Базисна перевірка знань та вмінь свідчила про збільшення кількості студентів, які допущені до лекції, не менше ніж на 8,1 1,3 % випадків.

Отже, отримані результати підтвердили основні положення гіпотези про необхідність обов’язкового використання тестового контролю знань та вмінь студентів; довели ефективність розроблених критеріїв адаптації автоматизованої атестаційної системи та вдосконалення навчального процесу.

ОСНОВНІ ВИСНОВКИ ДОСЛІДЖЕННЯ

1. Аналіз психолого-педагогічної літератури дає підстави стверджувати, що в сучасній науці існують різні погляди на місце контролю знань в навчанні. У широкому розумінні він розглядається на межах із аферентним синтезом (обробкою, зіставленням і синтезуванням навчальної інформації) та зі зворотними процесами, пов’язаними із встановленням неузгодженості між цілями і одержаними результатами, а у вузькому аспекті – як складова навчального процесу, оцінка рівнів знань та вмінь, навичок.

2. Дослідженням проблеми використання комп’ютерних технологій в оцінюванні рівня знань та вмінь студентів підтверджено доцільність використання автоматизованих атестаційних систем у медичній освіті, як таких, що дають об’єктивнішу та розподільнішу шкалу рівня знань у порівнянні з традиційним висновком експерта.

3. Створено та апробовано критерії оптимізації автоматизованих атестаційних систем на основі об’єктивної оцінки знань та вмінь, практичних навичок майбутніх лікарів, а також на принципах особистісно-орієнтованих підходів у навчанні. Вони ґрунтуються на специфіці професійної діяльності лікаря, сучасні вимоги до його майстерності, обізнаності.

4. У ході експерименту встановлено, що при контролі знань та вмінь за допомогою автоматизованої системи:

1)

2) час на обміркування відповіді повинен становити від 30 до 40 секунд. Значення цього фактора відносне, оскільки результати атестації повинні залежати як від рівня знань студентів, так і від попередньої тривалості тренінгу. Статистика досліджень свідчить, що студенти на першу половину завдань витрачали приблизно 10-15 секунд, а на наступні - удвічі більше часу внаслідок втоми, знервованості та інших негативних факторів. Збільшення тривалості обміркування відповіді також є недоцільним, оскільки на результатах відбивається ще й списування, підказки і ін.;

3) кількість ситуаційних задач від загального числа завдань має бути не менше 25% . Це свідчить, що у формуванні основних елементів професійної діяльності лікаря поряд із оцінкою необхідних понять, знань велике значення мають уміння комплексно оцінювати дані обстеження хворого, призначати необхідні лабораторні та інструментальні дослідження, оцінювати їхні результати, проводити диференціальну діагностику, обирати необхідне лікування, оцінювати його ефективність. При цьому найважливішим аспектом професійної діяльності лікаря є діагностика захворювань;

4) тестові завдання доцільніше подавати в наочній формі у вигляді графіків, таблиць, рисунків, фотографій, причому їхня кількість має становити не менше 25% від загального обсягу заданих завдань, бо в лікарській діяльності саме образний, а не вербальний компонент відіграє провідну роль.

5. Розроблена методика об’єктивного оцінювання рівня професійних знань та вмінь засобами автоматизованих атестаційних систем передбачає побудову сценарного іспиту, багатоетапну процедуру випадкового вибору запитань, індивідуалізацію іспиту.

6. Відповідно до розробленої методики об’єктивного оцінювання знань та вмінь у майбутніх лікарів за допомогою атестаційних систем найефективнішим виявилося забезпечення багатоетапної процедури іспиту. Отримання повторювальних високих оцінок вказувало про валідність комп’ютерної атестації. Дані переконано свідчать, що подібна проста процедура дозволяє досягти очікуваних результатів. Коефіцієнт кореляції понад 0,7 дає всі підстави застосовувати автоматизовані атестаційні системи у більшості практичних випадків.

7. Використання комп’ютерного тестового контролю знань дозволяє забезпечити об’єктивний поділ студентів на групи для реалізації індивідуалізованого навчання. Показано, що продуктивність підгруп, зокрема, на практичних заняттях збільшується на 30%.

8. При вивченні сучасного стану запровадження інформаційних технологій у систему освіти, швидкості розробки нових підходів й алгоритмів зберігання, структуризації, обробки й передачі знань установлено, що вони практично цілком змінюють логіку навчання і дидактичні прийоми проведення практичних та семінарських занять.

Дослідженням установлено, що п’ять найважливіших шляхів визначають удосконалення практичних занять із використанням автоматизованих атестаційних систем: 1) обов’язковий базисний контроль знань перед початком заняття; 2) забезпечення відносної однорідності навчальної групи; 3) адекватність набору практичних завдань рівню знань студентів (форма наведення завдань, ліміт часу, зрозумілість умов практичних вправ, психічний стан студента, ступінь тренованості у вирішенні аналогічних завдань, рівень знань у предметній і близьких до неї галузях, параметри нетрадиційності рішень, обсяг додаткових завдань із суміжних дисциплін, рівномірність показників складності на кожному кроці рішення); 4) неформальний добір студентів у групах (розшарування студентів за рівнем знань); 5) інформаційна підтримка рішень у процесі виконання навчальних завдань.

9. Найважливіші шляхи вдосконалення семінарських занять із використанням автоматизованих атестаційних систем такі: 1) ініціалізація інтелектуальної діяльності слухача в індивідуальному та груповому режимах;

2) застосування ідеї тендера, “суду”, “комісії”, “закритих експертиз” тощо;

3) використання телесемінарів для клінічного ілюстрування рідкісних форм захворювань, запозичення досвіду провідних клінічних закладів, употужнення медичного інтелекту.

10. Чинні у вищих медичних навчальних закладах комп’ютерні тести здебільшого уособлюють собою лише перевірку першого рівня знань (репродуктивних). Нині від контролю знань та вмінь більшою мірою вимагається перевіряти глибину засвоєння навчальних дисциплін, уміння майбутніх фахівців логічно мислити, зіставляти різні предмети і явища, робити правильні висновки і приймати оптимальні рішення. Саме тому для перевірки медичних знань необхідно використовувати різні типи тестових завдань.

Проблема автоматизованого контролю знань не обмежується лише процедурою тестування, а й торкається всіх аспектів інформатизації навчального процесу, зокрема новітньої інформаційної технології - використання корпоративної мережі для одержання, передачі, систематизації інформації, так званого дистанційного навчання, а також зовнішньої інформаційної мережі Internet.

Проведене дослідження не вичерпує всіх аспектів зазначеної проблеми. Наведена концептуальна позиція впровадження систем тестового контролю знань та вмінь у вищих навчальних закладах має й свої слабкі сторони, які необхідно вивчити й відкоригувати. Насамперед необхідне ретельне врахування чинників, що загрожують внутрішній і зовнішній валідності. Проблема створення і подальшого супроводу комп’ютерних тестів ускладнюється різноманіттям використовуваних для їхньої розробки концептуальних основ, програмно-технічних засобів та інструментаріїв. Саме тому поширення висновків, зроблених у даній дисертаційній роботі, має здійснюватися з обережністю і ретельною перевіркою вхідних чинників.

Основний зміст дисертації відображений у таких публікаціях:

1. Силкова Е.В. Количественные характеристики эффективности автоматизированных аттестационных систем в додипломной стадии медицинского образования // Вісник проблем біології і медицини. - 1999.-№3.- С.17- 20.

2. Сілкова О.В. Нові альтернативні інформаційні системи навчання// Наука і сучасність: Зб. наук. пр. НПУ ім. М.П.Драгоманова. - К.: Логос, 2001, т.XXIV.- С.112-119.

3. Сілкова О.В. Інформаційні системи навчання у медичній освіті// Наука і сучасність. Зб. наук. пр. НПУ ім. М.П.Драгоманова. - К.: Логос, 2001, т.XXVI.- С.102-108.

4. Сілкова О.В. Застосування атестаційних систем у медичній освіті та класифікація тестових завдань// Комп’ютерно-орієнтовані системи навчання. Зб. наук. пр. НПУ ім.М.П.Драгоманова. - К.: НПУ. – Випуск 3.-2001. - С.173- 178.

5. Сілкова О.В. Експериментальне вивчення оцінок експертів і оцінок, одержаних за допомогою автоматизованих атестаційних систем// Актуальні проблеми психології: Зб. наук. пр. Інституту психології ім.Г.С.Костюка АПН України. – К., 2001. – Т.1, ч.1. – С.73-79.

6. Сілкова О.В. Контроль знань в концепціях психології навчання// Проблеми загальної та педагогічної психології: Зб. наук. пр. Інституту психології ім.Г.С.Костюка АПН України. – К., 2001. – Т.ІІІ, ч.6. – С.186-191.

7. Сілкова О.В. Оцінка надійності та валідності психологічних та педагогічних тестів у медичній післядипломній освіті лікарів// Проблеми загальної та педагогічної психології: Зб. наук. пр. Інституту психології ім.Г.С.Костюка АПН України. – К., 2001. – Т.ІІІ, ч.7. – С.189-194.

8. Сілкова О.В. Експертні системи як засіб навчання. //Тез. доп. IV наук. - метод. респ. конф. “Застосування комп’ютерної техніки в навчальному процесі медичних та фармацевтичних вищих навчальних закладів України”. - Київ-Донецьк, 1994. - С.129-130.

9. Сілкова О.В. Удосконалення навчання за допомогою