У нас: 141825 рефератів
Щойно додані Реферати Тор 100
Скористайтеся пошуком, наприклад Реферат        Грубий пошук Точний пошук
Вхід в абонемент





ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

ДНІПРОПЕТРОВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ

БАНДОРІНА ЛІЛІЯ МИКОЛАЇВНА

УДК 339.166.5:004.89.001.57

МЕТОДИ БАГАТОКРИТЕРІАЛЬНОЇ ОЦІНКИ

ЕФЕКТИВНОСТІ ІНФОРМАЦІЙНО-ІНТЕЛЕКТУАЛЬНИХ

ТЕХНОЛОГІЙ

Спеціальність 08.03.02 - економіко-математичне моделювання

Автореферат дисертації на здобуття наукового ступеня

кандидата економічних наук

Дніпропетровськ – 2005

Дисертацією є рукопис

Робота виконана у Національній металургійній академії України Міністерства освіти і науки України (м. Дніпропетровськ)

Науковий керівник

Офіційні опоненти:

Провідна установа

кандидат економічних наук, доцент

Савчук Лариса Миколаївна,

Національна металургійна академія України (м. Дніпропетровськ), декан факультету економічної кібернетики, комп’ютерних систем і автоматизації

доктор економічних наук, професор

Вітлінський Вальдемар Володимирович,

Київський національний економічний університет, професор кафедри економіко-математичних методів

кандидат економічних наук

Притоманова Ольга Михайлівна, Дніпропетровський національний університет, доцент кафедри комп’ютерної обробки фінансово-економічної інформації

Харківський національний економічний університет Міністерства освіти і науки України,

кафедра економічної кібернетики

Захист відбудеться “14” червня 2005 р. о 14.00 годині на засіданні спеціалізованої вченої ради Д 08.051.03 при Дніпропетровському національному університеті МОН України за адресою: 49050, м. Дніпропетровськ, вул. Наукова, 13, ауд. 317.

З дисертацією можна ознайомитись у бібліотеці Дніпропетровського національного університету МОН України за адресою: 49050, м. Дніпропетровськ, вул. Наукова, 13.

Автореферат розісланий “ 11 ” травня 2005 р.

Вчений секретар

спеціалізованої вченої ради Д 08.051.03 О.Й. Шевцова

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Діяльність, пов'язана із впровадженням та використанням інформаційно-інтелектуальних технологій (ІІТ), в значному ступені впливає на процес досягнення підприємством успіхів у конкурентній боротьбі, властивій ринковій економіці. Це обумовлює необхідність обґрунтованого підходу до процесу комплексної оцінки ефективності ІІТ.

Актуальність теми дослідження визначається необхідністю вирішення проблеми всебічної, інтегральної оцінки інформаційно-інтелектуальних технологій з метою обґрунтування їх впровадження підприємством для одержання стратегічних ринкових переваг по цілому ряду сфер діяльності; необхідністю збільшення відповідності ІІТ дійсним управлінським процесам і максимальному наближенню прийнятих рішень реальним потребам; необхідністю зменшення можливості виникнення негативних результатів впровадження ІІТ (ризиків).

Проведений аналіз наукових праць в області інформаційних технологій та інноваційно-інвестиційного менеджменту, зокрема Титаренко Г.А., Гойко А.Ф., Гужви В.П., Завліна П.Н., Васильєва А.В., Олексюка О.С., Бланка І., Ситніка В.Ф., Стюарта Т., Тахтенгерца Є.А., Бромвича М. та ін. виявив, що проблема комплексної оцінки ефективності інформаційних технологій, включаючи технічні, економічні й соціальні аспекти, займає особливе місце і є однією із самих складних, до якої незмінно повертаються вітчизняні й закордонні фахівці. Дана проблема не вирішена й лишається актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках теми “Методологія інтелектуальної підтримки прийняття економічних рішень” (номер державної реєстрації 0100U000553), реалізованої в Національній металургійній академії України (2001-2003 р.). Особисто автором проведено аналіз існуючих методів математичного моделювання в контексті їхнього використання при оцінці систем інтелектуальної підтримки прийняття економічних рішень і розроблено розділ “Методи багатокритеріальної оцінки інформаційних технологій”, де обґрунтовано теоретичні аспекти багатокритеріальної оцінки ефективності, запропоновано етапи та інструментарій її здійснення. Основні результати дисертації також використовувалися в науково-дослідній роботі “Методологія регіонального економічного розвитку”, що виконувалася протягом 2001 – 2003 р. у Західнодонбаському інституті економіки й управління (номер державної реєстрації 0102U000369).

Мета і задачі дослідження. Основною метою дисертаційного дослідження є розробка методичних підходів до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій (ІІТ) та їх практична реалізація на основі методів економіко-математичного моделювання і комп’ютерних технологій.

Відповідно до поставленої мети вирішено наступні задачі дослідження:

- уточнено визначення інформаційно-інтелектуальних технологій, досліджено їх особливості та існуючі теоретичні підходи і методики розрахунку їхньої ефективності;

- розроблено систему позицій оцінювання ІІТ, яка дозволить визначити об'єктивні та усестороннє обґрунтовані вимоги, що логічно виникають із необхідності вирішення конкретних завдань, пов'язаних зі зниженням ризику прийняття рішень відносно ІІТ;

- досліджено можливості формалізації особливостей ІІТ як інтелектуального, так і економічного об'єкта та визначено критерії оцінювання, що з різних сторін характеризують інформаційно-інтелектуальні технології і дають реальне уявлення про їх властивості;

- розроблено модель процесу оцінювання ІІТ з урахуванням цілей впровадження, ринкових позицій підприємства, реальної ситуації на ринку інформаційних технологій, об’єктивних вимог до ІІТ;

- обґрунтовано доцільність розробки і використання експертної моделі в рамках моделі багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій;

- досліджено методи економіко-математичного моделювання і розроблено модель багатокритеріальної оцінки ефективності ІІТ з урахуванням різних аспектів ефективності;

- обґрунтовано концептуальний підхід до створення системи комплексної оцінки ІІТ на підставі комп'ютерних технологій.

Об'єкт дослідження – процес оцінки і вибору інформаційно-інтелектуальних технологій в умовах невизначеності.

Предмет дослідження – методи оцінки ефективності інформаційно-інтелектуальних технологій і способи її моделювання на основі отриманих результатів оцінювання.

Методи дослідження. Для досягнення поставленої мети використовувався комплекс загальнонаукових методів, а саме: теоретичні положення системного аналізу – при декомпозиції ефективності впровадження інформаційно-інтелектуальних технологій на різні складові; теоретичні положеннях економічної науки, зокрема, економічної теорії – при дослідженні сутності економічної складової ефективності ІІТ; наукові праці вітчизняних і закордонних учених з питань управління, економічного й фінансового аналізу – при дослідженні методології оцінювання ефективності інформаційних технологій, обґрунтуванні критеріїв оцінювання; теорія нечітких множин та експертні методи – при розробці методики багатокритеріальної оцінки; концептуальний підхід – при вирішенні проблеми створення системи комплексної оцінки інформаційно-інтелектуальних технологій; законодавчі й нормативні акти, а також теоретичний, критичний і порівняльний аналіз, узагальнення, методи економіко-математичного моделювання, класифікація і оцінювання.

Наукова новизна отриманих результатів дисертаційної роботи полягає у вирішенні наукового завдання розробки та практичної реалізації методичних підходів до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій.

Отримано наступні результати:

вперше:

- розроблено новий методичний підхід до процесу багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій, що забезпечує комплексну цілеспрямовану діяльність, орієнтовану на прийняття обґрунтованих рішень стосовно вибору і впровадження інформаційно-інтелектуальних технологій та в рамках консалтингових проектів;

- розроблено модель багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій на базі теорії нечітких множин, яка дозволяє формалізувати характеристики та особливості ІІТ, що не піддаються кількісній оцінці, а також оцінити ризик і спектр можливих подій, пов'язаних з їх впровадженням;

- запропоновано модифікацію середньої оцінки в-розподілу, яка робить можливим усереднення довільної кількості інтегральних оцінок ефективності, отриманих в результаті експертизи альтернативних варіантів інформаційно-інтелектуальних технологій;

удосконалено:

- концептуальний підхід до створення системи комплексної оцінки інформаційно-інтелектуальних технологій на основі сховища даних та засобів оперативного багатомірного аналізу і обробки даних, які забезпечують зосередження інформації про ІІТ, її логічний та статистичний аналіз, узгодження, оновлення і опрацювання;

- визначення інформаційно-інтелектуальних технологій, позиції їх оцінювання і комплекс критеріїв оцінювання, який дозволяє отримати оцінку ефективності інформаційно-інтелектуальних технологій з одночасним урахуванням економічного, технологічного, якісного, соціального, ергономічного, патентно-правового, результативного і ризикового аспектів;

дістало подальшого розвитку:

- модель класифікації ступеня оцінної впевненості експерта, яка реалізує механізм нечітко-логічного висновку шляхом реконструювання нечіткого числа на п’ятирівневому класифікаторі й надає можливість кількісної інтерпретації якісно сформульованих критеріїв у термінах природної мови.

Практичне значення отриманих результатів визначається тим, що нові методичні підходи до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій (ІІТ) дають можливість здійснити ієрархічну оцінку ефективності з урахуванням різних її аспектів і тим самим вплинути на вибір варіанта, що найбільш повно відповідає цілям інвестора. Практична реалізація нових методів багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій на основі економіко-математичного моделювання і комп’ютерних технологій має особливе значення для ринкових досліджень і для практики інвестиційного та інноваційного менеджменту в умовах існуючої інформаційної невизначеності.

Теоретичні положення і практичні результати дослідження знайшли відображення в методичних матеріалах об'єднання по виробництву труб “Укртрубопром” щодо вибору нових інформаційних технологій на підприємствах трубної промисловості України (довідка № Т/223 від 23.12.2004).

Запропонована в дисертаційній роботі методика багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій використовується в навчальному процесі кафедри економічної кібернетики Дніпропетровського університету економіки та права при викладанні дисциплін “Економічна ефективність інформаційних систем”, “Інформаційний менеджмент” (довідка № 4 від 10.01.2005) і в навчальному процесі кафедри економічної інформатики Національної металургійної академії України при викладанні дисциплін “Оцінка ефективності інформаційних систем”, “Економічний ризик і методи його вимірювань” (довідка № 01–07–49 від 27.01.05).

Результати дослідження використані на Дніпропетровському металургійному заводі імені Комінтерну (ВАТ “Комінмет”) (довідка № 51/14 від 14.06.2004 р.) і ТОВ “Нафтова будівельна компанія” для прийняття обґрунтованих рішень щодо впровадження нових інформаційних технологій в умовах невизначеності й ризику з метою забезпечення необхідних організаційно-управлінських умов для функціонування й подальшого розвитку (довідка № 53 від 27 грудня 2004 р.).

Апробація результатів дисертації. Наукові положення і результати дослідження доповідалися на науково-практичній конференції “Вища освіта і система праці” (Дніпропетровськ, 2002 р.); на II Всеукраїнській науково-практичній конференції “Україна наукова 2002” (Дніпропетровськ – Харків – Донецьк, 2002 р.); на III Міжнародній науково-практичній конференції “Проблеми впровадження інформаційних технологій в економіці” (Ірпінь, 2002 р.); на Всеукраїнській науково-практичній конференції “Інформаційні технології в економіці й підприємництві: проблеми науки, практики і освіти” (Запоріжжя, 2002 р.); на V Всеукраїнській науково-практичній конференції “Фінансово-економічні проблеми розвитку регіонів України” (Дніпропетровськ, 2004 р.); на VII Міжнародній науково-практичній конференції “Наука і освіта 2004” “Сучасні інформаційні технології” (Дніпропетровськ, 2004 р.).

Публікації. Основні положення дисертаційної роботи опубліковано у 14 роботах загальним обсягом 3,89 друк. арк.(особисто автору належать 3,40 друк. арк.), з них: 8 статей у наукових фахових виданнях ВАК України; 1 стаття у інших виданнях; 5 тез у збірниках науково-практичних конференцій.

Структура та обсяг дисертації. Дисертація складається з вступу, трьох розділів, висновків, списку використаних джерел і додатків. Обсяг роботи становить 229 сторінок, основний зміст викладено на 175 сторінках комп'ютерного тексту. Робота містить 14 таблиць (обсягом 10 сторінок), 40 рисунків (обсягом 16 сторінок), 5 додатків (обсягом 39 сторінок) та список використаних літературних джерел із 155 найменувань.

ОСНОВНИЙ ЗМІСТ ДИСЕРТАЦІЇ

У першому розділі “Проблеми і можливості оцінки ефективності інформаційно-інтелектуальних технологій” на підставі аналізу особливостей технологій, що виконують рішення завдань стратегічного характеру на рівні всього підприємства в умовах динамічно мінливого зовнішнього середовища, уточнено поняття інформаційно-інтелектуальних технологій як сформованого, постійно модифікуючого комплексу технічного, методичного, інформаційного та програмного забезпечення, який на основі інструментів і методів інтелектуальної обробки інформації реалізує моніторинг, аналіз, прогнозування, ідентифікацію, мотивацію, стимулювання та процес прийняття рішень.

Проведений аналіз сучасних тенденцій розвитку ІІТ виявив їх значні можливості у розв'язанні завдань будь-яких видів управлінської діяльності завдяки здатності маніпулювання різнорідними показниками і одержання недоступної раніше аналітики на основі використання технологій сховищ даних (Data Warehouse), систем оперативного аналізу даних (OLAP-технологій), мультиагентних систем (МАС), технологій інтелектуального аналізу даних (Data Mining). На підставі аналізу наукових праць Э.Дж. Долана, Р.Пиндайка і Д. Рубинфельда, й ін. щодо визначення поняття ефективності, а також робіт П.Н.Завліна, В.С.Пономаренка, В.П. Гужви, О.С. Олексюка, Ю.П. Морозова, В.П. Савчука, А.В. Мертенса, В.Н.Гуніна, А.Ф. Гойко та інших, в яких представлені методологічні підходи і практичні рекомендації стосовно проблем інвестиційно-інноваційної діяльності та впровадження інформаційних технологій в економіку, виявлено, що:

- особливості оцінки ефективності інформаційно-інтелектуальних технологій обумовлені властивостями самих інформаційно-інтелектуальних технологій і характером змін, одержуваних у результаті їхнього впровадження;

- оцінювати ефект можна подвійно: зіставляючи отриманий результат з витратами на його одержання або зіставляючи отриманий результат з тим, що планувався (з метою);

- прийняття рішень відносно впровадження ІІТ ускладнюється такими факторами, як недостатність апріорної інформації, невизначеність, множинність пропонованих проектів, обмеженість фінансових ресурсів, доступних для інвестування, ризик, пов'язаний із прийняттям того або іншого рішення;

- кінцевою метою існуючих методів оцінки ефективності є лише досягнення певного економічного ефекту, величина якого являється основним критерієм доцільності оцінюваного інформаційно-інтелектуального проекту.

У дослідженні доведено, що для оцінки ефективності інформаційно-інтелектуальних технологій потрібна своя методологія й специфічні підходи, що дозволять зробити очевидними всі впливи таким чином, щоб їх можна було кількісно описувати, вимірювати і відслідковувати.

У другому розділі “Моделювання багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій” розроблено методичні підходи до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій (ІІТ). Дослідження в зазначеному напрямку дозволили отримати наступні результати:

- запропоновано систему оцінних позицій, в основі якої закладено позиції, засновані на уявленні (точці зору) користувача; на властивостях інформаційно-інтелектуальних технологій; на властивостях ринкового середовища; на принципі вибору найбільш ефективної ІІТ;

- розроблено модель процесу оцінювання інформаційно-інтелектуальних технологій, що включає визначення цілей та обмежень, які уточнюються в ході процесу оцінювання; вивчення внутрішнього та зовнішнього середовища компанії; вивчення ринку ІІТ; визначення потреб користувачів, які відображають їх кількісні і якісні вимоги до інтелектуальних технологій; визначення критеріїв, що обмежують перелік параметрів, відповідно до яких виконується оцінювання системи; формалізацію результатів оцінювання;

- представлено ієрархію багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій;

- в рамках моделі багатокритеріальної оцінки на базі теорії нечітких множин сформовано відособлений блок первинної інформації (експертну модель), що дозволяє перейти від якісних уявлень про рівні факторів до їхніх кількісних характеристик;

- розроблено модель багатокритеріальної оцінки ефективності ІІТ, яка заснована на ув'язуванні ряду окремих показників різних складових ефективності в єдиний комплексний показник і самостійному формуванні переліку окремих критеріїв, що беруть участь в оцінці, та їхніх ваг, з урахуванням фактичної специфіки оцінюваної ІІТ;

- розроблено модель визначення ступеня ризику інноваційної діяльності, що характеризує як фінансове становище підприємства, так і якість ІІТ, яка, в остаточному підсумку, одержує своє вираження у фінансовому й соціальному еквіваленті;

- модифіковано середню оцінку в-розподілу з метою усереднення довільної кількості інтегральних оцінок ефективності, отриманих в результаті експертизи альтернативних проектів, і встановлення рейтингу оцінюваних ІІТ.

В роботі вибір критеріїв оцінки ефективності ІІТ здійснено на основі визначення об'єктивних та усестороннє обґрунтованих вимог, які логічно виникають із необхідності вирішення конкретних завдань, пов'язаних зі зниженням ризику прийняття рішень відносно ІІТ. Перелік критеріїв містить різні типи критеріїв залежно від особливостей оцінюваного інформаційно-інтелектуального продукту і відповідно до різних позицій оцінювання.

Запропонована модель багатокритеріальної оцінки ІІТ використовує методологію системного аналізу, а саме декомпозицію ефективності ІІТ на економічну, технологічну, якісну, соціальну, ергономічну патентно-правову, результативну й ризикову складові (рис.1).

Рис. 1. Ієрархія багатокритеріальної оцінки ефективності

Вузлами 1–8 ієрархічної структури позначено складові ефективності ІІТ (економічна (1), технологічна (2), якісна (3), соціальна (4), ергономічна (5), патентно-правова (6), результативна (7), ризикова (8)); – локальний критерій; j= – індекс складової (аспекту) ефективності, m=8; i= – індекс критерію j-го аспекту ефективності; – ваговий коефіцієнт j-ї складової ефективності, ; — ваговий коефіцієнт i-го критерію j-ї складової ефективності, .

В основу ієрархічної моделі оцінювання ІІТ покладено принцип гнучкого урахування пріоритету локальних критеріїв кожної складової ефективності (для оцінки яких використовуються ці критерії) і пріоритету самих складових ефективності (функціоналів оцінювання), що адекватно відображають цілі, які бажає досягти особа, приймаюча рішення (ОПР).

В дослідженні розроблено принципово новий метод багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій, заснований на ув'язуванні ряду окремих показників різних складових ефективності в єдиний комплексний показник. Представлений метод спирається на самостійну експертну модель, що містить у своєму складі класифікатор станів досліджуваної альтернативи, створений на базі шкали Поспєлова (рис. 2).

Побудована експертна модель, являє собою фундаментальний принцип для багатокритеріальної оцінки ефективності ІІТ. Класифікатор станів з найвищою імовірністю дозволяє провести асоціацію між якісною й кількісною оцінками критерію, якщо про даний критерій не відомо нічого, крім того, що він може приймати будь-які значення в межах [0,1]-носія. Те, що сума всіх функцій приналежності для будь-якого х дорівнює одиниці, вказує на несуперечність такого класифікатора.

Рис. 2. П'ятирівневий класифікатор станів і лінгвістична шкала

Вузлові точки класифікації пропонується визначати за принципом:

, (1)

де , – абсциси максимумів і мінімумів відповідних i-х функцій приналежності на [0,1]-носії.

Результатом оцінювання поточного рівня критеріїв ефективності та розпізнавання отриманих оцінок на основі набору класифікаторів є таблиця (табл. 1), де мjis – рівень приналежності носія хji (х – [0,1]-носій) нечіткій підмножині Uji; s – кількість підмножин, s=1,...,5.

Таблиця 1

Рівні приналежності носіїв нечітким підмножинам

Критерій оцінювання | Результат класифікації по підмножинах

Дуже низький Uji1 | Низький

Uji2 | Середній

Uji3 | Високий

Uji4 | Дуже високий

Uji5

f11 | м111 | м112 | м113 | м114 | м115

f12 | м121 | м122 | м123 | м124 | м125

f13 | м131 | м132 | м133 | м134 | м135

… | … | … | … | … | …

f1n1 | м1n11 | м1n12 | м1n13 | м1n14 | м1n15

… | … | … | … | … | …

fmnm | мmnm1 | м mnm2 | м mnm3 | м mnm4 | м mnm5

Для розрахунку кількісного значення агрегованого фактора для j-oї складової ефективності побудована формула подвійній згортки, в якій внутрішнє підсумовування дозволяє визначити по кожному критерію середній рівень його якісного стану:

(2)

де s – вузлові точки стандартного класифікатора, які виступають як ваги при агрегуванні системи критеріїв на рівні їхніх якісних станів; ji – ваговий коефіцієнт пріоритету i-го критерію j-oї складової ефективності в згортці; мj,i,s – значення функції приналежності s-го якісного рівня відносно поточного значення i-го критерію j-oї складової ефективності проекту.

На основі (2) можна записати формулу, що характеризує результуючу ефективність:

(3)

де j – ваговий коефіцієнт пріоритету j-oї складової ефективності.

Показник F обчислюється по всім оцінюваним ІІТ і будується результуюча матриця оцінок. Таким чином, дослідження показало, що якісна й кількісна оцінка ефективності ІІТ може бути об'єднана в рамках однієї моделі на основі так званих матричних методів, розроблених для комплексної оцінки ІІТ. Запропонована модель може бути настроєна на будь-які особливості ІІТ, у тому числі на урахування пріоритету тих або інших окремих критеріїв у комплексній оцінці.

З огляду на різноманітні характеристики критеріїв, використовуваних в оцінці, і зв'язки між ними, запропоновано представити цільову функцію статечної згортки критеріїв у вигляді формули:

(4)

де k – параметр статечної згортки критеріїв, значення якого визначають різні варіанти згортки

На підставі отриманих значень функцій згортки критеріїв (адитивної, мультиплікативної, гармонійної, квадратичної, кон'юнктивної (логічної), диз'юнктивної (логічної)) для кожної оцінюваної d-ї альтернативи ІІТ може бути визначено шість інтегральних оцінок (рис.3 ).

Рис. 3. Експертні оцінки ефективності d-го проекту

за результатами статечної згортки критеріїв

Визначення оцінок d-го проекту, обумовлених результатами статечної згортки критеріїв, представлено наступним способом:

(5)

(6)

(7)

(8)

(9)

(10)

Тоді середня оцінка в-розподілу може бути надана у вигляді:

(11)

Оскільки існують випадки усереднення довільної кількості оцінок ефективності, отриманих експертами, виникає необхідність узагальнення середньої в-розподілу. Численні емпіричні дослідження показали, що модифікована середня оцінка в-розподілу для непарної і парної кількості оцінок може бути представлена у вигляді:

(12)

де: i – ступінь впевненості експерта в правильності оцінки xd; i=1,..,n; фi – ваговий коефіцієнт пріоритету інтегральної оцінки i-го ступеня впевненості (фi=i); ц-i(xd) – мінімальна інтегральна оцінка i-го ступеня впевненості; ц+i(xd) – максимальна інтегральна оцінка i-го ступеня впевненості; m – число оцінок d-го проекту; z – довільне число. Результати розрахунків (сукупність зазначених числових векторів) пропонується звести у матрицю середніх оцінок в-розподілу і отримати узагальнену середню оцінку по кожному d-му проекту. Найвищий рейтинг отримує альтернатива, що забезпечує найбільше значення середньої оцінки в-розподілу.

Очевидною особливістю запропонованих підходів до багатокритеріальної оцінки ефективності ІІТ є їх універсальний характер і можливість використання будь-яким суб’єктом господарювання з метою одержання максимально повної оцінки властивостей інформаційно-інтелектуальних технологій, ефектів та ризиків, пов'язаних з їх впровадженням.

У розділі 3 “Технологія використання моделі комплексної оцінки інформаційно-інтелектуальних технологій” обґрунтовано концептуальний підхід до створення системи комплексної оцінки (СКО) інформаційно-інтелектуальних технологій, яка на основі досить надійної аналітичної інформації, дозволить підвищити аргументованість оцінки й вибору ІІТ, підтвердити їхню доцільність, а також спрогнозувати можливі наслідки впровадження. Концептуальний підхід припускає розробку основних компонентів системи на основі сховища даних і засобів оперативного багатомірного аналізу й обробки даних (рис. 4).

Рис. 4. Структурна схема системи комплексної оцінки ІІТ

Система комплексної оцінки ІІТ повинна мати у своїй структурі інформаційну підсистему, що вміщує значні обсяги різносторонньої інформації про характеристики оцінюваних систем і проектів, а також застосовувати потужні засоби пошуку інформації в зовнішніх джерелах про ринок інформаційно-інтелектуальних технологій, наслідки їхнього впровадження і використання на інших підприємствах, щоб забезпечити потреби експертів у контексті оцінки, а також потреби ОПР у контексті вибору. У досліджені представлено можливості фізичної реалізації концепції інформаційного сховища даних, функції модулю аналітичної обробки інформації, модулю інтелектуального аналізу даних, модулю спілкування.

Програмна реалізація модулю спілкування користувача з системою виконана засобами мови програмування С++ Builder 6.0 і містить множину допустимих повідомлень, які будуть сприйматися системою при визначені користувачів системи і права доступу до даних СКО, забезпечує можливість самостійного вибору користувачем переліку оцінюваних альтернатив, самостійного вибору множини критеріїв їхнього оцінювання, обробку процедур процесу оцінювання з використанням запропонованих моделей.

У дослідженні представлено комплекс основних організаційних складових процесу оцінки і вибору інформаційно-інтелектуальних технологій металургійними підприємствами України, який дозволить організувати паралельне виконання робіт і взаємодію всіх служб підприємства, контролювати ключові ресурси, залучені в даний процес, проаналізувати перспективи й підготуватися до змін.

Запропонована система комплексної оцінки інформаційно-інтелектуальних технологій покликана здійснити оцінку і сам вибір системи на підставі детальних функціональних та інших вимог до відповідного компонента ІІТ, а також на підставі чіткого розміщення акцентів – не підведення завдань підприємства під можливості конкретної системи (тобто вирішення проблем виробників системи), а вибір рішення, що відповідає завданням бізнесу (тобто досягнення цілей підприємства-замовника).

ВИСНОВКИ

На підставі проведених досліджень у дисертаційній роботі вирішено наукове завдання розробки методичних підходів до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій (ІІТ) та їх практичної реалізації на основі методів економіко-математичного моделювання і комп’ютерних технологій.

Отримані результати дають можливість зробити наступні висновки.

1. На підставі аналізу особливостей технологій, які виконують рішення завдань стратегічного характеру на рівні всього підприємства в умовах динамічно мінливого зовнішнього середовища, уточнено поняття інформаційно-інтелектуальних технологій як сформованого, постійно модифікуючого комплексу технічного, методичного, інформаційного та програмного забезпечення, який на основі інструментів і методів інтелектуальної обробки інформації реалізує моніторинг, аналіз, прогнозування, ідентифікацію, мотивацію, стимулювання та процес прийняття рішень. ІІТ відкривають деякий спектр якісних змін, завдяки чому у різних конкретних ситуаціях реалізуються різні можливості.

2. Існуючі методи оцінки ефективності комп'ютерних технологій засновані на припущенні, що останні повинні давати певний економічний виграш. Проте головні ефекти від використання ІІТ не мають очевидного вартісного вираження і найчастіше проявляються не відразу після впровадження. Однак саме ці ефекти і роблять впровадження ІІТ обґрунтованим. ІІТ впливають на кінцеві фінансово-економічні показники діяльності господарчої системи не прямо, а опосередковано, через управлінські процедури, які мало формалізовані і важко піддаються кількісному вимірюванню. Нові методичні підходи до процесу багатокритеріальної оцінки ефективності ІІТ повинні зробити видимими всі ці впливи таким чином, щоб їх можна було кількісно описувати, вимірювати і відслідковувати.

3. Складність прийняття обґрунтованого рішення в питаннях вибору та впровадження ІІТ призвела до необхідності створення теоретичної бази процесу оцінювання ефективності. Запропонована система оцінних позицій, в основі якої закладено позиції, засновані на уявленні користувача, на властивостях інформаційно-інтелектуальних технологій, позиції, пов'язані з ринковим середовищем, засновані на принципах вибору найбільш ефективної ІІТ, дає можливість сформувати концептуальну модель оцінювання ІІТ з огляду на фактори економічного, соціального, ергономічного й іншого характеру. Представлена множина критеріїв оцінювання з різних сторін характеризує інформаційно-інтелектуальні проекти, несе свій обсяг інформації і може дати реальне уявлення про властивості ІІТ.

4. Розроблена модель процесу оцінювання забезпечує комплексну і цілеспрямовану діяльність, орієнтовану на зниження ризику прийняття необґрунтованих рішень щодо впровадження інформаційно-інтелектуальних технологій. Застосування нових підходів до процесу оцінювання ІІТ передбачає визначення цілей, вивчення внутрішнього та зовнішнього середовища компанії, вивчення ринку ІІТ, визначення множини кількісних та якісних вимог до інтелектуальних технологій і множини відповідних критеріїв, формалізацію результатів оцінювання. Побудовану модель процесу оцінювання ІІТ можна обумовити, як модель процесу трансформації аналізованої інформації в інформацію для багатокритеріальної оцінки і вибору інформаційно-інтелектуальних технологій.

5. Формування відособленого блоку первинної інформації (експертної моделі) в рамках моделі багатокритеріальної оцінки на базі теорії нечітких множин дозволяє перейти від якісних уявлень про рівні факторів до їхніх кількісних характеристик. Інформація експертної моделі породжує інформаційну ситуацію щодо рівня вхідної невизначеності моделі багатокритеріальної оцінки ефективності. Вона виступає як фільтр для експертних оцінок критеріїв, перетворюючи їх з ряду спостережень у функції приналежності відповідного носія нечітко описаним станам рівня критерію. Тому від нечіткої оцінки вхідних параметрів (локальних критеріїв ефективності) після ряду перетворень стає можливим перейти до нечітких оцінок ефективності ІІТ і оцінок ризику, пов'язаного з їхнім впровадженням.

6. Теорія нечітких множин дозволяє в рамках однієї моделі формалізувати особливості інформаційних технологій як економічного об'єкта, так й інтелектуального об'єкта, який володіє характеристиками, що не піддаються кількісній оцінці. Запропонований у дослідженні підхід формує повний спектр можливих подій, пов'язаних із впровадженням ІІТ; дозволяє приймати рішення по всій сукупності оцінок. Очікувана ефективність ІІТ не є точковим показником, а являє собою поле інтервальних значень зі своїм розподілом очікувань, що характеризується функцією приналежності відповідного нечіткого числа.

7. Принципово новий метод багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій ґрунтується на ув'язуванні ряду окремих показників різних складових ефективності в єдиний комплексний показник, при самостійному формуванні переліку окремих критеріїв, що беруть участь в оцінці, та їхніх ваг, з урахуванням фактичної специфіки оцінюваної інформаційно-інтелектуальної технології. Генератор функцій статечної згортки критеріїв (адитивної, мультиплікативної, гармонійної, квадратичної, кон'юнктивної (логічної), диз'юнктивної (логічної)) робить можливим усереднення отриманих експертних оцінок з урахуванням різноманітних характеристик критеріїв та зв'язку між ними і здійснює перехід до оцінок з досить великим інтервалом стійкості. Модифікована середня оцінка ?-розподілу дозволяє усереднення довільної кількості інтегральних оцінок ефективності, отриманих в результаті експертизи альтернативних проектів, і встановлення рейтингу оцінюваних ІІТ.

8. Запропонований концептуальний підхід до створення системи комплексної оцінки інформаційно-інтелектуальних технологій (СКО) на основі сховища даних і засобів оперативної аналітичної обробки інформації дозволяє отримати інструмент, який на основі аналітичної й розрахункової інформації підвищить обґрунтованість і доцільність прийняття рішень щодо вибору і впровадження інформаційно-інтелектуальних технологій. Система комплексної оцінки буде здатна інтегрувати масиви різнорідної інформації про ІІТ, множину критеріїв їхнього оцінювання, економічні методи і моделі. СКО ґрунтується на використанні методів розрахунку показників економічної доцільності ІІТ (чиста поточна вартість, внутрішня норма рентабельності, період окупності); SWOT-аналізу, що дозволяє оцінити позиції підприємства у випадку ухвалення рішення; експертних методів, що відрізняються високою ефективністю при роботі зі слабко структурованою і неформалізованою інформацією; методу нечітких множин для можливості кількісної інтерпретації критеріїв, спочатку сформованих у термінах природної мови; модифікованого методу розрахунку середньої оцінки ?-розподілу; методів розрахунку ризику (на підставі нечітко множинних описів).

9. Програмна реалізація модулю спілкування користувача з системою, що виконана засобами мови програмування С++ Builder 6.0, містить обробку множини можливих повідомлень, які будуть сприйматися системою при визначені користувачів системи і права доступу до даних СКО, забезпечує можливість самостійного вибору користувачем переліку оцінюваних альтернатив, самостійного вибору множини критеріїв їхнього оцінювання, обробку процедур процесу оцінювання з використанням запропонованих моделей.

Вирішення проблеми розробки методичних підходів до багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій має суттєве значення для ринкових досліджень і для практики інвестиційного та інноваційного менеджменту в умовах існуючої інформаційної невизначеності. Застосування результатів дослідження дає можливість керівникам і фахівцям приймати зважені, науково-обґрунтовані рішення, які сприяють розвитку і удосконаленню управління, збільшенню конкурентноздатності й економічної активності підприємств України.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Ковальчук К.Ф., Бандорина Л.Н. Модель иерархической оценки информационно-интеллектуальных технологий.//Модели управления в рыночной экономике: Сб. науч. тр. Спец. вып. по материалам Всеукраинской научно-практической конференции “Информационные технологии в экономике и предпринимательстве: проблемы науки, практики и образования” (20-23 мая 2002 г.). – ДонНУ, Донецк. – 2002. – С.8–16 (0,27 друк. арк.). Особистий внесок здобувача: формування системи оцінних показників ієрархічної моделі (0,14 друк. арк.).

2. Бандорина Л.Н. Модель системы комплексной оценки эффективности информационно-интеллектуальных технологий на основе теории нечетких множеств // Економіка: проблеми теорії та практики. Зб. наук. пр. Випуск 193: в 5 т. Том IV. – Дніпропетровськ: ДНУ.– 2004. – С.1058–1065 (0,37 друк. арк.).

3. Бандорина Л.Н. Инвестиционная стратегия в сфере информационно-интеллектуальных технологий: этапы и позиции оценивания ИИТ // Економіка: проблеми теорій та практики. Зб. наук. пр. Випуск 197: В 5 т. Том II – Дніпропетровськ: ДНУ. – 2004.– С.475–479 (0,31 друк. арк.).

4. Бандоріна Л.М. Оцінка ризику впровадження інформаційно-інтелектуальних технологій з використанням теорії нечітких множин // Економічний вісник Національного гірничого університету. – Дніпропетровськ, НГУ.– 2004. – №2.– С.114–119 (0,38 друк. арк.).

5. Ковальчук К.Ф., Бандорина Л.Н. Комплексная оценка эффективности информационно-интеллектуальных технологий: формирование критериев. //Академічний огляд. Економіка та підприємництво. – Дніпропетровськ: ДУЕП, НГУ. – 2004 – №2 – С.25–30 (0,36 друк. арк.). Особистий внесок здобувача: розроблено теоретичні аспекти вибору критеріїв оцінювання і зіставлення пропонованих можливостей ІІТ з потребами користувача (0,3 друк. арк.).

6. Савчук Л.М., Бандоріна Л.М. Технологічна схема розробки системи комплексної оцінки інформаційно-інтелектуальних технологій // Вісник Академії митної служби України. – Дніпропетровськ: Академія митної служби України. – 2004.– №4. – С.35–40 (0,44 друк. арк.). Особистий внесок здобувача: концептуальний підхід до створення системи комплексної оцінки ІІТ і вибір програмних засобів для реалізації логічних компонентів системи (0,4 друк. арк.).

7. Бандорина Л.Н., Савчук Л.Н. Модель многокритериальной оценки эффективности информационно-интеллектуальных технологий с использованием ?-распределения. // Металлургическая и горнорудная промышленность. – Днепропетровск: ООО “НИИ Укрметаллургинформ” –НМетАУ.–2005.– №1.–С.113–116 (0,28 друк. арк.). Особистий внесок здобувача: дослідження різних аспектів ефективності ІІТ з використанням логічного методу обробки нечіткої інформації та розробка моделі визначення рейтингу ІІТ з використанням в-розподілу (0,23 друк. арк.).

8. Косарев В.М., Савчук Л.Н., Бандорина Л.Н. Анализ современных тенденций развития информационно-интеллектуальных технологий. // Академічний огляд. Економіка та підприємництво. – Дніпропетровськ: ДУЕП, НГУ. – 2005. – №1 – С.123–127. (0,47 друк. арк.). Особистий внесок здобувача: аналіз тенденцій розвитку інтелектуальних технологій і їх використання для вирішення слабко структурованих завдань (0,37 друк. арк.).

9. Бандоріна Л.М. Інформаційно-інтелектуальні технології у вирішенні економічних проблем діяльності підприємств // Вісник Житомирського державного технологічного університету. Технічні науки. Том II. – Житомир. – 2004. – №4 (31) – С.85–91 (0,49 друк. арк.).

10. Ковальчук К.Ф., Бандоріна Л.М. Ефективність кадрового забезпечення з використанням навчальних інформаційних технологій. // Вища освіта і система праці: Матеріали науково-практичної конференції (14 лютого 2002 р.). – Дніпропетровськ: НГА України. – 2002 – С.55–56 (0,08 друк. арк.). Особистий внесок здобувача: розроблено підхід до оцінки ефективності використання навчальних інформаційних технологій з урахуванням якості підготовки фахівців (0,06 друк. арк.).

11. Захаров И.П., Гришко Т.Е., Бандорина Л.Н. Предпосылки и возможности организации корпоративного управления в черной металлургии Украины. // Україна наукова 2002: Матеріали II Всеукраїнської науково-практичної конференції (10-24 травня 2002 р.). Том 3. Економіка. – Дніпропетровськ: Наука і освіта. – 2002. – С.43–44 (0,11 друк. арк.). Особистий внесок здобувача: дослідження факторів зростання ефективності роботи металургійного комплексу України на підставі впровадження корпоративних інформаційних систем (0,05 друк. арк.).

12. Бандорина Л.Н., Ковальчук К.Ф. Оценка и выбор информационно-интеллектуальных технологий // Проблеми впровадження інформаційних технологій в економіці: Матеріали III Міжнародної науково-практичної конференції (травень 2002 р.). – Ipпень. – 2002. – С.330–332 (0,1 друк. арк.). Особистий внесок здобувача: розробка ієрархічної моделі оцінювання інформаційно-інтелектуальних технологій (0,08 друк. арк.).

13. Бандорина Л.Н., Климкович Т.А. Оценка экономической составляющей эффективности информационно-интеллектуальных технологий на основе нечетко-множественной модели // Наука і освіта 2004: Матеріали VII Міжнародної науково-практичної конференції (10-25 лютого 2004 р.). Том 72. Сучасні інформаційні технології. – Дніпропетровськ: Наука і освіта. – 2004. – С.46–49 (0,1 друк. арк.). Особистий внесок здобувача: формування нечітко-множинної моделі оцінки економічної складової ІІТ (0,09 друк. арк.).

14. Бандорина Л.Н. Категория эффективности и ее использование для оценки информационно-интеллектуальных технологий // Фінансово-економічні проблеми розвитку регіонів України: Матеріали V Всеукраїнської науково-практичної конференції (26 жовтня 2004 р.). Том III. – Дніпропетровськ: Наука і освіта. – 2004. – С.101–103 (0,13 друк. арк.).

АНОТАЦІЯ

Бандоріна Л.М. Методи багатокритеріальної оцінки ефективності інформаційно-інтелектуальних технологій. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата економічних наук за спеціальністю 08.03.02 – економіко-математичне моделювання. – Дніпропетровський національний університет, Дніпропетровськ, 2005.

У роботі уточнено поняття “інформаційно-інтелектуальних технологій” (ІІТ), визначені їхні особливості й можливі критерії оцінювання; запропоновано систему оцінних позицій ефективності ІІТ; розроблено модель процесу оцінювання; представлено ієрархію багатокритеріальної оцінки ефективності; розроблено модель аналізу економічної доцільності впровадження ІІТ і можливого ризику; представлено модель комплексної оцінки ефективності ІІТ з використанням теорії нечітких множин; модифіковано середню оцінку в-розподілу; визначено ступінь ризику методами нечіткої математики; запропоновано концептуальний підхід до створення системи комплексної оцінки ІІТ і програмна реалізація інтерфейсу й модулю обробки оцінок.

Ключові слова: інформаційно-інтелектуальні технології, багатокритеріальна оцінка, ефективність, критерії, ризик, модель, теорія нечітких множин, експертні оцінки, згортка, агрегований фактор.

АННОТАЦИЯ

Бандорина Л.Н. Методы многокритериальной оценки эффективности информационно-интеллектуальных технологий. – Рукопись.

Диссертация на соискание ученой степени кандидата экономических наук по специальности 08.03.02 – экономико-математическое моделирование. – Днепропетровский национальный университет, Днепропетровск, 2005.

Диссертация посвящена решению проблемы всесторонней и интегральной оценки информационно-интеллектуальных технологий (ИИТ) с целью обоснования их внедрения предприятием для получения стратегических рыночных преимуществ по целому ряду сфер деятельности, а также уменьшения возможности получения отрицательных результатов внедрения (рисков).

В диссертационной работе уточнено понятие “информационно-интеллектуальных технологий” (ИИТ), определены их особенности и возможные критерии оценивания. Информационно-интеллектуальные технологии – это сформированный, постоянно модифицирующий комплекс технического, методического, информационного и программного обеспечения, который на основе инструментов и методов интеллектуальной обработки информации реализует мониторинг, анализ, прогнозирование, идентификацию, мотивацию, стимулирование и процесс принятия решений. ИИТ существенно влияют на экономическое развитие предприятий страны. Они открывают некоторый спектр возможных качественных изменений, благодаря чему в различных конкретных ситуациях реализуются различные возможности. Главные эффекты от внедрения ИИТ не имеют очевидного стоимостного выражения и чаще всего проявляются не сразу после внедрения. Однако именно эти эффекты и делают внедрение ИИТ обоснованным.

ИИТ влияют на конечные финансово-экономические показатели деятельности хозяйственной системы не прямо, а опосредованно, через управленческие процедуры и промежуточные этапы, которые мало формализованы и трудно поддаются количественному измерению. Поэтому моделирование многокритериальной оценки эффективности ИИТ призвано сделать видимыми все эти промежуточные этапы таким образом, чтобы их можно было количественно описывать, измерять и отслеживать.

Предложенная система оценочных позиций, основанная на представлениях пользователя, на свойствах информационно-интеллектуальных технологий, на свойствах рыночной среды, на принципах выбора наиболее эффективной ИИТ, дает возможность сформировать концептуальную модель оценивания ИИТ учитывая факторы экономического, социального, эргономичного и другого характера.

Разработанную модель процесса оценивания ИИТ можно определить, как модель процесса трансформации анализируемой информации в информацию для многокритериальной оценки и выбора информационно-интеллектуальных технологий.

Предлагаемая система критериев оценивания формирует базис для процесса оценки и выбора, с разных сторон характеризует информационно-интеллектуальные проекты, несет свой объем информации и может дать реальное представление о свойствах ИИТ.

Формирование обособленного блока первичной информации (экспертной модели) в рамках модели многокритериальной оценки делает возможным переход от качественных представлений об уровнях факторов к их количественным характеристикам. Экспертная модель выступает как фильтр для исходных оценок критериев, преобразовывая их из ряда наблюдений в функции принадлежности.

Предлагаемый метод комплексной оценки эффективности ИИТ основан на увязывании ряда отдельных показателей различных составляющих эффективности в единый комплексный показатель, при этом обеспечивается самостоятельное формирование перечня отдельных критериев и их весов с учетом фактической специфики оцениваемой информационно-интеллектуальной технологии.

Генератор функций степенной свертки критериев делает возможным усреднение полученных экспертных оценок с учетом разнообразных характеристик критериев и связей между ними и осуществляет переход к оценкам с довольно большим интервалом стойкости. Модифицированная средняя оценка ?-распределения позволяет выполнить усреднение произвольного количества интегральных оценок эффективности, полученных в результате экспертизы альтернативных проектов, и установить рейтинг оцениваемых ИИТ.

Создание системы комплексной оценки информационно-интеллектуальных технологий (СКО) на основе хранилища данных и средств оперативной аналитической обработки информации позволяет интегрировать массивы разнородной информации об ИИТ, множество критериев их оценивания, экономические методы и модели.

Решение проблемы моделирования многокритериальной оценки эффективности информационно-интеллектуальных технологий имеет немаловажное значение для рыночных исследований, для практики производственного и финансового менеджмента в условиях существующей информационной неопределенности.

Ключевые слова: информационно-интеллектуальные технологии, многокритериальная оценка, эффективность, критерии, риск, модель, теория нечетких множеств, экспертные оценки, свертка, агрегированный фактор.

ANNOTATION

Bandorina L.N. Methods of the multicriterial estimation of information-intellectual technologies’ efficiecy. –


Сторінки: 1 2





Наступні 7 робіт по вашій темі:

ПІДВИЩЕННЯ ЕКОНОМІЧНОЇ ЕФЕКТИВНОСТІ ВИКОРИСТАННЯ НОВИХ ТЕХНОЛОГІЙ В ПРОМИСЛОВОСТІ - Автореферат - 24 Стр.
ОБЛІК ОРЕНДНИХ ОПЕРАЦІЙ В СІЛЬСЬКОГОСПОДАРСЬКИХ ПІДПРИЄМСТВАХ - Автореферат - 31 Стр.
ФОРМУВАННЯ У МОЛОДИХ СІМЕЙ НАВИЧОК УСВІДОМЛЕНОГО БАТЬКІВСТВА ЗАСОБАМИ СОЦІАЛЬНО-ПЕДАГОГІЧНОЇ ПІДТРИМКИ В ПІВНІЧНІЙ ІРЛАНДІЇ - Автореферат - 28 Стр.
ФУНКЦІОНАЛЬНІ МОТОРНІ ВЗАЄМОЗВ’ЯЗКИ ОРГАНІВ ТРАВЛЕННЯ ПРИ ГАСТРОДУОДЕНАЛЬНИХ ЗАХВОРЮВАННЯХ У ДІТЕЙ І ПІДЛІТКІВ - Автореферат - 30 Стр.
ІНТЕРВАЛЬНЕ МОДЕЛЮВАННЯ ЕКОНОМІЧНИХ ЗБИТКІВ, НАСЛІДКІВ НЕГАТИВНОГО ВПЛИВУ ГОСПОДАРСЬКОЇ ДІЯЛЬНОСТІ ПІДПРИЄМСТВ НА ЗДОРОВ’Я НАСЕЛЕННЯ - Автореферат - 23 Стр.
ПОПУЛЯЦІЇ ЦЕНОЗОУТВОРЮЮЧИХ ВИДІВ ЗЛАКОВИХ РОСЛИН НА ЗАПЛАВНИХ ЛУКАХ Р. СУЛИ В ЇЇ ВЕРХНІЙ ТА СЕРЕДНІЙ ТЕЧІЇ (СУМСЬКА ОБЛАСТЬ) - Автореферат - 28 Стр.
ВИХОВАННЯ НАЦІОНАЛЬНОЇ САМОСВІДОМОСТІ СТАРШОКЛАСНИКІВ У ПРОЦЕСІ ВИВЧЕННЯ ІНОЗЕМНОЇ МОВИ - Автореферат - 28 Стр.