КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ імені ТАРАСА ШЕВЧЕНКА

БІРЮКОВ Артем Валентинович

УДК 811.112.2=03:004.934

ОЦІНКА ЯКОСТІ МАШИННОГО ПЕРЕКЛАДУ

Спеціальність 10.02.16 – перекладознавство

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата філологічних наук

Київ – 2008

Дисертацією є рукопис.

Роботу виконано на кафедрі теорії і практики перекладу з англійської мови Інституту філології Київського національного університету імені Тараса Шевченка, Міністерство освіти і науки України.

Науковий керівник: доктор філологічних наук, професор

Карабан В’ячеслав Іванович,

завідувач кафедри теорії і практики перекладу з англійської мови Інституту філології Київського національного університету імені Тараса Шевченка

Офіційні опоненти: доктор філологічних наук, професор

КИЯК Тарас Романович,

завідувач кафедри теорії і практики перекладу з німецької мови Інституту філології Київського національного університету імені Тараса Шевченка

кандидат філологічних наук, доцент

КОБЯКОВА Ірина Карпівна

завідувач кафедри перекладу Сумського державного університету

Захист дисертації відбудеться „22” лютого 2008 р. о 10 годині на засіданні спеціалізованої вченої ради Д 26.001.11 у Київському національному університеті імені Тараса Шевченка за адресою: 01033, м. Київ, бульвар Тараса Шевченка, 14.

З дисертацією можна ознайомитися в науковій бібліотеці ім. М.О.Максимовича Київського національного університету імені Тараса Шевченка за адресою: 01033, м. Київ, вул. Володимирська, 58, к.10.

Автореферат розіслано „18” січня 2008 р.

Учений секретар

спеціалізованої вченої ради

к.філол.н. Клименко Л.В.

Загальна характеристика роботи

Характерними тенденціями розвитку сучасного суспільства є посилення процесів глобалізації та інформатизації, що призводять до збільшення й спрощення інтернаціональних зв’язків і контактів. Розширення глобальної мережі Інтернет надає всі умови для інтернаціонального спілкування – від традиційного листування до голосової та відеокомунікації. Єдиною перешкодою на цьому шляху залишається мовний бар’єр, подолання якого за допомогою традиційного перекладу не розв’язує проблеми повністю, оскільки обсяг перекладів у світі постійно зростає, і навіть збільшення кількості перекладачів не в змозі повністю задовольнити потреби в перекладах. Тотальна комп’ютеризація всього світу та гонитва за новими потужностями серед розробників, удосконалення й вихід нових версій програмних продуктів, спроби зробити програмне забезпечення максимально сумісним із низкою інших приладів та програм, інші ноу-хау індустрії та технічного прогресу майже щодня виводять на ринок нові вироби, які мають бути описані й перекладені якомога більшою кількістю мов для донесення до кінцевого користувача і збільшення обсягів продажу.

Однією з можливостей подолання мовного бар’єру у спілкуванні є застосування систем машинного перекладу (СМП) як засобу підвищення продуктивності перекладацької праці. 70% перекладачів ЄС оцінюють застосування подібних систем цілком позитивно і відзначають, що це дає їм змогу заощаджувати до 30% робочого часу. Чинником, що впливає на негативне ставлення решти перекладачів Євросоюзу до СМП, є якість машинного перекладу (МП). Оцінка якості машинного перекладу є важливою для визначення стану речей у галузі, для встановлення пріоритетів подальшого розвитку, для пошуку можливостей удосконалення перекладів, що врешті-решт має піднести продуктивність перекладацької праці на вищий щабель і зробити ще один крок у напрямку подолання мовних бар’єрів. У методологічному плані оцінка якості є важливою для теорії машинного перекладу як засобу рефлектування та перевірки певних положень, тобто як його критика.

Наше дослідження спирається на праці з оцінки якості машинного перекладу (Г. Галер, В.І. Карабан, Ю.М. Марчук, Ф. Шефер) та роботи з оцінки якості інших систем автоматичної обробки текстової інформації (М. Карстенсен, С.А. Коваль, Р. Нюбель).

Актуальність дослідження. Характеристики розробників систем машинного перекладу досить часто містять завищену оцінку власного програмного продукту, що призводить до розчарувань із боку користувачів та непорозумінь, пов’язаних із невідповідністю очікувань реальному кінцевому продукту – машинному перекладу. Каменем спотикання між обома групами є якість МП, що й обґрунтовує вибір теми дослідження. Актуальність дослідження підтверджує і наявність значної кількості експериментів, проведених на основі тієї чи іншої системи перекладу (Д. Брокман, М. Канічев, О. Кехлінг, В.А. Москович, А. Осієвський, О. Пилипенко, М.С. Суханова, А. Тчеке). Проте, слід констатувати, що всі вони містять різні методологічні підходи до питання оцінки якості або й не мають їх зовсім, а оцінка здійснюється на основі механічного підрахунку помилок. Питання систематизації та критичного огляду методів оцінки якості машинного перекладу, їх узагальнення залишається й досі не вирішеним.

Зв’язок з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках теми, що розробляється в Інституті філології Київського національного університету імені Тараса Шевченка „Розвиток і взаємодія мов та літератур в умовах глобалізації” (код  БФ ), затвердженої Міністерством освіти і науки України.

Мета цього дослідження – визначити релевантні методи оцінки якості та протестувати вітчизняні системи машинного перекладу „Плай 4.4” і „Прагма 4.0” (далі „Плай”, „Прагма”) в межах німецько-української та російсько-української мовних пар; виявити потенційні можливості покращення якості машинного перекладу й визначити реальну користь від застосування СМП для кінцевого користувача. Головними показниками, на основі яких вимірювалась якість перекладу, були лінгвістичні критерії. Додатково застосовувались також екстралінгвістичні чинники.

Досягнення мети дослідження передбачало реалізацію таких завдань:–

визначення понять „якість” і „оцінка” щодо машинного перекладу;–

критичний аналіз чинних методів оцінки якості МП теоретичного та практичного характеру;–

створення власної концепції оцінки якості машинного перекладу з урахуванням найважливіших чинників, що впливають на її здійснення;–

укладання тестових збірок речень з якомога більшою кількістю граматичних труднощів перекладу для німецько-українського та російсько-українського мовних напрямків;–

добір тестових речень з ускладненими синтаксичними конструкціями для російсько-українського мовного напрямку з мережі Інтернет;–

виявлення хиб машинного перекладу, встановлення причин їх виникнення та, по можливості, шляхів усунення;–

визначення мовних рівнів, що становлять найзначніші проблеми для електронних перекладачів у зазначених напрямках перекладу;–

оцінка якості систем машинного перекладу на основі запропонованого методу та порівняння якості перекладу СМП „Плай” і „Прагма”.

Об’єктом дослідження є переклади, виконані за допомогою вітчизняних систем машинного перекладу „Плай” та „Прагма”, що вивчаються, досліджуються й оцінюються за принципом „чорної скриньки”, основне положення якого полягає у цілковитій відсутності будь-якої інформації щодо алгоритмів роботи СМП, її граматик, словників та внутрішньої побудови.

Предметом дослідження є якість МП, методика її оцінки та можливості її покращення.

Матеріалом дослідження слугували укладені дисертантом тестові збірки речень з максимальною кількістю мовних конструкцій, які становлять труднощі для електронного перекладача, а також тексти з мережі Інтернет, яка найбільш динамічно реагує на мовні перетворення сучасності. Усього проаналізовано 3224 пари речень (з них 1070 пар речень у німецько-українському напрямку перекладу і 2154 пари речень у російсько-українському напрямку перекладу). Оцінка перекладів виконана на основі ліцензованих програм перекладу компаній „Трайдент Софтвер” та „МТ”.

Методика дослідження фактичного матеріалу є комплексною. Використано такі методи:–

аналітично-описовий, що дав змогу вивчити об’єкт дослідження, виявити його структурно-семантичні особливості;–

кількісні підрахунки, завдяки яким встановлено відсоткове співвідношення позитивних та негативних перекладів;–

комплексний порівняльно-перекладознавчий і семантичний аналіз, трансформаційний і контекстуальний методи, на основі яких виправлено помилки машинного перекладу та встановлено причини їх виникнення.

Наукова новизна одержаних результатів полягає в тому, що:–

вперше у вітчизняному перекладознавстві зроблено досить повний опис методів оцінки якості машинного перекладу, на основі чого здійснено широку класифікацію чинників, що мають вплив на проведення оцінки якості МП;–

вперше розроблено концепцію оцінки якості перекладу, що дає змогу одночасно оцінити мовну якість перекладеного тексту та користь від застосування машинного перекладу для конкретного користувача;–

вперше в межах німецько-української мовної пари здійснено спробу з’ясувати причини конкретних помилок машинного перекладу та запропонувати можливі шляхи їх усунення;–

вперше показано реальні можливості покращення якості перекладу за умови тривалої експлуатації системи;–

під час аналізу перекладів на основі застосування методу „чорної скриньки” визначено тип тестованих систем та обсяг їх лінгвістичного забезпечення;–

вперше створено тестові збірки речень німецькою та російською мовами для перевірки машинного перекладу українською мовою з великою кількістю мовних феноменів, які можуть застосовуватися для тестування інших систем або мовних напрямків;–

вперше для російсько-українського мовного напрямку розроблено докладну класифікацію помилок МП з аналізом їх вагомості, впливу на загальну якість перекладу та визначенням імовірного етапу роботи системи, що спричинив конкретну помилку;–

на основі докладного лінгвістичного аналізу встановлено кращу вітчизняну СМП для російсько-української мовної пари.

Теоретичне значення результатів дослідження полягає в тому, що вони є внеском у формування та вдосконалення понятійного апарату теорії машинного перекладу, зокрема у дослідження критики машинного перекладу. Визначено поняття „оцінка якості машинного перекладу” та узагальнено чинники, що впливають на методику оцінювання СМП. Розширено концептуальну базу методів і підходів до оцінки якості комп’ютерного перекладу, сформульовано методологію оцінки. Обґрунтовано доцільні види оцінок, спрямовані на дослідження мовно-перекладацького потенціалу СМП та користі від її застосування.

Практична цінність одержаних результатів полягає у тому, що вони можуть використовуватися для покращення якості машинного перекладу з німецької та російської мов українською мовою; у виявленні „слабких місць” СМП, що протестовані в цій роботі, та визначенні шляхів їх усунення й удосконалення СМП розробниками. Результати роботи можуть бути корисними для викладання курсів зі вступу до перекладознавства, теорії та практики перекладу, спеціальних курсів із машинного перекладу, інформаційних технологій у перекладацькій діяльності та для підготовки відповідних підручників і посібників, а також для потенційних користувачів систем машинного перекладу, які планують їх придбати й на основі цього дослідження можуть зробити висновки щодо приблизних очікуваних результатів. Матеріали дисертації використано у виданих методичних рекомендаціях до вивчення курсу „Машинний переклад та оцінка його якості. – Запоріжжя, 2006”, що вже залучені до навчального процесу в Гуманітарному університеті „Запорізький інститут державного та муніципального управління”.

Апробація результатів дисертації. Результати дослідження апробовані на тринадцяти Міжнародних наукових конференціях: „Проблеми синтезу в культурі” в Таврійському національному університеті ім. В.І. Вернадського у 2002 р., „Проблеми прикладної лінгвістики” в Одеському національному університеті ім. І.І. Мечникова у 2003 р., „Молодь, освіта, наука, культура і національна свідомість” (м. Київ, березень 2003 р., квітень 2004 р.), „Загальні питання філології” в Дніпропетровському національному університеті у 2004 р., „Методологічні проблеми сучасного перекладу” в Сумському державному університеті у 2004 р., „Людина. Мова. Комунікація” в Харківському національному університеті ім. В.Н Каразіна у 2004 р., „Дні науки в Гуманітарному університеті „Запорізький інститут державного та муніципального управління” (м. Запоріжжя, жовтень 2002 р., 2003 р., 2004 р., 2005 р., 2006 р.), „Горизонти прикладної лінгвістики та лінгвістичних технологій” (АРК, м. Партеніт, вересень 2006 р.) та на щорічних наукових семінарах викладачів та аспірантів кафедри німецької філології Гуманітарного університету „Запорізький інститут державного та муніципального управління”.

Публікації. Основні положення й висновки дисертації висвітлені в п’ятьох самостійних наукових статтях, опублікованих у фахових виданнях, акредитованих ВАК України.

Особистий внесок дисертанта полягає у створенні власної концепції оцінки якості МП в межах російсько-українського мовного напрямку. Вперше докладно оцінено лінгвістичну компоненту вітчизняних систем машинного перекладу, а в рамках німецько-українського напрямку перекладу визначено реальну користь від їх застосування для кінцевого користувача. Основні положення та результати дисертації одержані автором самостійно.

На захист виносяться такі положення:

1. Поняття „оцінка якості” в теорії машинного перекладу слід визначати на основі двох компонентів: оцінки користі й ефективності системи для користувача та оцінки її лінгвістично-перекладацького потенціалу. Останню слід досліджувати з урахуванням не лише того, як система працює зараз, а й на основі її потенційних можливостей до вдосконалення своїх показників шляхом „навчання” та налаштування на специфічні вимоги конкретного споживача. Для пересічних користувачів локальних та мережних СМП найбільш типовою є „макрооцінка”, для перекладознавців та мовознавців, які досліджують мовну якість кінцевого продукту, – „мікрооцінка”, а для розробників СМП та професійних перекладачів, що збираються друкувати перекладені тексти, обидва названі види.

2. Концепція оцінки зрілих СМП (зрілих мовних напрямків перекладу) має враховувати вагомість окремих помилок та ступінь складності мовного рівня для комп’ютерного перекладача. Оскільки безпомилкова робота СМП на даному етапі їх розвитку є неможливою, оцінку лінгвістично-перекладацького потенціалу системи пропонується будувати так, щоб виявити насамперед грубі помилки, які спотворюють зміст або унеможливлюють розуміння перекладеного тексту. Виправлення цих помилок розробниками має сприяти тому, щоб наявність решти хиб і недоліків МП не перешкоджала розумінню перекладеного речення та не викривлювала його зміст, що для користувача часто є найважливішою вимогою до СМП.

3. Російсько-український напрямок є найрозвиненішим для провідних вітчизняних СМП. У межах цього напрямку перекладу відсутні граматичні конструкції, які не відомі тестованим системам „Плай 4.0” та „Прагма 4.4”. Помилки, які допускаються системами в цій мовній парі, не потребують кардинальних змін алгоритмів і можуть бути виправлені шляхом якісного поповнення автоматичного словника та окремих правил.

4. У межах німецько-українського мовного напрямку переклад „Прагми 4.4” дає змогу підвищувати ефективність перекладацької праці та заощаджувати час на виготовлення перекладу, якщо йдеться про переклад подібних текстів у разі детального ознайомлення з принципами роботи цього комп’ютерного перекладача та його налаштування на специфіку власної професійної діяльності.

5. Найкраще пошук причин виникнення помилок здійснюється на основі тест-с’ютів (тестових збірок). Часто встановлення цих причин можливе навіть без доступу до внутрішніх програм та алгоритмів побудови системи. Найсуттєвішими для розуміння в межах російсько-української мовної пари є лексичний рівень, а в межах німецько-української мовної пари – лексичний і синтаксичний рівні. Помилки на контекстуальному рівні найчисленніші, проте у своїй більшості вони не спотворюють смисл оригіналу.

6. Серед етапів роботи проаналізованих систем машинного перекладу найслабшим є етап автоматичного аналізу. Помилки, що виникають на цьому етапі, призводять, як правило, до грубих помилок у перекладі, що спотворює або унеможливлює розуміння вихідного речення. Помилки, які виникають під час трансферу та синтезу речення мовою перекладу, здебільшого незначні, не ускладнюють читабельність або розуміння перекладу та не перекручують смисл оригіналу.

7. Перспективи вдосконалення оцінки якості машинного перекладу полягають у детальнішій класифікації помилок та в дослідженні ступеня важливості певного мовного рівня щодо вагомості кожної окремої помилки в межах інших мовних напрямків перекладу.

Структура дисертації визначається викладеними вище цілями і завданнями дослідження. Дисертаційна робота складається зі вступу, трьох розділів та висновків до них, загальних висновків, списку використаних джерел та 11 додатків. Загальний обсяг дисертації становить 215 сторінок, обсяг основного тексту дисертації – 190 сторінок. Список використаних джерел містить 252 найменування наукових праць українських і зарубіжних учених.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У Вступі обґрунтовано вибір теми, її актуальність, визначено об’єкт та предмет дослідження, окреслено мету й конкретні завдання, описано його матеріал, методологічні засади й методи дослідження, висвітлено наукову новизну, теоретичне та практичне значення роботи, її структуру й апробацію.

У першому розділі „Сучасна методологія оцінки систем машинного перекладу” обґрунтовується необхідність розмежування методів оцінки якості машинного та традиційного перекладів. Оскільки МП часто є проміжною ланкою у процесі здійснення перекладу і робить лише частковий внесок у створення кінцевого продукту, то ізольоване порівняння з програмним продуктом, який було виконано без його участі, є досить складним і нерідко недоречним. Традиційний і машинний переклади здебільшого різняться метою їх виготовлення. У сучасних умовах розвитку галузі машинний переклад часто виконується лише як чернетка для отримання загальної інформації або для подальшого застосування з використанням постредагування.

Спроби врахувати максимальну кількість найсуттєвіших чинників, що впливають на концепцію побудови оцінки якості МП, наштовхнули на ідею використання двох стратегій оцінки, які доповнюють одна одну, а саме, до макро- та мікрооцінки. Макрооцінка спрямована на виявлення обсягу, в якому МП відповідає суттєвим специфічним вимогам та потребам і, відповідно, уявленням про адекватність перекладу зацікавленої сторони. Таким чином, у процесі макрооцінки розглядається відношення між продуктом та його користувачем. Мікрооцінка передбачає пошук недоліків СМП, виявлення їх причин та можливостей усунення. Тут діалектичною парою є продукт та система.

Мету оцінки в рамках цього дослідження можна визначити таким чином: це перевірка лінгвістичної потужності систем „Плай” і „Прагма” та ступеня їх „зрілості” як комерційного продукту, а також ефективність їх використання для покращення продуктивності перекладацької праці. Насамперед досліджується лінгвістичний аспект, а лише потім технічна функціональність СМП. Кожна оцінка здійснюється на основі своєї мовної пари: перша – в межах німецько-українського напрямку перекладу, а друга – російсько-українського.

Для німецько-української мовної пари оцінка складається також із двох частин: лінгвістичної та продуктивної. У першій частині докладно досліджується лінгвістична потужність системи „Прагма 4.4”, на основі якої робляться висновки про причини появи помилок у перекладах та принципові можливості їх усунення для покращення роботи СМП. Лінгвістична оцінка побудована на основі тестових збірок речень, що містять звичайні явища німецької граматики й синтаксису, які мають українські відповідники, та конструкції, які не мають прямих відповідників в українській мові.

Після першого перекладу тестової збірки оцінюється та аналізується кожний мовний феномен, який перевірявся під час перекладу. Оцінка формувалася за такою шкалою: оцінка „5” виставлялася системі у разі вдалого перекладу мовного феномена та решти речення; оцінку „4” система отримувала у випадку, коли перекладала мовний феномен, що тестується, правильно або з незначними недоліками, проте робила певні помилки в іншій частині/частинах речення; оцінку „3” ми ставили у разі значних недоліків перекладу тестованого феномена, а також якщо помилки певним чином впливали на розуміння тексту перекладу, а оцінку „2” – якщо система взагалі не перекладала мовний феномен. Після оцінки всіх речень „тест-с’юту” робиться аналіз причин помилок та складаються додаткові тестові речення для перевірки гіпотез, які виникли під час аналізу. Потім здійснюється кодування словника СМП з метою її налаштування та покращення якості перекладу. На основі доповненого лексикону система перекладає тестову збірку речень ще раз. Далі відбувається повторний аналіз, визначається ступінь покращення або погіршення якості та формулюються можливі пропозиції розробникам. Останній крок тестування системи – це надання розробникам результатів оцінки для виправлення наявних помилок та (якщо доречно) для зміни певних алгоритмів у її роботі.

Продуктивна частина оцінки полягає у виявленні кількісних даних щодо придатності СМП „Прагма” як інструменту, призначеного для скорочення часу перекладу. Для цього експериментальною групою перекладачів були перекладені документи ЄС, вміщені на офіційному сайті Євросоюзу. Кожен уривок перекладався двічі двома різними пробандами: один раз за допомогою „Прагми”, а другий – звичайним способом з використанням паперових словників або навіть електронних засобів, але не СМП та систем перекладацької пам’яті. Для кожного пробанда вимірювався час, затрачений на виготовлення свого перекладу. Таким чином мав бути визначений час, заощаджений перекладачем завдяки використанню СМП, якщо таке заощадження взагалі мало місце. Порівняння часу здійснювалося на двох рівнях: на рівні текстів та на рівні пробандів, що має принаймні зменшити статистичну помилку, зумовлену тим, що через суб’єктивні чинники різні перекладачі потребують для перекладу ідентичного тексту неоднакову кількість часу. Крім того, оцінювалися три „суб’єктивні” критерії – зрозумілість, правильність та прийнятність.

Оцінка якості машинного перекладу систем „Плай 4.0” та „Прагма 4.4” для російсько-українського мовного напрямку відбувалася на основі порівняльного аналізу перекладів обох систем, що тестувалися. Ми пропонуємо розрізняти такі помилки з окремим умовним балом для кожної: груба (-0,5), суттєва (-0,3), незначна (-0,1). Ці помилки ми будемо характеризувати таким чином: грубі помилки – такі, що унеможливлюють розуміння тексту перекладу або коли система пропонує штучне слово, якого не існує в її лексичному складі; суттєві – помилки, що ускладнюють читабельність тексту та ті, що потребують значної за обсягом правки; дрібні – це загалом правильно перекладені речення із незначними недоліками. Коефіцієнт вагомості кожної помилки на кожному мовному рівні визначаємо за схемою: коефіцієнт вагомості помилки дорівнює ступеню важливості рівня, помноженому на бал цієї помилки. Наприклад, коефіцієнт вагомості грубої помилки на синтаксичному рівні дорівнюватиме ступеню важливості рівня (4), помноженому на бал грубої помилки (-0,5). Тобто, 4х(-0,5) = мінус 2,0 бали. Особливим видом помилки, який було вирішено враховувати окремо, є дослівний переклад у випадках, де потрібно застосувати перекладацьку трансформацію. Будь-яка така помилка отримувала мінус 0,75 бала, незалежно від мовного рівня. За кожний правильний переклад системі надається півтора бали (табл. ).

Таблиця 1

Мовний

рівень | Вид помилки та коефіцієнт її вагомості | Правильні

переклади

Груба | Суттєва | Дрібна | Трансформація

Синтаксичний | -2,0 | -1,2 | -0,4 | -0,75 | +1,5

Лексичний | -1,5 | -0,9 | -0,3 | -0,75 | +1,5

Контекстуальний | -1,0 | -0,6 | -0,2 | -0,75 | +1,5

Морфологічний | -0,5 | -0,3 | -0,1 | -0,75 | +1,5

Після оцінки перекладу обох систем МП вираховувалася загальна кількість балів усіх помилок, починаючи від незначної морфологічного рівня (мінус 0,1 бала) до грубої помилки синтаксичного рівня (мінус 2,0 бали). Остаточна оцінка обох систем складається з балансу позитивних та негативних оцінок, внаслідок чого системи можуть отримати одну з трьох оцінок:–

„незадовільно” (якщо значною мірою буде переважати кількість негативних оцінок – середня оцінка за одне речення від мінус двох до мінус одного бала);–

„задовільно” (якщо більше виявиться негативних оцінок – середня оцінка за одне речення від мінус одного до нуля);–

„добре” (якщо переважатиме кількість позитивних оцінок – середня оцінка від нуля до плюс одного бала).

Уводити до остаточної оцінки шкалу „відмінно” ми вважаємо недоречним. Оскільки на сьогодні машинний переклад апріорі містить помилки, то бездоганної якості перекладу від електронних перекладачів ніхто не очікує.

Додатково визначається ймовірний етап роботи системи, що спричинив конкретну помилку (йдеться про етап аналізу, трансферу або синтезу). Під час кількісного аналізу визначається мовний рівень, який є на сьогодні найпроблематичнішим для цього напрямку перекладу, кількість помилок різних видів та рівень, на якому системи роблять найсуттєвіші помилки. Насамкінець визначається краща система, яка найякісніше виконує переклад у межах російсько-українського мовного напрямку, здійснюється пошук архітектурних недоліків систем МП як певний вид зворотного зв’язку для розробників з метою виправлення помилок та подальшого покращення якості перекладу вітчизняних електронних перекладачів.

У другому розділі „Оцінка якості систем машинного перекладу „Прагма 4.4” (німецько-український напрямок перекладу)” здійснено аналіз лінгвістичної потужності системи МП на основі тестової збірки, укладеної для перевірки адекватності перекладу граматичних та синтаксичних елементів і конструкцій.

Якість автоматичного словника цієї СМП є низькою – з усієї тестової збірки система не знала значення 592 слів. Інколи в автоматичному словнику бракувало зміненої словоформи: наприклад, інфінітив дієслова „heraufbeschwцren“ є, а його дієприслівник „heraufbeschworen“ вже відсутній.

Вдалі переклади імператива система робить лише в разі перекладу форми наказового способу другої особи однини: „mach“ – „зроби”, „gib“ – „дай”. Наказовий спосіб у першій, другій та третій особах множини система не розпізнає взагалі і перекладає їх як звичайні розповідні речення.

Подвійне морфолого-синтаксичне підґрунтя мають помилки в реченнях, що містять дієслова з відокремлюваними префіксами. Загалом результати аналізу перекладів подібних речень свідчать про те, що це явище, безумовно, відоме системі і що певна робота в цьому напрямку розробниками СМП вже виконана. У разі невдалого перекладу таких дієслів помилки виникають, напевне, внаслідок браку відповідника в автоматичному словнику, що змушує систему перекладати відокремлювані префікси як самостійні члени речення: „Er steigt die Treppe hinunter” – „Він піднімається сходи вниз”.

Якість перекладу складнопідрядних речень однаково низька, незалежно від типу підрядного речення та його місця відносно головного. Практично завжди у цільовому реченні зберігається німецький порядок слів у підрядному реченні, коли дієслово або дієслова у складеному присудку стоять наприкінці речення, що ускладнює розуміння і свідчить про недоліки синтаксичного рівня граматики системи МП на етапі аналізу вихідного речення: „Es freut mich, wenn ich die Kinder mit den neuen Spielsachen spielen sehe” – „Це радує мене, коли я діти з новими іграшками бачить грати”.

Зворот „haben + zu + Infinitiv” система перекладає або дослівно за допомогою повнозначного дієслова „haben” – „мати”, прийменника „для” та субстантивованого дієслова, або тим же дієсловом „мати” та підрядним реченням зі сполучником „щоб”. Зворот „sein + zu + Infinitiv” „Прагма” перекладає дієсловом третьої особи однини або множини у формі майбутнього часу: „чиститиме”, „враховуватимуть” залежно від того, в якому числі стоїть підмет речення. Не відома цьому електронному перекладачеві й конструкція „Акузатив плюс інфінітив”: „Ich sehe das Haus brennen” – „Я бачу палити будинок”.

У другому розділі після аналізу помилок здійснюється кодування словника користувача, розширення тестової збірки для перевірки тих чи інших гіпотез, повторний перебіг процесу перекладу та оцінка результатів з метою визначення покращення його якості після коригування словника.

Словник користувача не надає операторові СМП можливості для повноцінного введення неправильних дієслів, яких немає в словнику системи, оскільки „Прагма” автоматично генерує Партицип ІІ лише для правильних дієслів. Зробити це вручну може лише розробник, що практично унеможливлює адекватний переклад значної кількості неправильних дієслів із відокремлюваними та невідокремлюваними префіксами, відсутніх у словнику системи МП. Певні проблеми виникають при кодуванні словника складними словами (напр. „Hintertьr”, „dankenswert”, „Sommersemester”). Спільною ознакою всіх цих слів є те, що українською мовою вони перекладаються не окремим словом, а словосполученням. Врахування цієї обставини дозволяє зробити припущення, що робота зі словником користувача обмежується лише кодуванням окремих слів без можливості внесення словосполучень. Розробники спростовують це припущення, але додають, що кодувати можна лише „правильні” словосполучення. Чи є певне словосполучення „правильним”, система визначає сама.

Радше заважає, аніж допомагає перекладачеві функція генерування словоформ, принаймні в такому стані, в якому вона зараз є. Для вибору правильних словоформ інколи потрібно зробити 7-8 натискань, що ставить під сумнів доцільність їх автоматичного вибору, оскільки за цей же час це можна було б зробити вручну.

Встановлено, що на цьому етапі розвитку „Прагма 4.4” має досить низький лінгвістичний потенціал, значна кількість граматичних конструкцій розробниками не опрацьована взагалі. Головним недоліком системи як інструменту для покращення продуктивності перекладацької роботи, насамперед, є дуже обмежені можливості коректора словника. Після кодування словника система „знає” набагато більше слів, проте при загальній низькій якості автоматичного аналізу позитивний ефект збагачення лексикону цієї СМП не має особливого значення.

У цьому ж розділі здійснено оцінку продуктивності роботи системи як інструменту для створення чернетки перекладу на основі когнітивних критеріїв. Пробандами для проведення експерименту виступили дипломовані перекладачі запорізьких перекладацьких агенцій „Поліглот” та „Лінгвін”, а також викладачі кафедри перекладу Гуманітарного університету „Запорізький інститут державного та муніципального управління” (ГУ „ЗІДМУ”) загальною кількістю дванадцять осіб. Лише троє з дванадцяти пробандів не заощадили час при застосуванні СМП, тоді як дев’ятеро мали економію часу. В жодному випадку для постредагування машинного перекладу не знадобилося більше часу, ніж для перекладу тексту без використання СМП. Якщо порівнювати час перекладу окремих текстів без використання СМП, то маємо ще вищі показники заощадження часу, які надає використання СМП. Таке заощадження спостерігалося в 11 з 12 випадків, що у відсотковому відношенні становить 91,67%.

Щодо когнітивних критеріїв, то більшість пробандів визначила МП як частково зрозумілий або такий, що почасти передає зміст оригіналу. На другому місці – „більша частина МП є зрозумілою“ або „більша частина МП є правильною”. Зовсім незрозумілим текст МП був лише для одного пробанда, тоді як жодна з осіб не визнала, що МП взагалі не відтворює змісту оригіналу. Але й максимальну позитивну оцінку для МП – „повністю зрозуміло” або „повністю правильно” надав лише один пробанд. Майже такі ж результати маємо і з параметром „прийнятність”. Тут також більшість пробандів визнала МП „частково корисним”, а рейтинг „корисний” знаходиться на другому місці. Жоден з пробандів не вважав використання МП недоцільним.

Найважливішим моментом полегшення праці перекладача 77,78% пробандів назвали пошук і переклад термінології, троє з опитуваних – розуміння вихідного тексту, і лише один пробанд назвав власне переклад.

У третьому розділі „Оцінка вітчизняних СМП „Прагма 4.4” та „Плай 4.0” (російсько-український напрямок перекладу)” розроблено авторську концепцію оцінки МП з дослідженням мовного рівня, що є найскладнішим для означених електронних перекладачів. На основі цієї концепції визначено кращу систему в межах зазначеного мовного напрямку.

Для „Прагми” помилки синтаксичного рівня є майже нехарактерними, що дозволяє їй виконувати досить якісний переклад більшості синтаксичних конструкцій. Помилки морфологічного рівня за умови їх великої частотності лише дещо ускладнюють читабельність тексту.

Певні недоліки морфологічного аналізу системи „Плай” простежуються при перекладі означального займенника „весь”: „Так вийшло, що нам довелося робити всі самостійно”. Проблема полягає в тому, що середній рід цього займенника та його форма множини в російській мові є омографами і, відповідно, орфографічно ніяк не розрізняються. „Плай” систематично робить помилки при визначенні роду і майже завжди перекладає множиною: „Я розповів тобі абсолютно усі”; „Усі знати неможливо”.

У цьому ж розділі на основі проаналізованих перекладів визначається краща з вітчизняних систем для російсько-українського мовного напрямку. Словник „Плай” має значно більше власне українських слів, а „Прагма” частіше використовує слова та звороти, ближчі до російської мови, інколи навіть просто російську лексику, транслітеровану українською мовою: „підготовка” („Прагма”) – „вишкіл” („Плай”); „виручка” („Прагма”) – „виторг” „качання” („Прагма”) – „хитавиця” („Плай”).

Біднішим виявився автоматичний словник системи “Плай” – 24 невідомі слова. „Прагма” не знає лише 9 слів. До грубих помилок належать випадки хибного перекладу лише одного слова, переклад якого не потребує будь-якого аналізу та жодних перекладацьких трансформацій: „болільник” замість „вболівальник” („Плай”), „бастували” замість „страйкували” („Прагма”).

Завданням автоматичного аналізу в рамках лексичного рівня, яке, на нашу думку, цілком під силу обом системам у їх нинішньому вигляді, є алгоритмізація закінчень числівників із відповідними позначеннями одиниць виміру. Жодна з систем не перекладає закінчення числівників після символу відсотка – „%”: „Прагма” „каже”, що слово їй невідоме й виділяє його червоним кольором, а „Плай” намагається перекласти, але без застосування аналізу: „Американська копання Yahoo оголосила про покупку 10%-ний частки компанії Gmarket”. Додаткове тестування систем показало безпорадність системи „Плай” при перекладі решти подібних словосполучень (12-а ступінь, 3-і завдання, 14-ое пропозиція). „Прагма”, навпаки, завжди адекватно добирає закінчення відповідно до роду іменника навіть у тих випадках, коли їх рід в обох мовах не збігається: „12-ий ступінь, 3-е завдання, 14-а пропозиція”.

Що стосується загальної оцінки, то системи показали приблизно однакові результати. Кількість правильно перекладених мовних явищ системою „Плай” – 43,17%, „Прагмою” – 44,75% від загальної кількості. Це вважається пристойним показником для сучасного стану розвитку систем машинного перекладу.

Основний елемент тестової збірки речень – сталі словосполучення – перекладений системами не дуже вдало і сягає максимум 22,34 % („Прагма”). За цим показником переклад обох систем не можна назвати вдалим, хоча, на наш погляд, саме він має забезпечувати належну якість російського-українського напрямку перекладу.

Дієприкметники значно краще перекладає „Плай” (39,13% правильних перекладів), насамперед завдяки відсутності синтаксичних помилок у підрядних реченнях під час автоматичного синтезу та використанню замість дієприкметників на –уч-, –юч- відповідних іменників та прикметників. Подібні трансформації знайомі, звичайно, і „Прагмі”, але використовує їх вона досить рідко (лише 23,91% правильних перекладів).

Оцінка відтворення керування дієслів показала, що цей феномен потребує подальшої роботи над системами з метою вдосконалення відповідних алгоритмів. Безпосередньо до алгоритму, що використовується під час перекладу дієслів із керуванням, немає жодних претензій ані до „Плай”, ані до „Прагми”, що підтверджується низкою вдалих перекладів цього мовного явища: „Він не звик зраджувати свої принципи” („Прагма”), Рятівник наражався на смертельну небезпеку” („Плай”). У всіх наведених реченнях керування дієслів в українській та російській мовах не збігається. Отже, їх правильний переклад обома системами свідчить про те, що перекладалися вони як змістова єдність завдяки вдалій роботі кожної з систем на всіх трьох рівнях: аналізу, завдяки якому системи розпізнали, що дієслова з прийменниками становлять одне ціле; трансферу, під час якого в автоматичному словнику системи був знайдений необхідний відповідник; нарешті, синтезу, внаслідок чого в перекладі з’явились українські дієслова зі своїм керуванням. Незважаючи на значну кількість правильно розпізнаних і перекладених дієслів, маємо чимало прикладів, коли аналіз систем не виявив відповідного зв’язку між дієсловами та прийменниками. Найчастіше в таких випадках системи вдаються до дослівного перекладу, внаслідок чого, як правило, після роботи системи на етапі синтезу в перекладі з’являються українські дієслова з керуванням мови оригіналу: „Насміхатися можна тільки над собою” („Прагма”), „Чому він підлещується перед нею?” („Плай”). Окрім якісного аспекту перекладу дієслів з керуванням маємо відзначити й кількісний. В автоматичному словнику систем дієслів із керуванням мало: із загальних 82 речень на перевірку керування „Плай” впоралася лише з 14, а „Прагма” була ще гіршою – всього 11 правильних перекладів, що становить 17,07% та 12,64%, відповідно.

Внаслідок порівняння перекладу термінології встановлено, що наявність у „Прагми” системних словників „Транспортний” та „Військовий” не дає їй жодних переваг і має радше рекламну функцію. Цікавою з цього приводу була б перевірка решти словників на їх реальну функціональність, що, враховуючи їх значну загальну кількість (110), могло б бути завданням, гідним окремого дослідження. Загальні показники вдало перекладених речень з термінами такі: 45% („Плай”) та 40% („Прагма”).

Найгірші показники аналізовані системи мають при перекладі речень, що потребують перекладацьких трансформацій. Це й не дивно, оскільки правильний переклад таких конструкцій вимагає використання всіх наявних у системі машинного перекладу видів аналізу та синтезу: морфологічного, лексичного, синтаксичного та семантичного. Загальні результати позитивних перекладів, де обидві системи вдало застосовували перекладацькі трансформації, є досить невисокими: 8,57% („Плай”) та 5,71% („Прагма”).

У третьому розділі визначається також мовний рівень, який є найскладнішим для електронних перекладачів у цьому мовному напрямку. Більш опрацьованими в системі „Плай” є лексичний та синтаксичний рівні, у „Прагми” – контекстуальний та морфологічний. На двох перших, найвагоміших у баловому відношенні, „Плай” має 100 помилок, а „Прагма” – 120. Протилежну ситуацію маємо на двох останніх рівнях: тут веде перед „Прагма” із 410 помилками, а „Плай” їй поступається і має на 25 помилок більше.

Не існує абсолютного лідера серед тестованих систем і при їх порівнянні на основі виду помилки за ступенем її вагомості: на 11 грубих помилок з вищім балом має „Прагма”, проте наздоганяє „Плай” за рахунок суттєвих помилок, яких має на 16 менше. Кількість дрібних помилок в обох систем є зовсім незначною й абсолютно однаковою.

Вдала робота автоматичного аналізатора системи в більшості випадків може гарантувати безпомилкове проходження решти рівнів. І, навпаки, якісний переклад практично неможливий за умови невдалого проходження першого етапу. Отже, хоч за показниками роботи систем на всіх трьох етапах жодна з них не має абсолютної переваги, визначальним тут є кращий аналізатор „Прагми”, завдяки якому цей перекладач спромігся зробити на 21 помилку менше, ніж конкурент. Натомість, вартим уваги є вдаліше застосування перекладацьких трансформацій з боку СМП „Плай” та її якісніший словник, що дало змогу системі випередити „Прагму” на етапі трансферу. Якість автоматичного синтезу обох систем практично не різниться.

У додатках наведено збірки тестових речень, що використовувалися для оцінки СМП, тексти для опитування потенційних користувачів, а також переклади досліджуваних систем з авторською правкою й без неї.

ВИСНОВКИ

У дисертації запропоновано вирішення актуального наукового завдання, що полягає в оцінці мовної якості перекладів, виконаних вітчизняними СМП, та визначенні користі від їх застосування для кінцевого користувача. Отримані результати дають змогу глибше зрозуміти можливості електронних перекладачів та з’ясувати недоліки, виправлення яких має покращити загальну якість перекладу.

Внаслідок проведеного дослідження отримано такі наукові результати:

1. Наукові дослідження оцінки якості лінгвістично-перекладацького потенціалу СМП мають будуватися в межах мікрооцінки на основі штучних тестових збірок та реальних текстів. Експерименти з оцінки якості, спрямовані на визначення користі від застосування машинного перекладу та ефективності задоволення специфічних вимог користувача, відбуваються у межах макрооцінки, де на перший план виходить не безпосередня якість перекладу, а ступінь задоволення потреб користувачів.

2. Споживач, який дослідив лінгвістичний потенціал системи, тобто принципову можливість її покращення на основі поповнення словників або (рідше) за рахунок подальшого програмування/вдосконалення правил, може отримати достатню інформацію щодо перспективності системи машинного перекладу, яка, можливо, абсолютно не задовольняє його потреби в пакетному режимі, проте має непогані шанси на поліпшення якості перекладу за умови її тривалої експлуатації.

3. На сучасному етапі розвитку „Прагма 4.4” з німецько-українською мовною парою має досить низький лінгвістичний потенціал, а значна кількість граматичних конструкцій розробниками не