Міністерство освіти і науки України

Тернопільський державний технічний університет імені Івана Пулюя

Шадріна Галина Михайлівна

УДК 519.24:616.28

МАТЕМАТИЧНА МОДЕЛЬ МОВНОГО СИГНАЛУ ДЛЯ БІОТЕХНІЧНОЇ СИСТЕМИ РЕАБІЛІТАЦІЇ ФУНКЦІЙ МОВНОГО АПАРАТУ

Спеціальність 01.05.02 - Математичне моделювання та обчислювальні методи

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Тернопіль - 2001

Дисертацією є рукопис

Робота виконана в Тернопільському державному технічному університеті імені Івана Пулюя Міністерства освіти і науки України

Науковий керівник - кандидат технічних наук, доцент

Яворський Богдан Іванович,

Тернопільський державний технічний університет

імені Івана Пулюя, завідувач кафедрою біотехнічних систем, м. Тернопіль

Офіційні опоненти: - доктор технічних наук, професор

Мандзій Богдан Андрійович,

Національний університет “Львівська політехніка”,

завідувач кафедри теоретична радіотехніка та

радіовимірювання, м.Львів

- кандидат технічних наук, доцент

Буда Антоніна Героніївна,

Вінницький державний технічний університет,

доцент кафедри графіки та архітектури, м. Вінниця

Провідна установа - Інститут кібернетики ім. В.М.Глушкова

НАН України, відділ управляючих машин і систем,

м. Київ

Захист відбудеться “22” листопада 2001 р. о 14 годині на засіданні спеціалізованої вченої ради К 58.052.01 в Тернопільському державному технічному університеті імені Івана Пулюя, 46001, м. Тернопіль,

вул. Руська, 56.

З дисертацією можна ознайомитися в науковій бібліотеці Тернопільського державного технічного університету імені Івана Пулюя, 46001, м. Тернопіль, вул. Руська, 56.

Автореферат розісланий “ 16 ” жовтня 2001 р.

Вчений секретар

спеціалізованої вченої ради

кандидат фізико-математичних наук Шелестовський Б.Г.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальнiсть теми. Вибір та обгрунтування математичної моделі мовленнєвого (надалі мовного) сигналу, яка адекватно описує закономірності при формуванні звуків мови, забезпечує ефективне функціонування системи, призначеної для тренування (реабілітації) мовного апарату людей з вадами слуху.

Під час навчання мови людей з вадами слуху поширеним є метод, який базується на використанні зору (зорової аналізаторної системи), описаний у працях Зікєєвої А.Г., Козлової М.Я., Кузмічової В.П., Марцінковської О.Н., Рау Ф.Ф., Сльозіної Н.Ф., Левіта Г., Пікета Дж. та ін. Проте його використання на даний час недостатньо ефективне, оскільки візуальне навчальне зображення відображає лише мінливі у часі миттєві ознаки мовного сигналу. Очевидно, що у відомих системах при моделюванні мовного сигналу не враховується вся специфіка застосування моделі під час формування навчального зображення, необхідного для пацієнта, щоб керувати своїм мовним апаратом. При реабілітації функцій мовного апарату необхідно врахувати, що пацієнт, використовуючи дані про мовний сигнал, одержані через орган зору, повинен, рефлекторно наближати візуальні зображення характеристик свого мовного сигналу та бажаного (еталонного). Це вимагає обгрунтування вибору відповідних ознак мовного сигналу. Їх характеристики не повинні залежати від моменту відбору мовного сигналу (бути інваріантними в часі), містити максимум даних про сигнал, просто формуватися та вимірюватися, а також займати мало місця на екрані візуалізуючого пристрою з метою ефективного сприймання пацієнтом.

У математичних моделях мовного сигналу, призначених для автоматичного розпізнавання та синтезу мови (Вінцюк Т.К., Рашкевич Ю.М., Рабінер Л.Р., Шафер Р.В., Гедонавичюс А.В., Джайянт М.С., Зелений А.І., Куля В.І., Баронін С.П., розробках фірм IBM, Creative Technology, Dragon System та ін.), основну увагу приділено ознакам мовного повідомлення, а не візуального відображення вимовлених звуків, що робить ці моделі непридатними для вирішення задачі тренування мовного апарату. Тому обгрунтування вибору математичної моделі мовного сигналу, розробка алгоритмів опрацювання даних при її використанні у біотехнічній реабілітаційній системі, визначення складу та структури системи, оцiнювання її стійкості та фізичної реалізовності на базі вибраної моделi є актуальним.

Зв’язок роботи з науковими програмами, планами, темами. Тема роботи входить до тематичного плану Тернопiльського державного технiчного унiверситету iменi Iвана Пулюя. Окремі результати роботи отримані при виконанні держбюджетних тем:

- Д14-91 "Розробка контролера та системного програмного забезпечення кольорової (півтонової) динамічної візуалізації оцінок параметрів і характеристик моделей фізичних полів", номер держреєстрації № 0193U039359;

- ДІ 72-97 "Система екологічного і медичного моніторингу довкілля", номер держреєстрації № 0197U004549.

Мета і задачі дослідження. Метою роботи є розроблення методів та засобів математичного моделювання мовного сигналу для забезпечення зворотнього зв’язку у біотехнічній системі для реабілітації функцій мовного апарату.

Для досягнення вказаної мети необхiдно було вирішити задачi:

·

· визначення інформативних ознак сигналу;

· вибору типу вікна;

· верифікації моделі;

· побудови еталонного навчального візуального зображення мовного сигналу;

· побудови структурної схеми біотехнічної реабілітаційної системи;

· побудови критерію стійкості реабілітаційної системи;

· вироблення рекомендацій для створення методики тренування мовного апарату за допомогою вибраної моделі.

Об’єкт дослідження - мовний сигнал.

Предмет дослідження - математична модель мовного сигналу для біотехнічної системи реабілітіції функцій мовного апарату.

Методи дослідження - гармонічний аналіз, спектральний аналіз стаціонарних випадкових процесів, методи енергетичної теорії стохастичних сигналів.

Наукова новизна одержаних результатiв. Основнi результати роботи є новими, а саме:

·

· вперше застосовано нові в області реабілітації функцій мовного апарату інформативні ознаки мовного сигналу - спектральні компоненти його реєстрограми;

· вперше на основі отриманих значень спектральних компонент побудовано міру наближення біжучої до еталонної реєстрограм мовного сигналу, що уможливило кількісне оцінювання якості реабілітації;

· вперше обгрунтовано адекватність ланки першого порядку із зворотнім зв’язком як структури біотехнічної системи для реабілітації функцій мовного апарату;

· вперше означено критерій та межі стійкості для реабілітаційної системи.

Практичне значення одержаних результатiв. Одержанi теоретичнi результати розширюють область застосування статистичних методiв при розробці бiотехнічної апаратури. Запропонована модель мовного сигналу як ПКВП дає можливість підвищити якість тренування мовного апарату та здiйснювати iндивiдуальний пiдхiд до пацiєнта. Біотехнічна система для реабілітації на базі цієї моделі може бути використана для корекції мови в школах для глухих, у центрах реабiлiтацiї втрачених внаслiдок нещасних випадкiв функцiй органiзму людини (в тому числi локомоцiйних та iн.). Отримані результати можуть бути основою подальших дослiджень моделі мовних сигналів для відшукання інформативних ознак звуків мови.

Розроблені в дисертації методи і рекомендації впроваджені у Тернопільській спеціальній школі-інтернаті для дітей зі зниженим слухом для корекції вимови та у Тернопільській державній медичній академії ім. І.Я. Горбачевського на кафедрі нормальної фізіології при дослідженні патології мовного апарату.

Особистий внесок здобувача. Основні результати, які становлять суть дисертаційної роботи, отримані автором самостійно. У публікаціях, написаних у співавторстві, здобувачеві належить: у роботі [1] - виконання чисельних експериментів на ЕОМ при виборі варiанту з’єднання функцiональних вузлiв системи для обробки випадкових сигналів фільтровим методом; у роботі [2] - порівняльний аналіз базисів спектральних зображень та формулювання критерію вибору базису для використання спектрального зображення сигналу в ергатичній системі; у роботі [3] - побудова ієрархії моделей мовного сигналу для реабілітаційної системи; в роботі [4] - евристична побудова моделi системи для реабiлiтацiї функцiй мовного апарату людей з вадами слуху та визначення умов для забезпечення її стійкості; в роботі [5] - експериментальна перевірка способу врахування взаємного впливу гармонічних складових сигналу при його опрацюванні на ЕОМ; у роботі [6] - виявлення основних недоліків відомих візуалізуючих засобів реабілітації функцій мовного апарату та розробка шляхів їх усунення; в роботі [7] - розробка програмного забезпечення для динамічної візуалізації оцінок параметрів випадкових сигналів; у роботі [8] - розробка алгоритму обчислення спектральних компонент слабо нестацiонарного сигналу; в роботі [9] - експериментальне дослідження методу оцiнювання затримки мовної реакцiї людини на вiзуальний подразник; у роботі [10] - розробка алгоритму оцінювання впливу оцифровки на майже періодичний процес; у роботі [11] - методика вибору iнформативних ознак звукового образу; в роботі [12] - методика використання періодично корельованого випадкового процесу у реабілітаційній системі.

Співавтори робіт [1, 2, 4, 5, 6, 8, 9, 10, 12] брали участь у постановці задач та обговоренні результатів. Науковий керівник роботи приймав участь у формулюванні задач, обговоренні одержаних результатів, можливостей їх практичного застосування і є співавтором публікацій [1, 2, 4, 6, 8, 9, 10, 12].

Апробацiя результатiв дисертацiї. Окремi результати роботи доповiдалися на щорiчних конференцiях професорсько-викладацького складу ТАНГ м.Тернопiль, 1982-1990 р.р., на мiжнародному симпозiумi "Iмовiрнiснi моделi та обробка випадкових сигналiв i полiв" Тернопiль, 1993р., на другiй науково-технiчнiй конференцiї "Прогресивнi технологiї та обладнання в машино- i приладобудуваннi" м.Тернопiль, 1993р., на мiжнароднiй науковiй конференцiї, присвяченiй 150-рiччю вiд дня народження видатного українського фiзика i електротехнiка Iвана Пулюя м.Тернопiль, 1995р., на Другiй Українськiй конференцiї з автоматичного керування "Автоматика-95" м.Львiв, 1995р., на Третiй Українськiй конференцiї "Автоматика-96" м.Севастополь, 1996р., на мiжнароднiй конференцiї "Комп’ютернi технологiї друкарства (алгоритми, сигнали, системи) "Друкотехн-96" м.Львiв, 1996р., на третiй всеукраїнськiй мiжнароднiй конференцiї "Оброблення сигналiв i зображень та розпiзнавання образiв УкрОБРАЗ’96" м.Київ, 1996 р., на четвертiй науково-технiчнiй конференцiї "Прогресивнi технологiї та обладнання в машино- i приладобудуваннi" м.Тернопiль, 2000 р., на міжнародній конференції "Сучасні проблеми в комп’ютерних науках в Україні" м.Львів, 2000 р., на науково-технiчних семiнарах кафедри біотехнічних систем Тернопільського державного технічного університету iмені Iвана Пулюя м.Тернопiль, 1993-2000 р.р.

В цілому робота обговорювалася на засіданні тематичного наукового семінару Тернопільського державного технічного університету імені Івана Пулюя "Зображення біомедсигналів та реконструкція їх джерел" та на розширених наукових семінарах інституту інформаційно-діагностичних систем Національного авіаційного університету та Інституту проблем моделювання в енергетиці ім. Г.Е. Пухова НАН України (м.Київ).

Публiкацiї. За матерiалами дисертацiї опублiковано 12 наукових праць. З них 5 - у наукових фахових виданнях.

Структура та обcяг дисертацiї. Дисертацiйна робота складається з вступу, чотирьох роздiлiв, висновкiв, списку використаних джерел та додатків. Загальний обсяг дисертаційної роботи становить 172 сторінки тексту, 133 сторiнки основної текстової частини, в тому числі 33 рисунки, 6 додатків, дві таблиці, 136 бібліографічних найменувань на 13 сторінках, акти впровадження.

ОСНОВНИЙ ЗМIСТ РОБОТИ

У вступi розкрито сутнiсть i стан наукової проблеми, обгрунтовано важливість і актуальність теми дисертації та необхiднiсть проведення дослiдження, викладено мету роботи та сформульовано основнi положення, якi виносяться на захист, їх практичне значення та наукову новизну, коротко розкрито зміст дисертації.

У першому розділі зроблено огляд лiтератури за темою дисертації та подано стислий аналіз сучасного стану проблеми. Проаналізовано недоліки існуючих візуалізуючих пристроїв для реабілітації функцій мовного апарату людей з вадами слуху і визначено, що успішне розв’язання проблеми реабілітації функції мовного апарату вимагає вибору адекватної моделі мовного сигналу, яка дозволить отримати стійке у часі візуальне зображення його характеристик; вибору структури системи для реабілітації та оцінювання її стійкості.

На основі проведеного аналізу вибрано напрям та сформульовано задачі дисертаційного дослідження.

Другий розділ присвячений розглядові питань, що стосуються методів моделювання мовного сигналу на базі сигнальної концепції. Аналізуються можливості, що їх дає використання відомих детермінованих та стохастичних моделей для задачі тренування мовного апарату, розроблено загальну методику проведення дисертаційних досліджень. Особливу увагу при виборі моделі звернено на можливість виявити за її допомогою часово-інваріантну ознаку мовного сигналу. Вибрано вікна для ефективнішого використання моделі.

Для отримання основних математичних залежностей застосовано опис мовного сигналу як коливання, в тому числі і такого, в якому разом з повторюваністю істотну роль відіграє випадковість.

Для досліджень відбирається голосний звук [а] здорової людини, яка добре чує і розмовляє. Проводиться пошук інформативної ознаки сигналу, інваріантної до часових зсувів. Оскільки у часових записах голосних звуків спостерігається періодичність, то при моделюванні сигналу підходимо до нього як до періодичної функції. При цьому використовуємо методи гармонічного аналізу, спектрального аналізу та енергетичної теорії стохастичних сигналів. Як результат первинного опису отримуємо сукупність моделей мовного сигналу.

Математичні моделі коливань у вигляді періодичної та майже періодичної функцій дають можливість описати закономірності голосного звуку з дискретним чи неперервним спектром у термінах моделей детермінованих функцій через їх зображення у певних просторах.

Зокрема, застосовано простір , що є частковим випадком гільбертового простору періодичних функцій , для яких величина , де T - період сигналу, R. Базисом у такому просторі є множина гармонічних коливань . Мовний сигнал як функцію з - простору числових функцій, означених на множині з інтегровним квадратом - можна подати збіжним у середньоквадратичному сенсі рядом:

(1)

де .

За теоремою Парсеваля отримуємо . Цим обгрунтовується розклад періодичних функцій, що описують коливання, на прості гармонічні складові.

Якщо узагальнити вираз (1), замінивши аргументи комплексних гармонік на впорядковані за зростанням довільні , то

.

Частоти гармонік тепер вже не визначають одного періоду і не можна користуватися виразом (1) для знаходження значень . Для обчислення коефіцієнтів у цьому випадку використовують вираз:

Функції , утворюють ортонормовану множину, якщо скалярний добуток означено як . Тоді справедлива теорема Парсеваля у вигляді:

.

Зображення випадкових функцiй з вiдповiдним зображенням їх кореляцiйної функцiї характеризують моделi стохастичних явищ в рамках кореляцiйної теорiї.

Якщо випадковий процес (ВП) - має обмежений спектр , то сам процес та його кореляційну функцію можна подати через значення у точках (теорема Котельнікова-Шенона):

Згідно з теоремою Піранашвілі, при умові ергодичності та фінітності сигналу всі реалізації можуть бути подані формулою Котельнікова, якщо ВП допускає зображення Карунена-Лоева.

Введення М.Лоевом поняття гармонізовності та його розширення Ю.А.Розановим виявляє у коливних системах структуру нестаціонарних ВП. У означеній та завершеній Я.П.Драґаном енергетичній теорії стохастичних сигналів узагальнено теорію коливань на випадки, коли разом із повторюваністю істотну роль відіграє нерегулярність.

Періодично корельований випадковий процес (ПКВП) класу - це процес, кореляційна функція якого задовольняє умову для всіх , і який має зображення

(2)

через стаціонарні компоненти . Ряд (2) збігається за нормою в метриці простору і при цьому .

При вивченні ПКВП користуються параметричною характеристикою - коваріацією

і спектром

де - кореляційні компоненти; - спектральні компоненти.

Таким чином, для біотехнічної реабілітаційної системи при моделюванні мовного сигналу пропонується використовувати сукупність спектральних характеристик, які відповідають вищеперерахованим моделям і задовольняють певні вимоги: повністю характеризують сигнал протягом часу тривалості, не залежать від моменту відбору, тобто є інваріантними до зсувів по часу і дозволяють кількісно оцінити процедуру реабілітації.

У третьому розділі розкрито методику проведення експерименту відбору мовного сигналу (голосного звуку [а]) від суб’єктів, які чують і розмовляють, вибору математичної моделі сигналу та результати її досліджень. Запропоновано критерій встановлення значення інформативних характеристик мовного сигналу та розвинуто спектрально-кореляційний метод їх отримання на підставі застосування чисельних методів з використанням вікон.

В основу способу вибору моделі мовного сигналу покладено той факт, що математичний апарат функціонального аналізу дає змогу розглядати множину довільних об’єктів з єдиних позицій. У лінійній теорії сигналів використовують гільбертів простір H елементів довільної природи, якими можуть бути детерміновані функції, випадкові величини, випадкові процеси, тощо. Використання спектральних характеристик є основою для зображення сигналу як елемента деякого гільбертового простору. Абстрактний гільбертів простір є нормованим, якщо задано норму, і метричним, коли задано відстань між елементами. Адитивність "спектрів" дає можливість виконувати над ними арифметичні дії. Наявність метрики дозволяє ввести поріг розрізнення як відстань між двома зсунутими в часі спектрами фрагментів (вирізок) одного і того ж сигналу (голосного звуку [а]) для конкретного пацієнта при вибраній моделі мовного сигналу.

Отримавши пороги розрізнення для одного пацієнта при всіх моделях із запропонованої сукупності, вибираємо для цього пацієнта модель мовного сигналу за мінімальним значенням порогу розрізнення. При реабілітації функцій мовного апарату "близькість" звуку, промовленого пацієнтом, до потрібного (еталонного) - є відстань між двома елементами гільбертового простору (з врахуванням значення порогу розрізнення), яку в процесі тренування треба звести до нуля. Оскільки дослідження проводилися для здорової людини, то будь-який фрагмент реалізації може служити еталонним.

При розгляді сигналу як ВП було зроблене припущення, що голосний звук [а] є ергодичним ВП. При такому припущенні ПКВП розпадається на множини співфазних значень на гратках виду , які відрізняються значеннями . Такі множини утворюють стаціонарні ергодичні і стаціонарно-ергодично-зв’язані випадкові послідовності. Із зображення ПКВП через стаціонарні компоненти випливає, що відліки ПКВП через період корельованості є стаціонарними випадковими послідовностями, а сума відліків стаціонарних процесів - стаціонарна.

Критерієм слушності статистичних оцінок для процесів класу є виконання умови швидкого загасання кореляційних зв’язків для всіх t, де - середня коваріація ВП, яка має всі властивості коваріації стаціонарного ВП. При відомому математичному сподіванні оцінка кореляційної функції має вигляд:

де Т- період корельованості; - незміщені.

Оцінки коефіцієнтів розкладу - спектральних компонент отримуємо з оцінок кореляційних компонент

Щоб підтвердити слушність припущень про інваріантність до часових зсувів спектральних характеристик моделей та доцільності застосування розроблених алгоритмів, у четвертому розділі проведено їх експериментальну верифікацію.

У четвертому розділі обгрунтовано побудову структурної схеми реабілітаційної системи, розроблено критерій її стійкості та наведено результати верифікації моделей голосного звуку [а]. Метою верифікації є перевірка шляхом натурного моделювання (на прикладі голосного звуку [а]) адекватності моделі мовному сигналу; інтерпретація отриманих результатів; обгрунтування практичних рекомендацій щодо її використання для реабілітації функцій мовного апарату.

Принциповим у розробленому підході є те, що людину в поєднанні з технічними засобами, трактуємо як єдину інформаційно-вимірювальну систему.

На основі уявлення про процес творення мови запропоновано модель сприймання та творення мови людиною, яка не чує, та вибрано структуру спеціалізованої реабілітаційної системи у вигляді:

Рис. 1. Структурна схема сприймання мови при заміні слухового аналізатора зоровим ( 1-головний мозок; 2-моторний мовний центр мозку; 3-орган мовлення; 4-мікрофон; 5-блок попередньої обробки; 6-блок візуалізації; 7-орган зору; 8-зоровий центр).

Використовуючи таке трактування, схему, зображену на рис. 1, подамо у канонічному вигляді (рис. 2).

Рис. 2. Канонічний вигляд структурної схеми сприймання мови

Зауважуючи подібність функцій, які виконують блоки схеми на рис. 1 та рис. 2, вважатимемо схему на рис. 2 моделлю сприймання та творення мови людиною з вадами слуху при заміні слухового аналізатора зоровим.

Тут Uвх відповідає мовному сигналу, який людина повинна повторити (еталонному сигналу); блок К1 моделює процедуру вимовлення звуку мовним апаратом пацієнта. Блок К2 моделює відбір, обробку та візуалізацію мовного сигналу у каналі зворотнього зв’язку. Блок К3 моделює сприймання людиною візуального зображення. Блок порівняння моделює роботу мозку людини при осмисленні нею візуальних зображень еталонного і вимовленого звуку. Uвих - мовний сигнал, який видає пацієнт.

З метою дослідження умов стійкості роботи системи приймемо до уваги, що:

а) реакцiя пацієнта запiзнюється на величину латентного перiоду, який залежить від індивідуальних психо-фізіологічних якостей;

б) час інерції на сприймання і осмислення побаченого залежить від вигляду еталонного навчального образу і в процесі тренування зменшується до певного (різного для кожної людини) значення.

Враховуючи це, подамо функцію передачі системи у вигляді:

Для першого наближення, значення коефіцієнтів k1, k2 та k3 були прийняті рівними одиниці. Такий вибір пояснюється адекватним (неспотвореним) сприйманням пацієнтом даних, які до нього надходять. Стійкість системи визначаємо, отримавши полюси функції передачі, що є розв’язками характеристичного рівняння: , які шукаємо, використовуючи значення змінних, одержаних експериментально для конкретного пацієнта.

Щоб система була стійкою, необхідно і достатньо, щоб полюси функції передачі були розміщені у лівій півплощині коренів p. В результаті експериментальних досліджень встановлено, що система втрачає стійкість, коли психо-фізіологічні можливості людини такі, що вона не може використовувати дану систему для реабілітації мовної функції (час сприймання людиною візуального навчального образу близький до 90 с) або, коли на відбір, обробку та візуалізацію мовного сигналу апаратними засобами затрачається близько 90 с.

Час, який затрачає людина, визначаємо експериментально, а час на обробку залежить значною мірою від моделі сигналу.

При виборі моделі мовного сигналу прийняті гіпотези про те, що моделлю може бути: а) детермінована функція; б) стаціонарний випадковий процес; в) нестаціонарний періодично корельований випадковий процес.

Для того, щоб прийняти одну з гіпотез, відкинувши інші, було здійснено експериментальну верифікацію моделі, тобто, перевірено відповідність отриманих дедуктивним шляхом висновків про модель властивостям мовного сигналу, описаного за допомогою такої моделі. Вирішальну роль відігравала можливість створити на базі моделі еталон сигналу, який дозволить оцінити близькість звуку, промовленого пацієнтом, і еталону. Оскільки розглядалися ряд моделей, то під критерієм оптимальності моделі із запропонованої сукупності розумілося мінімальне по сукупності моделей значення порогу розрізнення між біжучою та еталонною спектральними характеристиками вирізок мовного сигналу. За поріг розрізнення приймалося максимальне для даної моделі середньоквадратичне відхилення спектральної характеристики еталонної вирізки від інших 5-ти по реалізації.

Для забезпечення слушності оцінки спектральних компонент при верифікації ПКВП як моделі мовного сигналу було застосоване згладжування за допомогою вікон. Оцінка спектральних компонент набула вигляду:

де w(u) - вагова функція вікна.

Дослідження були проведені для наступних вікон:

а) вікно Хемінга

;

б) трикутне вікно Фейєра і Бартлета

;

в) вікно Блекмана-Херіса

Дослідження показали, що амлітудний та енергетичний спектри чутливі до зміни інтенсивності мовного сигналу.

Як результат, відстань між еталонною та будь-якою іншою вирізкою сигналу при детермінованій та випадковій стаціонарній моделі досить широко змінюється з часом.

дет ={0,24; 0; 0,34; 0,13; 0,19; 0,11}, max = 0,3

стац ={0,16; 0; 0,48; 0,64; 0,56; 0,44}, max = 0,6

Оскільки ці моделі чутливі до інтенсивності сигналу, вони не підходять для тренування мовного апарату, оскільки реагуватимуть не тільки на правильність вимовленого звуку, але і на його гучність.

Отримані значення відстаней при використанні ПКВП:

1 = {0,0925; 0; 0,0605; 0,1023; 0,0518; 0,1588}, max = 0,2

2 = {0,0834; 0; 0,0567; 0,0933; 0,0516; 0,1432}, max = 0,2

3 = {0,0852; 0; 0,0566; 0,0855; 0,0453; 0,1509}. max = 0,2

Значення порогу розрізнення дають підстави говорити, що модель мовного сигналу як ПКВП найбільш придатна для використання у реабілітаційній системі, причому при застосуванні вікна Блекмана-Херіса, яке дає можливість враховувати близькі, але суттєво відмінні за амплітудою тони, ця модель найменш чутлива до підсилення сигналу в межах зміни інтенсивності звуку (див. таблицю 1), яка виникатиме під час реабілітації мовного апарату.

При описі мовного сигналу як ПКВП період сигналу співпадає з періодом корельованості, що значно спрощує його обчислення.

У рекомендаціях щодо методики використання цієї моделі для реабілітації функцій мовного апарату людей з вадами слуху пропонується мовний сигнал, на базі якого формуватиметься еталонний навчальний образ, одержати від пацієнта за допомогою зонду, відомої конструкції, а формування власне еталонного зображення узгоджувати з особливостями розробленої моделі.

Таблиця 1

Значення порогу розрізнення при зміні інтенсивності звуку [а]

Вікно | Коефіцієнт підсилення | Величина порогу

Хемінга | 0,5

2 | 0,1221

0,2775

Трикутне | 0,5

2 | 0,1123

0,2530

Блекмана-Херіса | 0,5

2 | 0,1116

0,2501

Одним з можливих способів візуалізувати мовний сигнал є використання як еталону звичайного прямокутника довільної ширини, довжина якого дорівнюватиме нормі сигналу

,

включаючи допустимий поріг розрізнення, поданий у певному масштабі (рис. 4).

Рис. 4. Приклад візуального зображення мовного сигналу для реабілітації функцій мовного апарату

Біжучий сигнал зобразиться аналогічним прямокутником із змінною, в залежності від якості мовного сигналу, довжиною. Довжина біжучого прямокутника змінюватиметься відповідно до обчисленого для даного пацієнта в процесі реабілітації порогу розрізнення. Якщо права межа верхнього прямокутника потрапляє в проміжок позначений а, вважаємо, що мета реабілітації досягнута, якщо ж ні (пунктирні лінії на рисунку), процес тренування треба продовжувати.

Запропоновані рекомендації можуть бути використані лікарями при розробці методики реабілітації, що дозволить здійснити індивідуальний підхід до пацієнта під час реабілітації функцій мовного апарату і чисельно оцінити якість реабілітаційної процедури.

ВИСНОВКИ

1. Обгрунтовано використання ПКВП для моделювання реєстрограми мовного сигналу, що дозволило отримати його інформативні ознаки.

2. Вибрано спектральні компоненти ПКВП за інформативну ознаку мовного сигналу, що дало можливість побудувати візуальне навчальне зображення голосного звуку в біотехнічній реабілітаційній системі для тренування мовного апарату людей з вадами слуху.

3. Розроблено спектрально-кореляційний метод для одержання значень спектральних компонент, що дало можливість побудувати критерій верифікації моделі.

4. Розроблено програмне забезпечення для обчислення значень спектральних компонент, що дозволило отримати числові значення наближення біжучої до еталонної реєстрограм мовного сигналу та кількісно оцінити якість реабілітації.

5. Одержано еталонне навчальне візуальне зображення мовного сигналу, узгоджене з особливостями вибраної моделі на базі розвинутого розрахунково-експериментального методу, що дало змогу розробити рекомендації щодо створення методики реабілітації.

6. Вперше зроблено обгрунтований вибір структури біотехнічної системи реабілітації функцій мовного апарату, що дало можливість означити критерій її стійкості.

7. За результатами теоретико-експериментальних досліджень вироблено рекомендації щодо використання запропонованої моделі при створення нових методів тренування мовного апарату, які дозволяють врахувати індивідуальні властивості пацієнта в процесі реабілітації.

8. Основні результати роботи знайшли своє застосування у Тернопільській спеціальній школі-інтернаті для дітей зі зниженим слухом для корекції вимови та у Тернопільській державній медичній академії ім. І.Я. Горбачевського на кафедрі нормальної фізіології при дослідженні патології мовного апарату.

Таким чином у дисертаційній роботі розв’язана важлива науково-практична задача вибору та обгрунтування математичної моделі мовного сигналу з часово-інваріантною ознакою для біотехнічної системи реабілітації функцій мовного апарату. Вироблено рекомендації стосовно використання моделі для побудови візуального навчального зображення голосного звуку для корекції мови людей з вадами слуху.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗДОБУВАЧА ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Яворский Б.И., Олексий Б.В., Криль (Шадрина) Г.М., Демченко В.Е. Определение оптимального варианта чередования резонаторов при аппаратурной реализации рекурсивных полосовых цифровых фильтров // Методы и средства анализа случайных пространственно-временных полей. - Львов: Изд - во ВНИИМИУС , 1983. - С. 73 - 80.

2. Шадрiна Г.М., Яворський Б.I. Критерiї вибору базисiв спектральних зображень випадкових процесiв для ергатичних систем // Вiсник ТПI 2 / ’96. - Тернопiль. - 1996. - С.133-137.

3. Шадрiна Г.М. Iєрархiя моделей мовного сигналу для системи реабiлiтацiї функцiї мовлення // Вiсник ТДТУ. - 1998. - Т 3, число 1. - С. 80-84.

4. Б.Яворський, Г.Шадріна, І.Крутиголова, В.Кирилюк, О.Шатковський. Евристичний підхід до вибору структури біотехнічної системи для реабілітації функції мовлення // Комп’ютерні технології друкарства. -Львів. УАД. - 1999. -№3. - С. 280-289.

5. Драґан Я.П., Євтух П.С., Шадріна Г.М. Спосіб врахування взаємного впливу амплітуд гармонічних складових сигналу при його аналізі на ЕОМ // Комп’ютерні технології друкарства. - Львів. УАД. - 2000. -№ 5. - С. 338-343.

6. Проблеми реабiлiтацiї втрачених мовних функцiй / Шадрiна Г.М., Яворський Б.I. / ТПI iм. I.Пулюя. - Тернопiль, 1996. - 31 с. - Укр. - Деп. в ДНТБ України 24.10.96. №2083 - Ук96.

7. "Розробка контролера та системного програмного забезпечення кольорової пiвтонової динамiчної вiзуалiзацiї оцiнок параметрiв i характеристик моделей фiзичних полiв " Звiт про НДР (промiжний) / ТПI. № держреєстр. 0193U039359. - Тернопiль, 1993. - С. 55-64

8. Шадрiна Г.М., Яворський Б.I. Оперативна графiка у людино-машинних системах // Наук. працi конф. Комп’ютернi технологiї друкарства: алгоритми, сигнали, системи "Друкотехн-96". - Львiв. - 1996. - С. 170-173.

9. Яворський Б.I., Шадрiна Г.М. Оцiнювання латентного перiоду мовної реакцiї людини на вiзуальний стимул. // Зб. праць 3 - ї української конференцiї з автоматичного керування ‘ Автоматика - 96’ . - Севастополь: СевГТУ, 1996. - Т. 2. - С. 94.

10. Драґан Я.П., Шадрiна Г.М., Яворський Б.I. Вплив оцифровки майже перiодичного процесу на точнiсть слiдкування за ним. // Зб. праць 3 - ї української конференцiї з автоматичного керування ‘ Автоматика - 96’ . - Севастополь: СевГТУ, 1996. - Т.2. - С. 169.

11. Шадрiна Г.М. Проблема вiзуалiзацiї звукового образу для ергатичної системи реабiлiтацiї втраченої функцiї мовлення // Працi третьої всеукраїнської мiжнародної конференцiї "Оброблення сигналiв i зображень та розпiзнавання образiв" УкрОБРАЗ’ 96. - Київ, 1996. - С. 259-261.

12. Яворський Б, Шадріна Г. Методика використання періодично корельованого випадкового процесу як моделі мовного сигналу для системи реабілітації мовної функції // Прогресивнi матерiали, технологiї та обладнання в машино - i приладобудуваннi: Тез. доп. четвертої наук. - техн. конф. ТДТУ. - Тернопiль. - 2000. - С. 90.

АНОТАЦІЇ

Шадрiна Г.М. Математична модель мовного сигналу для біотехнічної системи реабiлiтацiї функцiй мовного апарату.- Рукопис.

Дисертацiя на здобуття наукового ступеня кандидата технiчних наук за спецiальнiстю 01.05.02 - математичне моделювання та обчислювальні методи.- Тернопiльський державний технiчний унiверситет iменi Iвана Пулюя,

Тернопiль, 2001.

Дисертацiю присвячено питанням математичного моделювання мовного сигналу (на прикладі голосного звуку [а]) для біотехнічної системи реабілітації функцій мовного апарату. На основі експериментальних даних обгрунтовано адекватність моделі мовного сигналу як періодично корельованого випадкового процесу (ПКВП) для задачі корекції мови людей з вадами слуху. В роботі розвинуто спектрально-кореляційний метод визначення інформативних ознак мовного сигналу на підставі застосування чисельних методів з використанням вікон для одержання значень спектральних компонент, що дало можливість побудувати критерій верифікації моделі. Виявлено, що пропонована модель мовного сигналу надає можливість здійснити побудову еталонного візуального навчального зображення для реабілітаційної системи. Обгрунтовано побудову структурної схеми реабілітаційної системи та означено умови для забезпечення її стійкості. Вироблено рекомендації щодо використання моделі для реабілітації функцій мовного апарату людей з вадами слуху. Основні результати роботи знайшли впровадження при корекції мови слабочуючих дітей та при дослідженні патологій мовного апарату.

Ключовi слова: мовний сигнал, математична модель, перiодично корельований випадковий процес, спектральнi компоненти, структура біотехнічної реабілітаційної системи, стiйкiсть.

Шадрина Г.М. Математическая модель речевого сигнала для биотехнической системы реабилитации функций речевого аппарата.- Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 01.05.02 - математическое моделирование и вычислительные методы. -Тернопольський государственный технический университет имени Ивана Пулюя, Тернополь, 2001.

Диссертация посвящена вопросам математического моделирования речевого сигнала (на примере гласного звука [a]) для биотехнической системы реабилитации функций речевого аппарата. К модели речевого сигнала выдвинуто требование, вытекающее из необходимости ее использования для обучения устной речи с задействованием органа зрения, - чтобы она отображала признаки речевого сигнала, не изменяющиеся (инвариантные) во времени, которые позволили б построить визуальное учебное изображение речевого сигнала. На основании экспериментальных данных для получения основных математических зависимостей было использовано описание речевого сигнала как колебания, в том числе и такого, в котором, наряду с повторяемостью, существенную роль играет случайность.

Для исследования был отобран речевой сигнал человека, который хорошо слышит и разговаривает, и произведен поиск информативной характеристики сигнала, инвариантной ко временному сдвигу. Так как во временных регистрограммах гласных звуков наблюдается периодичность, то при моделировании сигнала рассматриваем его как периодическую функцию. Математические модели колебаний в виде периодической и почти периодической функций позволяют описать закономерности речевого сигнала гласного звука с дискретным либо непрерывным спектром посредством представления их в некотором пространстве (гильбертовом - для детерминированных функций и стационарных случайных процессов и гильбертовом над гильбертовым - в случае нестационарного периодически коррелированного процесса). В этом случае в качестве информативных признаков сигнала использованы спектральные характеристики, значения которых получены посредством методов гармонического анализа, спектрального анализа и методов энергетической теории стохастических сигналов. В результате первичного описания получена совокупность моделей речевого сигнала.

Преимущество разложения за гармоническими функциями в том, что они - собственные функции оператора сдвига , что и обеспечивает их инвариантность. Использование спектральных характеристик предполагает описанее сигнала как елемента некоторого пространства, в котором определенным образом заданы норма и метрика. Адитивность “спектров” позволяет выполнять над ними арифметические действия. Наличие метрики позволяет оценить “близость” между спектрами текущего и желаемого (эталонного) сигналов для конкретного пациента при выбранной модели речевого сигнала и ввести порог различения в виде расстояния между двумя сдвинутыми во времени спектрами одного и того же сигнала (гласного звука [а]), что дает возможность произвести верификацию модели. Получив значения порогов различения для одного пациента при всех моделях из предложенной совокупности, выбираем ту модель речевого сигнала, для которой значение порога различения - минимальное и не зависит от момента отбора сигнала.

На основании экспериментальных данных обоснована адекватность модели речевого сигнала в виде периодически коррелированного случайного процесса (ПКСП) для задачи корекции речи людей с нарушением слуха. В работе разработан спектрально-корреляционный метод определения информативных признаков речевого сигнала на основании использования вычислительных методов с применением окон для получения значений спектральных компонент ПКСП.

Установлено, что предлагаемая модель речевого сигнала дает возможность осуществить построение эталонного визуального учебного изображения для реабилитационной системы. Разработано программное обеспечение для получения значений спектральных компонент. Обосновано построение структурной схемы реабилитационной системы и определены условия для обеспечения ее устойчивости. Разработаны рекомендации относительно использования модели для реабилитации функций речевого аппарата людей с нарушением слуха. Основные результаты работы внедрены при корекции речи детей с ослабленным слухом и при исследовании патологий речевого аппарата.

Ключевые слова: речевой сигнал, математическая модель, периодически коррелированный случайный процесс, спектральные компоненты, структура биотехнической реабилитационной системы, устойчивость.

Shаdrina H.M. Speech signal mathematical model for biotechnical system of speaking abilities reabilitation. - Manuscript.

Dissertation for the scientific degree of candidate of technical sciences in speciality 01.05.02. - Mathematical modelling and calculating methods.

- Ivan Pul’uj Ternopil State Technical University, Ternopil, 2001.

-

-