іНСТИТУТ ПРОБЛЕМ Моделювання В ЕНЕРГЕТИЦі

НАН УКРАїНи імені г.е.пухова

Раід м. о. алькавасмі

УДК 007.159.955

когнітивний процесор діалогу на основі

об'єктних моделей сприйняття і уваги

Спеціальність 05.13.06 “Автоматизовані системи управління і прогресивні інформаційні технології”

АВТОРЕФЕРАТ

дисертації на здобуття вченого ступеня кандидата

технічних наук

Київ — 2005

Дисертація є рукописом.

Робота виконана на кафедрі “Інформаційні технології” Одеського державного екологічного університету міністерства освіти і науки України.

Науковий керівник кандидат технічних наук, доцент

кафедри “Інформаційні технології”

Одеського державного екологічного університету Чмир Ігор Олексійович

Офіційні опоненти:

доктор технічних наук, професор Широчин Валерій Павлович, Національний технічний університет "Київський політехнічний інститут".

кандидат фізико-математичних наук, старший науковий співробітник Горошко Іван Олегович, Інститут проблем моделювання в енергетиці НАН України.

Провідна організація:

Інститут кібернетики ім. В.М. Глушкова НАН України.

Захист відбудеться 19 квітня 2005 року о 14 годині на засіданні спеціалізованої вченої ради К 26.185.02 Інституту проблем моделювання в енергетиці НАН України за адресою: 03164, м. Київ, вулиця Генерала Наумова, 15.

З дисертацією можна познайомитися в бібліотеці Інституту проблем моделювання в енергетиці НАН України за адресою: 03164, м. Київ, вулиця Генерала Наумова, 15.

Автореферат розіслан 18 березня 2005 року.

Вчений секретар спеціалізованої вченої ради

к.т.н. Семагіна Е. П.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Протягом останніх десятиріч штучний інтелект перетворився з суто академічної дисципліни в напрям, що має багато успішних прикладів практичного впровадження. Найбільш успішне впровадження методів штучного інтелекту спостерігається в системах високоточної зброї, робототехніки (автономні роботи); в системах автоматизованого навчання (інтелектуальні тюторські системи, навчальні середовища з інтелектуальною підтримкою, інтелектуальні репетитори); в комп'ютерних іграх та ін. В публікаціях, присвячених прикладному аспекту штучного інтелекту, зустрічаються терміни “думаючі речі”, “системи вбудованого інтелекту” і їм подібні, підкреслюючи той факт, що йдеться про практично орієнтовані методи і системи. Якщо проаналізувати публікації, присвячені системам вбудованого інтелекту, то легко помітити, що побудова кожної системи, як правило, є приватним рішенням конкретної проблеми, і не спирається на загальний методологічний і теоретичний базис.

Підхід до когнітивних процесів з позицій інформаційної переробки, що припускає існування символьної системи ментального представлення інформації і процесів її модифікації, початок якому поклала робота Герберта Саймона "Гіпотеза фізичної символьної системи", змінив характер досліджень когнітивних процесів, і наблизив роботи в цій області до досліджень в області штучного інтелекту. Прикладом може служити проблематика розпізнавання образів і категоризації, активно досліджувана як в області когнітивних наук, так і фахівцями в області штучного інтелекту.

Дисертаційна робота належить напряму, що розглядає інтелектуальні системи з позицій симуляторів ментальних процесів, і присвячена дослідженню застосування формалізованих моделей феноменів сприйняття і уваги як теоретичної бази для проектування одного класу систем вбудованого інтелекту – систем, що базуються на еротематичному діалоговому процесі.

Зв'язок роботи з науковими програмами, планами, темами. Тема дисертаційної роботи відповідає науковому напрямку і планам кафедри інформаційних технологій Одеського державного екологічного університету. Робота виконувалася в рамках ряду проектів, в яких знайшли віддзеркалення результати, отримані в дисертаційній роботі:

§ Проект "Об'єктне моделювання когнітивних систем" (дослідження застосування методів об'єктно-орієнтованого моделювання і уніфікованої мови моделювання UML (Unified Modeling Language) для формалізованого уявлення і уніфікованого опису когнітивних процесів і систем);

§ Проект "Когнітивний процесор діалогу" (розробки інструментального середовища для генерації, зберігання і використання прикладних діалогових систем силами кінцевого користувача);

Мета і задачі досліджень. Вивчення результатів досліджень, опублікованих за темою когнітивного моделювання і моделювання діалогової взаємодії, дозволяє відзначити, що в області теорії і практики діалогових систем залишаються невирішеними наступні питання:

1.

2.

3.

4.

5.

6.

Метою дисертаційної роботи є розробка об’єктно-орієнтованих моделей когнітивних проесів сприйняття і уваги, їх інтеграція в єдину модель типу сприйняття-увага, та застосування одержаних результатів для проектування штучного діалогового агента.

Досягнення мети дисертаційної роботи здійснювалося шляхом рішення наступних задач:

§ Вивчення існуючих когнітивних моделей сприйняття і уваги, які беруть участь в діалоговому процесі, і їх класифікація.

§ Вивчення існуючих формалізованих моделей діалогової взаємодії двох агентів.

§ Розробка об’єктно-орієнтованих моделей сприйняття, що відображають базові гіпотези сприйняття.

§ Розробка об’єктно-орієнтованих моделей уваги, що відображають базові гіпотези уваги.

§ Розробка інтегрованих об’єктно-орієнтованих моделей типу сприйняття-увага.

§ Розробка когнітивної моделі діалогового процесу, що базується на отриманій раніше інтегрованій моделі типу сприйняття-увага.

§ Розробка когнітивної моделі штучного агента діалогу, що базується на отриманій раніше когнітивній моделі діалогового процесу.

§ Розробка і дослідження програмового прототипу когнітивної моделі діалогового агента.

Наукова новизна отриманих результатів. В дисертаційній роботі отриманий ряд нових наукових результатів:

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

Практичне значення отриманих результатів. В дисертаційній роботі отриманий ряд результатів, що мають практичне значення:

1.

2.

3.

4.

Особистий внесок здобувача полягає в аналітичному огляді публікацій за темою дисертації, розробці об’єктно-орієнтованих моделей сприйняття і уваги, синтезі, на їх основі когнітивної моделі еротематичного діалогового процесу двох агентів і когнітивної моделі штучного діалогового агента. Здобувачем розроблена також архітектура Когнітивного процесора діалогу, на основі якої розроблена програма прототипу і проведено експериментальне підтвердження правильності запропонованих теорій і моделей. Співавторам, спільно з якими були опубліковані основні результати роботи, належить, головним чином, постановка задачі дослідження.

Апробація результатів дисертації. Матеріали дисертаційної роботи доповідались на:

§ Четвертому міжнародному науково-методичному семінарі “Інформаційні технології в учбовому процесі” 25-28 червня 2003, Південно-український державний педагогічний університет ім. К.Д. Ушинського, Одеса

§ Міжнародної науково-технічної конференції ІМС’2003 “Інтелектуальні і багатопроцесорні системи” 22-27 вересня 2003, Дивноморське , Росія.

§ XXII Науково-технічної конференції “Моделювання” 9-10 січня 2003, Інститут проблем моделювання в енергетиці, Київ.

§ Міжнародної наукової конференції “Управління активними системами в бізнесі, освіті, техніці”, 2003, Черкаська академія менеджменту. Черкаси.

Публікації. Основний зміст роботи опублікований в 4 статтях в науково-технічних журналах і в 4 статтях в матеріалах конференції.

Обсяг роботи. Дисертаційна робота висловлена на 160 сторінках машинописного тексту, містить 31 малюнок і 13 таблиць, складається з вступу, чотирьох глав, висновків і списку літератури, що включає 101 найменування і 3 додатки.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі висловлена загальна характеристика роботи, актуальність проблеми, ціль і задачі дослідження і основні положення, які виносяться на захист.

В першому розділі проведений огляд публікацій, присвячених теоріям і моделям сприйняття і уваги, а також формальним моделям проблемно-залежного діалогу. Істотною частиною функціонування діалогової програми є перманентне спілкування з користувачем. Тому при розробці архітектури проблемно-незалежного діалогового агента важливим є її адекватність процесам сприйняття і переробки інформації людиною. В тому випадку, коли в основу формальної моделі діалогу покладені “вдалі” когнітивні моделі, можна чекати, що “штучні” діалогові агенти найбільш природним чином успадковують гнучкість і універсальність системи сприйняття і переробки інформації людиною.

Теорії сприйняття (перцепції) згруповані в теорії прямої перцепції і теорії непрямої перцепції.

Теорії прямої перцепції припускають, що сенсорна система продуктує інформацію, достатню для формування відповідних образів. Тому теорії прямої перцепції розглядають процес сприйняття як процес керований даними або висхідний процес. В розділі розглянута теорія прямої візуальної перцепції Гібсона, часто звана екологічним підходом до теорії сприйняття.

Теорії непрямої перцепції (конструктивність теорії) припускають, що сенсорна система виробляє лише первинну інформацію, яка необхідна, але не достатня для формування образів. Необхідні додаткова інформація і додаткові процеси для остаточного формування образів. Ці теорії розглядають процес сприйняття як процес, керований концептами або низхідний процес. В розділі розглянута основоположна теорія непрямої перцепції Гельмгольца. Описані експерименти Палмера, що досліджують зв'язок між сприйняттям і контекстом. Розглянута теорія Іттельсона, присвячена помилкам сприйняття, а також дослідження Грегорі, присвячені візуальним ілюзіям. Особлива увага надана теорії сприйняття Найссера, яка інтегрує висхідні і низхідні процеси в уніфікований цикл перцепції. Сприйняття переміщення є важливим елементом загальної теорії сприйняття. В розділі проведений огляд робіт Вертеймейера, присвячених дослідженням і теорії сприйняття переміщення.

В розділі приведена існуюча класифікація теорій і моделей уваги. Проте огляд публікацій в цій області присвячений, головним чином, моделям фільтрації уваги і ресурсним теоріям уваги.

Огляду моделей фільтрації уваги передує опис експериментів по дихотичному слуханню, результати яких послужили основою для розробки цих моделей. Описані експерименти Черрі і Бродбента. Приведений опис моделей сфокусованої слухової уваги Бродбента і Трейсман, а також модель сфокусованої візуальної уваги Трейсман.

Ресурсні моделі уваги представлені моделлю Канемана і результатами досліджень, пов'язаних з цією моделлю. Зокрема описаний закон Йеркса-Додсона, що зв'язує ступінь збудження з продуктивністю рішення ментальних задач.

Проблемно-залежні моделі діалогу представлені, головним чином, публікаціями радянських і українських дослідників.

В розділі зроблений огляд автоматних моделей діалогу, заснований на роботах: Кузіна С.Г., Сергієвського А.В., Амеліної Є.Г., Затуливітер Ю.С., Демідова Н.Н., Злочевської А.А., Форсюк Н.Г., Павлюка О.В., Россікова У.В. і ін. Окрім алгебраїчних версій автоматних моделей розглянуті також їх графічні версії представлені, головним чином, в публікаціях Кокоревої Л.В., Перевозчикової О.В., Ющенко Е.Л.

В розділі зроблений також огляд мережних моделей проблемно-залежного діалогу, в основі яких лежить концептуальний базис сітей Петрі. Ця частина огляду базується на публікаціях Павлова Ю.Б., Ракаліна А.В., Чмиря І.А.

Другий розділ присвячений об'єктному моделюванню процесів сприйняття і уваги, що є фундаментальними когнітивними процесами, що лежать в основі діалогу. Метою моделювання є отримання уніфікованого і формалізованого опису структур систем сприйняття і уваги, необхідної для синтезу Когнітивного процесора діалогу. В якості базового засобу моделювання вибрана формальна система UML (Unified Modeling Language).

На мал. 1 приведена запропонована модель структури системи сприйняття, отримана на основі теорії сприйняття Найссера і представлена у вигляді UML -діаграм класів.

Мал. 1. Модель системи сприйняття

Головними класами, що формують структуру системи сприйняття, є класи:

§ Когнітивний сценарій (CognitiveScript), що моделює довготривалу пам'ять, і є базовим для класів: природжений сценарій (NativeScrip) і благоздобутий сценарій (AcquiredScrip);

§ Чекаючий набір схем (RelevantSchemata), що є “молекулою” класу CognitiveScript, моделюючий сприйняття, очікувані на деякому кроці перцепції і є базовим для класів природжені схеми (NativeSchemata) і благоздобуті схеми (AcquiredSchemata);

§ Сенсорна подія (SensoryEvent), моделююча інформаційний образ сприйманого фрагмента середовища, що однозначно категоризується в одну з схем довготривалої пам'яті, і є базовим для класів візуальна подія (Visual) і звукова подія (Sound).

Два направлених відношення типу асоціація з іменами identification (ідентифікація) і renovation (оновлення) моделюють структурну можливість циклічного характеру перцепції. Атрибути і операції, що описують класи на мал. 1, відображають, головним чином, опубліковані характеристики циклу перцепції Найссера.

В розділі запропоновано також дві моделі сфокусованої уваги: модель, що базується на перемиканні сенсорних подій і модель, що базується на ослаблені сенсорних подій. Як когнітивні прототипи цих моделей вибрані теорії сфокусованої уваги Бродбента і Трейсмана, відповідно. Клас моделей, що базуються на послаблені сенсорних подій розглядається як розширення класу моделей, що базуються на перемиканні сенсорних подій. Головна особливість відзначених моделей полягає в тому, що навколишній світ розглядається як клас черг сенсорних подій (або сенсорних сегментів), а структура уваги будується по відношенню до двох класів сенсорних сегментів: рутинні сенсорні сегменти (RoutineSS) і підозрілі сенсорні сегменти (SuspiciousSS). Сприйняття рутинних сенсорних подій уривається при появі підозрілої події. Ознакою підозрілості є вхідний стимул “підозріло” високої або “підозріло” низької інтенсивності. Наприклад, гучний звук або звук підвищеної частоти для звукового стимулу; висока швидкість переміщення об'єкту в полі зору для зорового стимулу, і т.п. Введення відзначених класів сенсорних сегментів в структуру системи уваги привело до необхідності введення класу детекторів підозрілих сенсорних подій. На мал.2 приведена запропонована модель структури сфокусованої уваги, що базується на перемиканні сенсорних подій.

Діаграма класів, приведена на мал. 2, моделює випадок слухової уваги, тому класи, що моделюють сенсорну систему, представлені парами для лівого і правого слухових аналізаторів:

§ Клас правих черг сенсорних сегментів (RightQueueOfSS) і клас правих детекторів підозрілих подій (RightDetector), що моделює правий слуховий аналізатор;

§ Клас лівих черг сенсорних сегментів (LeftQueueOfSS) і клас лівих детекторів підозрілих подій (LeftDetector), що моделює лівий слуховий аналізатор;

Таким чином, структура, приведена на мал.2, моделює випадок, коли увага може фокусуватися на одному з двох потоків сенсорних сегментів, відповідних лівому або правому вуху. Клас управління фокусом уваги (AttentionFocusControl) управляє вибором одній із двох черг. Як видно на мал.2, цей клас асоційований з обома детекторами підозрілих подій. Клас релевантний сенсорний сегмент (RelevantSS) моделює поточний сенсорний сегмент з вибраної черги сенсорних подій, що піддається категоризації. Функції категоризації реалізуються класом Розпізнавач (Recognizer), що є зовнішнім, по відношенню до класу RelevantSS.

Мал 2. Модель системи уваги, що базується на перемиканні

сенсорних подій

В розділі обгрунтовані темпоральні характеристики сенсорних сегментів, які визначають умову надійного розпізнання. За допомогою запропонованих моделей сфокусованої уваги пояснені результати ключових експериментів по дослідженню сфокусованої слухової уваги: експеримент Черрі по слуханню двох різних текстових повідомлень, експеримент Черрі по розпізнаванню повідомлень в нерелевантному потоці і експеримент Бродбента з бінауральними списками цифр.

Окрім класу фильтр-ориєнтованих моделей уваги, в розділі запропонована, також, ресурсна модель уваги. Когнітивною основою ресурсної моделі уваги є теорія уваги Канемана. На першому етапі синтезу ресурсної моделі уваги здійснювалася трансформація концептуального базису теорії Канемана в концептуальний базис об'єктно-орієнтованого моделювання. Потім було прийнято декілька обмежень відносно самої моделі і навколишнього середовища: (1) навколишнє середовище розглядалося як постійно працюючий генератор ментальних задач; (2) увага розглядалася як тернарна асоціація між класами ментальних задач, сенсорних подій і схем довготривалої пам'яті. На мал. 3 приведена запропонована структура ресурсної моделі уваги.

Мал. 3 Ресурсна модель уваги

Як видно на мал. 3 основними класами структури ресурсної моделі уваги є класи: ментальна задача (MentalTask), сенсорна подія (SensoryEvent) і релевантна схема (RelevantSchemata). Сама увага, представлена класом Attention, моделюється тернарним відношенням типу асоціація між перерахованими класами.

В третьому розділі представлені результати інтеграції моделей, отриманих в другому розділі, і синтез на їх основі проблемно-незалежної діалогової системи, названої Когнітивний процесор діалогу.

Процес перцептивного дослідження середовища з метою пошуку сенсорної події, релевантної одній з схем в наборі чекаючих схем, є одним з етапів функціонування циклічної моделі сприйняття і припускає, що схеми з набору чекаючих схем послідовно порівнюються з сенсорними сегментами, які продуктуються сенсорною системою. Цей процес використовує механізм сфокусованої уваги для послідовної селекції сенсорних подій з навколишнього середовища. Відповідно до фильтр-ориєнтованих моделей, увага послідовно фокусується на чергах сенсорних сегментів, що моделюють потоки сенсорних подій. Для отримання структури інтегрованої циклічної моделі сприйняття з вбудованим фільтром уваги необхідно вирішити задачу об'єднання моделей, структури яких приведені на мал. 1 і мал. 2. Для цього, у свою чергу, необхідно: (1) узагальнити спеціалізовані фильтр-ориєнтовні моделі уваги на загальний випадок сприйняття; (2) визначити класи, що є загальними для фильтр-ориєнтовних моделей уваги і циклічної моделі сприйняття. В результаті рішення відзначеної задачі була синтезована циклічна модель сприйняття, інтегрована з моделлю фільтрації уваги, структура якої приведена на мал. 4

Модель сприйняття, приведена на мал. 4, припускає, що навколишній світ представлений n чергами сенсорних сегментів (QueueOfSS_1, QueueOfSS_2 .., QueueOfSS_n). Клас сенсорних сегментів (SensorySegment) ділиться на: клас Рутинних сегментів (RoutineSS), і клас Підозрілих сегментів (SuspiciousSS).

Фокусування уваги на сенсорному сегменті означає, що він може бути розпізнаний і, потім, ідентифікований з однією з схем з чекаючого набору схем. Відзначена ідентифікація здійснюється в процесі перцептивного дослідження навколишнього середовища, при якому увага, перемикаючись між чергами сенсорних сегментів, забезпечує їх послідовне порівняння з схемами з поточного чекаючого набору схем. Виявлення одного із очікуваних сенсорних подій приводить до заміни поточного набору чекаючих схем на новий набір схем.

Поява, в одній із зовнішніх сенсорних подій, ознаки підозрілої сенсорної події детектує одним з детекторів. В моделі передбачено тільки два детектори: AuditoryDetector і VisualDetector, для слухового і зорового аналізаторів відповідно. “Спрацьовування” одного з детекторів приводить до переривання сприйняття поточного потоку рутинних сенсорних подій і фокусування уваги на підозрілій сенсорній події (сенсорному сегменті).

Як показано в третьому розділі, ресурсна модель уваги може розглядатися як наступний крок в розвитку фильтр-ориєнтовних моделей уваги. Узагальнення полягає, головним чином, в тому, що механізм уваги розглядається не стільки як засіб, що забезпечує безперервну перцепцію навколишнього світу, а, швидше, як засіб рішення ментальних задач. В цьому значенні навколишній світ повинен розглядатися не як множина потоків сенсорних подій, а як множина потоків ментальних задач. Кожна ментальна задача є: (1) релевантна сенсорна подія або декілька сенсорних подій, що генеруються сенсорною системою, і (2) релевантна схема, що генерується когнітивним сценарієм.

Мал. 4. Циклічна модель сприйняття-увага на базі

фильтр-ориєнтовної моделі уваги

В роботі виказано припущення про зв'язок акомодації схеми з усвідомленим або неусвідомленим (автоматичним) процесом рішення задачі. Для вирішення ментальної задачі необхідно “поєднання” релевантної сенсорної події з релевантною схемою, проте при автоматичному рішенні задачі схема не піддається акомодації. При усвідомленому рішенні ментальної задачі також необхідне “поєднання” релевантної сенсорної події і релевантної схеми. Проте, при усвідомленому рішенні ментальних задач схема змінюється, або піддається акомодації. Для того, щоб схема могла бути піддана акомодації, або змінена, вона повинна бути переведена в особливий стан, який для визначеності назвемо станом активності. Перевести схему в активний стан може тільки механізм уваги. Таким чином, усвідомлено розв'язуються ті задачі, на яких сфокусований механізм уваги.

Оскільки ми розглядаємо ресурсну модель уваги як подальший розвиток фильтр-ориєнтованої моделі, то структура циклічної моделі сприйняття-увага на базі ресурсної моделі уваги може розглядатися як розвиток структури моделі сприйняття-увага, на базі фильтр-ориєнтованої моделі уваги.

На мал. 5 приведена діаграма класів, що моделює структуру циклічної моделі сприйняття-увага на базі ресурсної моделі уваги.

На першому етапі синтезу когнітивного процесора діалогу була розроблена теорія сенсорної події в діалоговому процесі.

У разі штучного діалогу полімодальні сенсорні події генеруються віртуальним середовищем, представленим комплектом стандартного периферійного устаткування комп'ютера і відповідним програмним забезпеченням. Тому, у разі штучного діалогового процесу, діалоговий агент сприймає один потік сенсорних подій, на якому, тривалий час, сфокусована його увага. Ясно, що увага агента-людини може бути перемкнута із сприйняття віртуального середовища на сприйняття реального середовища, наприклад, у тому випадку, коли реальне середовище генерує підозрілу сенсорну подію.

Будемо полімодальну сенсорну подію штучного діалогового процесу називати сценою. Сцена є впорядкованою послідовністю об'єктів, що послідовно інтерпретуються відео- і аудіо підсистемами комп'ютера. Діаграма класів на мал. 6 моделює пропоновану структуру сцени.

В загальному випадку, об'єкт сцени (екземпляр класу SceneObj) є довільною, плоскою фігурою, обмеженою замкнутою лінією.

Цього достатньо для формування як двомірного, так і тривимірного зображення. Проте, оскільки сцени більшості прототипів прикладних діалогових систем можуть бути представлені набором прямокутників, що перекриваються, будемо вважати, що об'єкт сцени є прямокутником довільного розміру, що генерується в довільній точці екрану монітора.

Мал. 6 Модель сцени

Об'єкти сцени генеруються послідовно, і протягом деякого відрізка часу, формують сенсорну подію. Наступній об'єкт може розташовуватися в довільній точці екрану монітора, у тому числі перекривати попередній об'єкт.

Об'єкт сцени складається з двох класів, що моделюють структурно різнорідні групи описувачів: атрибутивні описувачі об'єкту сцени (клас Attributed) і неатрибутивні описувачі об'єкту сцени (клас NonAttr).

Будь-який об'єкт сцени будемо описувати сукупністю атрибутів, що характеризують його відео- і аудіо- специфіку, поведінку на сцені і час існування. Відзначені атрибути розподілені між класами: Frame, Content, Effects, Movement і LifeCycle. Проте представлення об'єкту сцени виключно у вигляді набору атрибутів можливо лише для найпростіших об'єктів. Для випадку складних об'єктів атрибутивний опис необхідно доповнювати даними, які неможливо або нераціонально розкладати на атрибути. Будемо такий опис називати неатрибутивним.

В розділі показано, що неатрибутивний опис відповідає інформації, що поступає безпосередньо від прототипу. Під прототипом будемо розуміти якусь сенсорну подію навколишнього середовища, на основі якої будується опис об'єкту сцени. Наприклад, фотографічне зображення або музична мелодія.

Атрибутивний опис формується в результаті інтелектуальної діяльності людини. Або в результаті аналізу існуючого прототипу, або в процесі "придумування" неіснуючого об'єкту. В розділі приведений докладний перелік атрибутів об'єкту сцени, використаний при програмуванні прототипу.

Діалоговий процес, по відношенню до агентів діалогу, аналогічний процесу рутинної перцепції навколишнього середовища. Відмінність полягає в том, що в процесі діалогу головні компоненти сенсорної системи людини (зоровий і слуховий аналізатори) “підключені” не до природного навколишнього середовища, а до середовища, сформованого потоками сенсорних подій, що генеруються протилежним агентом. Таким чином, в діалоговому процесі реальне навколишнє середовище підміняється штучним середовищем, представленим сценарієм перцепції агента діалогу. Проте сприйняття і подальша переробка сенсорних подій, що генеруються агентом, або породжуються природним навколишнім середовищем, здійснюється за одними і тими ж когнітивними “правилами і законами”. Таким чином, структура діалогової системи може бути представлена двома взаємодіючими агентами діалогу, кожний з яких моделюється моделлю сприйняття-увага на базі ресурсної моделі уваги, приведеної на мал. 5. Об'єкти класу RelevantSS репрезентують навколишнє середовище і по черзі генеруються агентами діалогу. Очевидно, що для деякого моменту еротематичного діалогу можливий різний статус агентів по відношенню до об'єкту класу RelevantSS. Активний агент генерує об'єкти класу RelevantSS, що мають логічну структуру питання, а реактивний агент генерує об'єкти того ж класу, що мають логічну структуру відповіді.

В процесі діалогової взаємодії активний агент впливає на реактивного агента так, щоб в подальший момент сприйняти очікувану (бажану) порцію сенсорної інформації. Ясно, що відзначена дія активного агента на реактивного може здійснюватися тільки шляхом генерації відповідної сенсорної події.

Отриману структуру діалогової системи використовуємо для синтезу програмної системи, названої когнітивний процесор діалогу. Когнітивний процесор діалогу – це програмна система, спроектована на основі когнітивної моделі сприйняття-увага, і дозволяюча кінцевому користувачу генерувати, редагувати і використовувати проблемно-залежні діалогові додатки.

Структура когнітивного процесора діалогу приведена на мал. 7.

Мал. 7. Модель когнітивного процесора діалогу

Структура синтезована виходячи з наступних припущень. По-перше, прийнято, що в штучному діалоговому процесі, когнітивний процесор грає роль активного агента діалогу. Оскільки когнітивний процесор симулює тільки одного з агентів, то замінимо структуру другого з них на систему з ім'ям DialogueAgent. Змінимо, введені раніше, найменування класів, використовуючи терміни, прийняті в публікаціях, присвячених проблемно-незалежним діалоговим системам, і які більш точно відображають семантику еротематичної діалогової системи. Оскільки когнітивний процесор діалогу грає роль активного агента, то семантика класу RelevantScemata дещо міняється. В початковій моделі цей клас моделював множину чекаючих схем для даного циклу перцепції. У разі еротематичного діалогу активний агент на кожному циклі діалогу чекає одну з відповідей реактивного агента. Таким чином, для активного агента еротематичного діалогу множина чекаючих схем є не чим іншим як множиною чекаючих відповідей реактивного агента.

В четвертому розділі завершений синтез архітектури когнітивного процесора діалогу і здійснено занурення отриманої архітектури в середовище мови програмування Java з урахуванням можливості запозичення наявних класів і інтерфейсів.

Завершення синтезу архітектури когнітивного процесора діалогу полягало в розробці структури сценарію діалогу, виходячи з того, що крок діалогу є поведінковою і структурною “молекулою” сценарію. На мал. 8 приведена модель структури сценарію когнітивного процесора діалогу.

Мал. 8. Модель структури сценарію

UML є формальною системою, що дозволяє специфікувати програму в об'єктно-орієнтованому концептуальному базисі. Специфікації системи, представлені в UML, істотно скорочують семантичний розрив між постановкою задачі і процесом виготовлення програмного продукту. Проте, UML не ліквідовує повністю відзначений семантичний розрив.

Конкретне об'єктно-орієнтоване середовище програмування, окрім загального, для всіх об'єктних систем програмування, концептуального базису включає своє специфічне розширення. Тому, теоретично синтезована структура когнітивного процесора діалогу, повинна бути піддана деякій трансформації, після вибору конкретного середовища програмування. Ми назвали цей процес зануренням архітектури когнітивного процесора діалогу в середовище програмування. Головні задачі, які доводиться вирішувати в процесі занурення архітектури системи в середовище програмування, зв'язані: (1) з рівномірним розподілом складності між класами (бажано, щоб складність класів була приблизно однакова); (2) виключенням дублювання функцій декількома класами; (3) запозиченням готових інтерфейсів, класів і компонентів, пропонованих системою програмування.

Для програмної реалізації прототипу вибрано середовище програмування мови Java, головним чином із наступних причин: мова програмування Java найбільш близька до об'єктної концепції, представленою UML, мова програмування Java (пакет JDK 1.5.0) є мовою програмування додатків Internet, мова програмування Java є платформо-незалежною.

Сцена є однією з ключових елементів архітектури когнітивного процесора діалогу. Особливості реалізації сцени визначають побудову всього сценарію. Тому занурення архітектури процесора діалогу в середовище програмування Java доцільно почати з сцени, структура якої приведена на мал. 6.

Аналіз діаграми, приведеної на мал. 6, приводить до висновку, що її безпосередня реалізація в середовищі JDK 1.5.0 скрутна, і вимагає перегляду, з погляду Java-програміста.

П р о с т о р о в о – ч а с о в і р а м к и

Аналіз структури сцени, приведеної на мал. 6, дозволяє зробити висновок, що атрибутивні описувачі об'єкту сцени можуть мати статус обов'язкових і необов'язкових. Так, наприклад, необов'язково, щоб кожний об'єкт, після появи на сцені, брав участь в переміщенні, проте кожний об'єкт обов'язково має висоту і ширину. Доцільно включити обов'язкові атрибути і, супутні ним операції, безпосередньо в клас SceneObj. Віднесемо до обов'язкових атрибутів, атрибути, задаючі просторово-часові рамки об'єкту. В нашому випадку – це координата базової координати, висота, ширина і тимчасові характеристики об'єкту. По суті, йдеться про об'єднання двох класів: Frame і LifeCycle в один клас. Назвемо цей клас SceneObjFrame. Клас SceneObjFrame є рамковим обмеженням об'єкту сцени в чотиривимірному просторі-часу. Ухвалене рішення добре узгоджується з ідеєю просторово-часових рамок мультимедійних об'єктів, відображеною в стандарті MPEG4. Це рішення дозволяє також скористатися стандартними компонентами на базі стандартної графічної бібліотеки javax.swing*. Бібліотека javax.swing* вибрана унаслідок функціональності підмножини цієї бібліотеки, що забезпечує наступні можливості: (1) позиціонування, (2) маніпулювання, (3) оформлення за допомогою графічного компоненту JPanel, (4) генерацію подій, починаючи із заданого інтервалу і із заданою частотою (клас javax.swing.timer), (5) завантаження і маніпулювання вмісту об'єкту сцени (текстового, графічного і т.п.) за допомогою компонентів JEditorPane, JtextArea, Image, ImageIcon і т.п.

Оскільки клас SceneObjFrame підтримує обов'язкові атрибути об'єкту сцени, то доцільно розглядати його як внутрішній, для класу SceneObj.

П і д т р и м к а з в у к а

Аналіз структури сцени на мал. 6, знаходить деякий алогізм і надмірність відносно підтримки звукової складової об'єкту сцени. В структурі є два класи, відповідальні за підтримку звуку: клас SoundAttr, що є субкласом класу Attributed, і клас SoundEffects, що є субкласам класу Effects. Доцільно зібрати всі функції по підтримці звуку в один клас. Відзначимо, що в приведеному прототипі не реалізована підтримка звуку. Це рішення було ухвалено з метою спрощення програми, покликаної продемонструвати можливість практичної реалізації, отриманих теоретичних рішень, і не є комерційним продуктом.

К л а с B u f f e r

Як випливає із запропонованої теорії представлення сенсорної події в діалоговому процесі, вмістом об'єкту сцени може бути текст або графічне зображення. Конкретний вид вмісту об'єкту сцени специфікувався класом Content. Для підтримки інтерпретації і редагування вмісту об'єкту сцени доцільно скористатися компонентами, що є в бібліотеці javax.swing*, які забезпечують роботу з буфером введення-виведення. В цьому випадку в структуру системи вводиться клас Buffer, замість класу Content, що розглядається як внутрішній по відношенню до класу SceneObj. Клас Buffer є базовим по відношенню до класів Text, Image, і VectorGraph, відповідальним за роботу з текстом, растровою і векторною графікою відповідно.

Р е д а г у в а н н я а т р и б у т і в і з м і с т у о б’ є к т а с ц е н и.

Об'єкт сцени повинен легко редагуватися, в процесі генерації сцени і експлуатації діалогової системи. Будемо вважати, що методи, які здійснюють редагування, як атрибутів, так і змісту об'єкту розподілені між класами, що забезпечують підтримку відповідних атрибутів або змісту. Наприклад, клас SceneObjFrame повинен містити методи, що забезпечують редагування місцеположення і розміри об'єкту, а клас Text включає набір методів, що забезпечують редагування тексту. Для забезпечення редагування силами кінцевого користувача кожний з відзначених методів працює через загальновживаний інтерфейс, що викликається правою кнопкою маніпулятора типу миша.

На мал. 9 приведена діаграма класів, що моделює структуру об'єкту сцени, занурену в середовище програмування Java. Як видно на мал. 9, в результаті занурення архітектури об'єкту сцени в середовище програмування Java, центральним класом діаграми став клас SceneObj. Цей клас вже не має так багато явних спадкоємців, проте об'єднує класи діаграми за допомогою спеціалізованих асоціативних відносин: з класом SceneObjFrame; з класом Buffer.

Мал. 9. Діаграма класів сцени, занурена в середовище

програмування Java

У розділі описаний прототип когнітивного процесора діалогу. Початкові тексти програм приведені в додатку.

ВИСНОВКИ

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

Список опублікованих автором праць за темою

диСсертації

1.

2.

3.

4.

5.

6.

7.

8.

9.

АНОТАЦІЯ

Раід М. О. Алькавасмі. Когнітивний процесор діалогу на основі об'єктних моделей сприйняття і уваги. — Рукопис.

Дисертація на здобуття вченого ступеня кандидата технічних наук по спеціальності 05.13.06 - автоматизовані системи управління і прогресивні інформаційні технології. — Інститут проблем моделювання в енергетиці ім. Г.Е. Пухова НАН України, Київ, 2004.

Дисертація присвячена питанням об'єктно-орієнтованого моделювання фундаментальних когнітивних процесів, що лежать в основі діалогу і використанні отриманих моделей при розробці проблемно-залежної програмної системи