Реферат

на тему:

"Використання нейроної

мережі для прогнозування процесів"

Штучна нейронна мережа Хопфілда

Штучна нейронна мережа Хопфілда орієнтована на класифікацію К-вимірних двійкових кортежів. Вона складається з К нейроноподібних елементів, які зв’язані “кожен з кожним”, і зв’язки між елементами є симетричними – тобто вага tij зв’язку між елементами i та j дорівнює вазі tji, зв’язку між елементами j та i.

Мал. 31.2. Зв’язки між нейронами мережі Хопфілда: tij = tji

При обрахуванні виходу, який потім передається до усіх інших нейронів, нейрон мережі використовує порогову функцію МакКалока-Пітса з порогом 0. Якщо мережевий вхід більше порогу, або рівний йому, нейрон видає на вихід значення 1, інакше – значення 0.

У довільний момент часу кожен нейрон мережі може знаходитися у одному з двох станів – 0 чи 1, або, іншими словами, нейрон може бути “збудженим” чи “не збудженим”. Початковий стан мережі задається К-вимірним двійковим кортежем, кожен біт якого визначає стан відповідного нейрона. Можна казати, що у якості входу мережа приймає К-вимірний двійковий кортеж.

Кожен нейрон мережі пов’язаний з усіма іншими, тому необхідно чітко визначити послідовність подій у мережі: у який момент часу кожен нейрон обраховує свій мережевий вхід, використовуючи стани усіх інших нейронів, і вираховує свій новий стан, змінюючи тим самим значення, яке він подає на вхід усіх інших нейронів. Хопфілд постулював, що кожен нейрон перераховує власний стан випадково у часі, але із постійною середньою кількістю перераховувань за секунду. Такий спосіб функціонування можна називати несинхронізованим, або асинхронним.

Хопфілд розглядав мережу такого типу як пристрій, який за відомими еталонними, або "запам'ятованими" кортежами, міг би відновлювати частково відомі, або деяким чином пошкоджені кортежі. Таку мережу можна розглядати як асоціативну пам'ять: вона асоціює невідомий їй вхід з одним із запам'ятованих кортежів, і у якості виходу видає еталонний кортеж, який у деякому розумінні найбільш відповідає вхідному.

Хопфілд показав, що добитися такої поведінки можна задаючи ваги зв'язків між нейронами наступним чином: якщо, наприклад, a = ( a1 , a2 , … , ak ), b = ( b1 , b2 , … , bk ), c = ( c1 , c2 , … , ck ) - еталонні кортежі, які мережа має "запам'ятати", тоді ваги tij=tji, які пов'язують нейрони i та j, повинні дорівнювати

(2*ai-1)*(2*aj-1) + (2*bi-1)*(2*bj-1) + (2*ci-1)*(2*cj-1)

Якщо ваги зв'язків налаштовані таким чином, то при поданні на вхід мережі одного з еталонних кортежів - a, b чи c, - мережа "стабілізується", тобто який би з нейронів мережі не перераховував свій стан, його новий стан буде дорівнювати попередньому. Але якщо на вхід мережі надходить "невідомий" кортеж, то стани нейронів починають змінюватись. Цей процес продовжуватиметься до тих пір, поки мережа не попаде в такий стан, в якому вона стабілізується - тобто, її стан буде рівний одному з еталонних кортежів. Тоді вважається, що кортеж, який був поданий на вхід мережі, попадає у той клас, який визначається фінальним еталонним кортежем.

Експериментально показано, що існують істотні обмеження на кількість кортежів, які мережа може запам'ятати. Мережа з К нейронами може знаходитись у 2^K різних станах, але на практиці запам'ятовує не більш ніж 0.15*К кортежів. До того ж бажано, щоб еталонні кортежі були не дуже схожими між собою.

Наприклад [], при розпізнаванні літер необхідно розрізняти близько ста класів зображень – великі та малі літери, цифри, знаки пунктуації тощо. Отже, мережа повинна складатися не менш ніж з 700 нейронів (а бажано, набагато більше). Така мережа містить 7002 = 490000 зв’язків, її утримання потребує багато пам’яті, і стабілізація стану такої мережі може виявитися дуже довгою.

На відміну від мережі із поділом на шари, навчання якої є процесом ітеративним, і не завжди збіжним, мережа Хопфілда навчається обрахуванням ваг зв’язків за відомими еталонними кортежами. Це означає, що у довільний момент часу їх можна вирахувати знову – а отже, при моделюванні роботи мережі Хопфілда взагалі нема необхідності зберігати значення зв’язків між нейронами мережі. Але час роботи програми при цьому збільшується як мінімум на порядок.

Загальна схема зворотнього розповсюдження помилок

В найбільш загальних рисах, загальну схема навчання зі зворотним можна описати так, як це зроблено в [Змитр]:

Легко бачити, що описане вище дельта-правило можна розглядати як частковий випадок цієї загальної схеми. Але для методу зворотнього розповсюдження помилок у його загальному вигляді, який можна ефективно застосовувати для багатошарових нейронних мереж, необхідно окремо розглядати навчання нейронів у вихідному шарі та навчання нейронів у проміжних шарах [ ].

Використання модифікованої мережі Хопфілда при розвўязку задачі розпізнання

Поглянемо на розглянуту вже нами задачу розпізнання з іншої точки зору. Розпізнавання образів, тобто читання, є для людини традиційно найбільш зручним шляхом отримання нової інформації, навчання. Це пояснюється тим, що багато років звітування на папері було єдиним шляхом представлення результатів праці, передачі отриманих знань. У світі накопичено величезну кількість друкованої інформації, і для того, щоб її обробляти, людських можливостей у багатьох випадках не вистачає.

В такій постановці задача розпізнавання образів – є задачею, джерелом якої є сама людина, і з цієї точки зору її розв’язок потрібно будувати, відштовхуючись саме від моделювання