Реферати

Лабораторна робота: Нейронні мережі з радіальними базисними функціями

Дискусія про профспілки. Уведення 1 Позиції сторін кінець 1919 - середина 1920 1.1 Позиція "платформи Троцкого" - "индустриалисти" 2 Позиція "профессионалистов" - "робочої опозиції"

Заходу щодо відновлення платоспроможності і фінансове оздоровлення підприємства. ФЕДЕРАЛЬНЕ АГЕНТСТВО ПО УТВОРЕННЮ ФЕДЕРАЛЬНА ДЕРЖАВНА ОСВІТНЯ УСТАНОВА ВИЩОГО ПРОФЕСІЙНОГО УТВОРЕННЯ "РОСІЙСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ ТУРИЗМУ І СЕРВІСУ"

Логістика 6. МІНІСТЕРСТВО УТВОРЕННЯ І НАУКИ УКРАЇНИ ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ МОРСЬКИЙ УНІВЕРСИТЕТ Розрахунково-графічне завдання №1 "Оптимальне керування запасами на базі формули Уилсона, опції "Пошук рішення"

Етнопедиатрия. УВЕДЕННЯ ЕТНОПЕДИАТРИЯ - нова наука, що вивчає розходження в підходах виховання дітей у різних народів у різних країнах світу. Немовлята однакові в усьому світі, їхні рефлекси відточені мільйонами років еволюції, вони інстинктивно "знають", коли і скільки спати і є, яким образом "спілкуватися" з родителями і як повідомляти їм про свої бажання.

Оптимізація запитів SQL. Основні дані про роботу Версія шаблона Філія Вид роботи Курсова робота Назва дисципліни База даних Тема Оптимізація запитів SQL Прізвище студента

Міністерство освіти і науки Російської Федерації Федеральне агентство за освітою

Амурський гуманітарно-педагогічний державний університет

Фізико-математичний факультет

Кафедра інформатики

ЛАБОРАТОРНА РОБОТА №2

по дисципліні «Штучні нейронні мережі»

на тему «Нейронні мережі з радіальними базисними функціями»

2007

Введення

Мета лабораторної роботи: освоїти основні принципи рішення задачі нейронних мереж з радіальними базисними функціями.

Завдання: Використовуючи вбудовані функції пакету нейронних мереж математичної середи Matlab, побудувати нейронну мережу з радіальними базисними функціями.

1 Теоретичні зведення

Мережі РБФ мають ряд преимуществперед розглянутими багатошаровими мережами прямого поширення. По-перше, вони моделюють довільну нелінійну функцію за допомогою всього одного проміжного шара, тим самим, позбавляючи розробника від необхідності вирішувати питання про число шарів. По-друге, параметри лінійної комбінації у вихідному шарі можна повністю оптимізувати за допомогою добре відомих методів лінійної оптимізації, які працюють швидко і не зазнають труднощі з локальними мінімумами, що так заважають при навчанні з використанням алгоритму зворотного поширення помилки. Тому мережа РБФ навчається дуже швидко - на порядок швидше, ніж з використанням алгоритму ОР (зворотного поширення).

Нестачі мереж РБФ: дані мережі володіють поганими екстраполюючими властивостями і виходять вельми громіздкими при великій розмірності вектора входів.

На мал. 1 представлена структурна схема нейронної мережі з радіальними базисними функціями.

Нейронна мережа радіальних базисних функцій містить в найбільш простій формі три шари: звичайний вхідний шар, що виконує розподіл даних зразка для першого шара ваги; шар прихованих нейронів з радіально симетричною активаційною функцією, кожний j-й з яких призначений для зберігання окремого еталонного вектора у вигляді вектора ваги wj(h); вихідний шар

Для побудови мережі РБФ необхідно виконання наступних умов.

По-перше, наявність еталонів, представлених у вигляді вагових векторів нейронів прихованого шара. По-друге, наявність способу вимірювання відстані вхідного вектора від еталона. Звичайна ця стандартна евклидово відстань. По-третє, спеціальна функція активації нейронів прихованого шара, задаюча вибраний спосіб вимірювання відстані. Звичайно використовується функція Гаусса, що істотно посилює малу різницю між вхідним і еталонним векторами. Вихідний сигнал еталонного нейрона прихованого шара aj- це функція (гауссиан) тільки від відстані pj між вхідним і еталонним векторами.

Ріс.1. Мережа з радіальними базисними функціями

Таким чином, вихідний сигнал шаблонного нейрона - це функція тільки від відстані між вхідним вектором х і збереженим центром wv

Навчання шара зразків-нейронів мережі має на увазі попереднє проведення кластеризації для знаходження еталонних векторів і певних евристик для визначення значень -.

Нейрони прихованого шара сполучені по полносвязной схемі з нейронами вихідного шара, які здійснюють зважене підсумовування

Для знаходження значення ваги wот нейронів прихованого до вихідного шара використовується лінійна регресія.

У загальному випадку активаційні функції нейронів прихованого шара можуть відображати закони розподілу випадкових величин (ймовірностний нейронні мережі) або характеризувати різну аналітичну залежність між змінними (регресні нейронні мережі).

До нестач мереж РБФ можна віднести те, що зазделегідь повинне бути відоме число еталонів, а також евристики для побудови активаційних функцій нейронів прихованого шара.

У моделях РБФ можуть бути використані різні способи вимірювання відстані між векторами, а також функції активації нейронів прихованого шара.

Радіальна, базисна мережа загального вигляду - це двухслойная нейронна мережа сRвходами, кожний з яких може складатися з декількох елементів. Передавальною функцією нейронів вхідного шара є колоколообразная симетрична функція наступного вигляду:

Ця функція має максимум, равний1, приn = 0и плавно убуває при увеличенииn, досягаючи значения0.5приn = ±0.833. Передавальною функцією нейронів вихідного шара є лінійна функцияperelin.

Функція зважування для вхідного шара обчислює евклидово відстань між кожним рядком матриці ваги і кожним стовпцем матриці входів:

Потім ця величина множиться на зміщення нейрона і поступає на вхід передавальної функції, так що

а{i} = radbas(net.prod(dist(net.)(IW{1, 1}, р).)(net.b{i})).

Для нейронів вихідного шара функцією зважування є скалярне произведениеdotprod, а функцією накопичення - функція підсумовування зважених входів і зваженого смещенияnetsum.

Для того щоб зрозуміти поведінку радіальної базисної мережі загального вигляду, необхідно прослідити проходження вектора входар. При завданні значень елементам вектора входу кожний нейрон вхідного шара видає значення відповідно до того, як близький вектор входу до вектора ваги кожного нейрона. Таким чином, нейрони з векторами ваги, значно відмінними з вектором входар, будуть мати виходи, близьку к0, і їх вплив на виходи лінійних нейронів вихідного шара буде незначне. Навпаки, вхідний нейрон, ваги якого близькі до векторур, видасть значення, близьке до одиниці.

Для побудови радіальних базисних мереж загального вигляду і автоматичної настройки ваги і зміщень використовуються дві функцииnewrbeиnewrb. Перша дозволяє побудувати радіальну базисну мережу з нульовою помилкою, друга дозволяє управляти кількістю нейронів вхідного шара. Ці функції мають наступні параметри:

net = newrbe(Р, Т, SPREAD),

net = newrb(Р, Т, GOAL, SPREAD),

гдеP- масив размераRxQвходних векторів, причемR- число елементів вектора входу, аQ- число векторів в послідовності;

Т- масив размераSxQизQвекторов ланцюга иSклассов;

SPREAD- параметр впливу, що визначає крутизну функцииradbas, значення по умовчання якого дорівнює одиниці;

GOAL- середня квадратична помилка, при цьому значення за умовчанням равно0.0.

Параметр влиянияSPREADсущественно впливає на якість апроксимації функції: чим більше його значення, тим більше гладкою буде апроксимація. Дуже велике його значення приведе до того, що для отримання гладкої апроксимації функції, що швидко змінюється буде потрібна велика кількість нейронів: дуже мале значення параметраSPREADпотребует більшої кількості нейронів для апроксимації гладкої функції. Звичайно параметр влиянияSPREADвибирается більшим, ніж крок разбиения інтервалу завдання повчальної послідовності, але меншим розміру самого інтервалу.

Функцияnewrbeустанавліваєт ваги першого шара равнимP., а зміщення - равними0.8326/ SPREAD, в результаті радіальна базисна функція перетинає значение0.5 при значеннях евклидового відстані±SPREAD. Ваги другого слояLW{2,1}і смещенияb{2}визначати шляхом моделювання виходів першого слояA{1}і подальшого рішення системи лінійних рівнянь:

[LW{2,1} b{2}]*[А{1}; ones] = Спочатку перший шар не має нейронів. Мережа моделюється і визначається вектор входу з самої великою погрішністю, додається нейрон з функцією активацииradbasи вагою, рівною вектору входу, потім обчислюються вагові коефіцієнти лінійного шара, щоб не перевищити середньої допустимої квадратичної помилки.

2 Методика виконання лабораторної роботи

Задача. Використовуючи вбудовані функції пакету нейронних мереж математичної середи Matlab, побудувати нейронну мережу з радіальними базисними функціями.

Р = zeros(1,20);

for i = 1:20

Р(i) = i*0.1;

end

Т=[-2.09 -1.66 -1.06 -0.65 -0.25 0.10 0.56 0.85 1.07 1.16 1.52 1.63 1.78 2.07 2.09 2.10 2.12 2.17 2.21 2.31]

[net, tr] = newrb(Р, Т);

у = sim(net, Р);

figure (1);

hold on;

xlabel ('P');

ylabel ('T');

plot(Р, Т, Р, у,'o'), grid;

Робота мережі представлена на мал. 1

Форми навчання НС.

Існує три основні парадигми (форми) навчання нейроних мереж:

- навчання з вчителем

- навчання з критиком - посилене, підкріплене навчання;

- навчання без вчителя) - самоорганизующееся навчання, самообучение.

У першому випадку навчання здійснюється під спостереженням зовнішнього «вчителя». Нейронній мережі пред'являються значення як вхідних, так і бажаних вихідних сигналів, і вона по деякому внутрішньому алгоритму підстроює ваги своїх синаптических зв'язків.

У другому випадку навчання включає використання «критика», за допомогою якого проводиться навчання на основі методу проб і помилок.

У третьому випадку виходи нейронної мережі формуються самостійно, а ваги і зміщення змінюються по алгоритму, що враховує тільки вхідні і похідні від них сигнали. Тут за основу взяті принципи самоорганизації нервових кліток. Для навчання без вчителя не треба знання необхідних відповідей на кожний приклад повчальної вибірки. У цьому випадку відбувається розподіл зразків по категоріях (кластерам) відповідно до внутрішньої структури даних або міри кореляції між зразками.

Розглядають також і змішане навчання, при якому вагові коефіцієнти однієї групи нейронів настроюються за допомогою навчання з вчителем, а іншої групи - на основі самообучения.

Основні правила навчання нейронних мереж

Відомі чотири основних правила навчання, зумовлені пов'язаною з ними архітектурою мереж: корекція помилки, правило Больц-мана, правило Хебба і метод змагання.

1) Корекція помилки

Для кожного вхідного прикладу заданий необхідний вихід і, який може не співпадати з реальним у. Правило навчання при корекції по помилці складається у використанні різниці (з? - у) для зміни ваги, з метою зменшення помилки розузгодження. Навчання виготовляється тільки у випадку помилкового результату. Відомі численні модифікації цього правила навчання.

2) Правило Больцмана

Правило Больцмана є стохастичним правилом навчання, зумовленим аналогією з термодинамічними принципами. Внаслідок його виконання здійснюється настройка вагових коефіцієнтів нейронів відповідно до необхідного розподілу імовірностей. Навчання правилу Больцмана може розглядатися як окремий випадок корекції по помилці, в якому під помилкою розуміється розходження кореляцій станів в двох режимах.

3) Правило Хебба

Правило Хебба є самим відомим алгоритмом навчання нейронних мереж, суть якого полягає в наступному: якщо нейрони з обох сторін синапса збуджуються одночасно і регулярно, то сила синаптической зв'язку зростає. Важливою особливістю є те, що зміна синаптического ваги залежить тільки від активності пов'язаних цим синапсом нейронів. Запропонована велика кількість різновидів цього правила, ваги, що розрізнюється особливостями модифікації синап-тических.

4) Метод змагання

На відміну від правила Хебба, в якому безліч вихідних нейронів можуть збуджуватися одночасно, тут вихідні нейрони змагаються між собою. І вихідний нейрон з максимальним значенням зваженої суми є «переможцем» («переможець забирає все»). Виходи ж інших вихідних нейронів встановлюються в неактивний стан. При навчанні модифікуються тільки ваги нейрона - «переможця» у бік збільшення близькості наприклад даному вхідному.

До складу пакету ППП Neural Network Toolbox входить М, реалізуючий функцію активації з жорсткими обмеженнями.

Лінійна функція активацииpurelin. Ця функція описується співвідношенням, а = purelin(n) = n

Логистічеська функція активацииlogsig. Ця функція описується співвідношенням, а = logsig(n) = 1/(1 + ехр (-n)). Вона належить до класу сигмоидальних функцій, і її аргумент може приймати будь-яке значення в діапазоні від - до +, а вихід змінюється в діапазоні від 0 до 1. У пакеті

ППП Neural Network Toolbox вона представлена М.

Завдяки властивості дифференцируемости ця функція часто використовується в мережах з навчанням на основі методу зворотного поширення помилки.