Реферати

Реферат: Огляд і аналіз нейросетей

Базарів і герої Н. Чернишевського.. Базарів і герої Н. Чернишевського. Автор: Тургенєв И. С. Романи "Батьки і діти" Тургенєва і "Що робити?" Чернишевського були написані в один час. Це була епоха підйому разночинного руху, період дії. 60-і роки XIX століття стали для Росії кризовими і, можна сказати, майже революційними. Ця епоха не могла не знайти відображення в літературі того часу.

Дидактичний тест. Нові технології в навчальному процесі вищої школи передбачають, зокрема, і тестовий контроль знань студентів. Достоїнство тестів полягає в тому, що вони дозволяють здійснити усе найбільш важливі функції процесу навчання: організуючу, навчальну, розвиваючу. Більш того, тестовий контроль має значні переваги перед іншими технологіями навчання.

Що таке опера. Що таке опера? Автор: Твору на вільну тему Опера - це музичний жанр, а точніше вокально-театральний жанр музики. Чому вокально-театральний? Тому що, оперу можна назвати театральним представленням. В опері є актори, що грають свої ролі, вони надягають костюми, що допомагають довідатися глядачу героїв, на сцені розташовуються декорації.

Толстой уривки зі статті Неминучий переворот. Лев Миколайович Толстой Уривки зі статті 'Неминучий переворот' Толстой Лев Миколайович Уривки зі статті 'Неминучий переворот' Лев Толстої Уривки зі статті "НЕМИНУЧИЙ ПЕРЕВОРОТ"

Ринок праці і людський капітал фірми. Калінінградський Державний Технічний Університет Кафедра Економічної Теорії Курсова робота з економічної теорії на тему: "Ринок праці і людський капітал фірми"

Введення

При сучасному рівні розвитку техніки, коли навіть побутові прилади оснащуються микропроцессорними пристроями, все більш актуальним стає розробка нових систем автоматичного управління.

Але в зв'язку із зростаючою складністю об'єктів управління і із збільшенням вимог до систем управління за останнє десятиріччя різко підвищилася необхідність в створенні більше за точні, більш надійні системи управлінні, що володіють великими функціональними можливостями.

Інтелектуальні системи на основі штучних нейронних мереж (ИНС) дозволяють з успіхом вирішувати проблеми ідентифікації і управління, прогнозування, оптимізації. Відомі і інші, більш традиційні підходи до розв'язання цих проблем, однак вони не володіють необхідною гнучкістю і мають істотні обмеження на середу функціонування.

Нейронні мережі дозволяють реалізувати будь-який необхідний для процесу нелінійний алгоритм управління при неповному, неточному описі об'єкта управління (або навіть при відсутності опису), створювати м'яку адаптацію, що забезпечує стійкість системі при нестабільності параметрів.

ИНС можуть застосовуватися для різних задач: апроксимація функцій, ідентифікація, прогнозування, управління, класифікація образів, категоригизация, оптимізація.

Широке коло задач, що вирішується НС, не дозволяє в цей час створювати універсальні, могутні мережі, вимушуючи розробляти спеціалізовані НС, функціонуючі по різних алгоритмах.

У даній роботі розглядається можливість застосування штучної нейросети регулятора. Проблема синтезу нейросетевих регуляторів розглядається з двох позицій, а саме: прямі методи синтезу і непрямі методи синтезу нейросетевих систем управління. У цьому випадку розглядаються прямі методи синтезу нейросетевих регуляторах спільно з спостерігаючими пристроями.

1. Огляд і аналіз нейросетей

Штучні нейронні мережі набули широкого поширення за останні 20 років і дозволили вирішувати складні задачі обробки даних, часто значно перевершуючи точність інших методів статистики і штучного інтелекту, або будучи єдино можливим методом рішення окремих задач. Нейронні мережі (НС) успішно застосовуються в самих різних областях - бізнесі, медицині, техніці, геології, фізиці. Такий вражаючий успіх визначається декількома причинами: НС - виключно могутній метод моделювання, що дозволяє відтворювати надзвичайно складну залежність; вони нелінійні за своєю природою і крім того, нейронні мережі справляються з проблемою розмірності, яка не дозволяє моделювати лінійну залежність у разі великого числа змінних.

1.1 Властивості нейронних мереж

Безперечне, що технічні засоби, побудовані на тих же принципах, що і біологічні нейронні мережі, володіють рядом схожих властивостей. До таких властивостей відносяться:

- масовий параллелизм,

- розподілене представлення інформації і обчислення,

- здібність до навчання і здібність до узагальнення,

- адаптивность,

- властивість контекстуальной обробки інформації,

- толерантність до помилок,

- низьке енергоспоживання.

Можна виділити основні ідеї, лежачі в основі нейронних мереж і нейромоделирования:

 Нейросеть відтворює структуру і властивості нервової системи живих організмів: нейронна мережа складається з великого числа простих обчислювальних елементів (нейронів) і володіє більш складною поведінкою в порівнянні з можливостями кожного окремого нейрона. Нейросеть отримує на вході набір вхідних сигналів і видає відповідну ним відповідь (вихідні сигнали нейросети), що є рішенням задачі.

 Штучна нейросеть, як і природна біологічна нейронна мережа, може навчатися рішенню задач: нейросеть містить внутрішні адаптивні параметри нейронів і своєї структури, і міняючи їх, може міняти свою поведінку.

 Місце програмування займає навчання, тренування нейронної мережі: для рішення задачі не треба програмувати алгоритм.

 Нейронна мережа навчається рішенню задачі на деякому "підручнику" − наборі ситуацій, кожна з яких описує значення вхідних сигналів нейросети і необхідний для цих вхідних сигналах відповідь. "Підручник" задає набір еталонних ситуацій з відомими рішеннями, а нейронна мережа при навчанні сама знаходить залежність між вхідними сигналами і відповідями.

Апаратна реалізація ИНС - нейрокомпьютер - має істотні відмінності (як по структурі, так і по класу задач, що вирішуються ) від обчислювальних машин, виконаних відповідно до традиційної архітектури фон Неймана. Порівняльні характеристики нейрокомпьютеров і традиційних комп'ютерів і традиційних комп'ютерів приведені в таблиці 1.1

Таблиця 1.1 Порівняльні оцінки традиційних ЕОМ і нейрокомпьютеров.

Категорії

порівняння

ЕОМ традиційної

архітектури

Нейрокомпьютер

Процесор

Складний

Високошвидкісний

Один або трохи

Простіший

Нізкоськоростной

Велика кількість

Пам'ять

Відділена від процесора

Локалізована

Адресація не за змістом

Інтегрована в процесор

Розподілена

Адресація за змістом

Обчислення

Централізовані

Послідовні

програми,

що Зберігаються Розподілені

Паралельні

Самообученіє

Надійність

Висока уразливість

Живучість

Спеціалізація

Чисельні і символьні операції

Проблеми сприйняття

Середа

функціонування

Суворо визначена

Суворо обмежена

Без обмежень

1.2 Області застосування нейронних мереж

Штучні нейронні мережі в цей час широко використовуються при рішенні самих різних задач і активно застосовуються там, де звичайні алгоритмічні рішення виявляються неефективними або зовсім неможливими. У числі задач, рішення яких довіряють штучним нейронним мережам, можна назвати наступні: розпізнавання текстів, системи безпеки і відео-спостереження, автоматизація процесів розпізнавання образів, адаптивне управління, апроксимація функционалов, прогнозування - і це далеко не все. З допомогою нейросетей можна виконувати розпізнавання оптичних або звукових сигналів. Апаратні реалізації ИНС ідеально підходять для рішення задач ідентифікації і управління, оскільки забезпечують, завдяки паралельній структурі, надзвичайно високу швидкість виконання операцій.

Описані можливості в основному відносяться до шаруватих нейронних мереж, що навчаються алгоритмом зворотного поширення, і зростаючим нейронним мережам на основі варіантів алгоритму каскадної кореляції. Але існують і інші класи нейронних мереж − нейросети асоціативної пам'яті, нейросети для квантування даних, стиснення даних шляхом побудови головних незалежних компонент, нейронні мережі для розділення суміші сигналів і інш. Т. е. коло задач, що вирішуються нейронними мережами, дуже і дуже широкий, оскільки широкий і сам набір нейросетевих алгоритмів.

1.3 Класифікація нейронних мереж

Існує широкий спектр досить універсальних способів організації інструментальних засобів і власне процесу застосування нейронних мереж на різній програмно-апаратній базі. Завжди можна підібрати найбільш оптимальний для деякої задачі − все визначається властивостями задачі і вимогами до рішення.

Однак застосування нейросетей ускладняється рядом причин. Не можна вигадати яку то одну універсальну ИНС, яка б підійшла для різних типів задач. Нейросети використовують в двох варіантах:

1) Будується нейросеть, вирішальна певний клас задач,

2) Під кожний примірник задачі будується деяка нейросеть, що знаходить квази-оптимальне рішення цієї задачі.

Існують декілька видів нейросетей. Їх класифікація представлена на малюнку 1.1

Малюнок 1.1 Класифікація ИНС

Найбільш поширеним сімейством мереж прямої дії є багатошарові персептрони, в них нейрони розташовані шарами і сполучені однонаправленними зв'язками, що йдуть від входу до виходу мережі. Мережі прямої дії є статичними в тому значенні, що на заданий вхід вони виробляють одну сукупність вихідних значень, що не залежать від попереднього стану мережі.

Рекурентний мережі є динамічними, оскільки внаслідок зворотних зв'язків в них модифікуються входи нейронів, що приводь до зміни стану мережі. Поведінка рекурентний мереж описується диференціальними або різницевими рівняннями, як правило, першого порядку. Це набагато розширює області застосування нейросетей і способи їх навчання. Мережа організована так, що кожний нейрон отримує вхідну інформацію від інших нейронів, можливо, і від самого себе, і від навколишнього середовища.

Так само можна виділити два основних підходи до реалізації нейросетей: цифровий і аналоговий. Перевагою аналогових реалізацій є: висока швидкодія, надійність і економічність. Однак сфера можливого масового використання аналогових нейрочипов, що навчаються досить вузька. Це зумовлене великою складністю апаратної реалізації високоефективних повчальних алгоритмів і необхідністю спеціальної підготовки потенційних користувачів для оптимальної організації адаптивного процесу. У той же час широке поширення можуть отримати навчені аналогові нейрокомпьютери (нейросети) з фіксованою або структурою зв'язків, що трохи підстроюється - нейропроцессори.

Задача створення нейропроцессоров зводиться до навчання цифрової нейросетевой моделі потрібній поведінці на звичайному цифровому комп'ютері.

Мережі також можна класифікувати по числу шарів. У цьому випадку важливу роль грає нелинейность активаційної функції, оскільки, якби вона не володіла даною властивістю або не входила в алгоритм роботи кожного нейрона, результат функціонування любойn- слойной нейронної мережі зводився б до перемноження вхідного вектора сигналівφ на матрицю вагових коефіцієнтів. Тобто фактично така нейронна мережа еквівалентна однослойной нейросети з ваговою матрицею єдиного слояW. Крім того, нелинейность іноді вводиться і в синаптические зв'язку.

1.4 Структура і принципи роботи нейронної мережі

Як модель нейрона був вибраний бінарний пороговий елемент, обчислюючий зважену суму вхідних сигналів і формуючий на виході сигнал величини 1, якщо ця сума перевищує певне порогове значення, і 0 - в іншому випадку. До теперішнього часу дана модель не зазнала серйозних змін. Були введені нові види активаційних функцій. Структурна модель технічного нейрона представлена на малюнку 1.3

Малюнок 1.3 Формальна модель штучного нейрона

На вхід штучного нейрона поступає деяка безліч сигналів, кожний з яких є виходом іншого нейрона, або вхідним сигналом нейросетевой моделі. Кожний вхід множиться вагою відповідну, аналогічний синаптической силі біологічного нейрона. Вага визначає, наскільки відповідний вхід нейрона впливає на його стан. Всі твори підсумовуються, визначаючи рівень активації нейрона s. Стан нейрона визначається по формулі.,

(1.1)

деφ- безліч сигналів, що поступають на вхід нейрона,

wi- вагові коефіцієнти нейрона.

Далі сигналsпреобразуется активаційною (передавальної) функцією нейронаFв вихідний сигналу. Математично це можна виразити формулою:,

(1.2)

гдеn- розмірність вектора входів,

w0- «нейронне зміщення», що вводиться для ініціалізації мережі, - підключається до незмінного входу +1,

F- активаційна функція нейрона.

Нейрони можуть групуватися в мережеву структуру різним образом. Функціональні особливості нейронів і спосіб їх об'єднання в мережеву структуру визначає особливості нейросети. Для рішення задач ідентифікації і управління найбільш адекватними є багатошарові нейронні мережі (МНС) прямої дії або багатошарові персептрони. При проектуванні МНС нейрони об'єднують в шари, кожний з яких обробляє вектор сигналів від попереднього шара. Мінімальною реалізацією є двухслойная нейронна мережа, що складається з вхідного (розподільного), проміжного (прихованого) і вихідного шара.

Малюнок 1.4 Структурна схема двухслойной нейронної мережі.

Реалізація моделі двухслойной нейронної мережі прямої дії має наступне математичне уявлення:,

(1.7)

гдеnφ- розмірність вектора входівφ нейронної мережі;

nh- число нейронів в прихованому шарі;

θ- вектор параметрів нейронної мережі, що настроюються, включаючий вагові коеффициенії і нейронні зміщення (wji, Wij)

fj(х) - активаційна функція нейронів прихованого шара;

Fi(х) - активаційна функція нейронів вихідного шара.

Персептрон являє собою мережу, що складається з декількох послідовно сполучених шарів формальних нейронів (малюнок 1.3). На нижчому рівні ієрархії знаходиться вхідний шар, що складається з сенсорних елементів, задачею якого є тільки прийом і поширення по мережі вхідної інформації. Далі є один або, рідше, декілька прихованих шарів. Кожний нейрон на прихованому шарі має декілька входів, сполучених з виходами нейронів попереднього шара або безпосередньо з вхідними сенсорамиφ1..φn, і один вихід. Нейрон характеризується унікальним вектором параметрівθ, що настроюються; . Функція нейрона складається в обчисленні зваженої суми його входів з подальшим нелінійним перетворенням її у вихідний сигнал:

1.5 Навчання нейронної мережі

Наступний етап створення нейросети - це навчання. Здібність до навчання є основною властивістю мозку. Для штучних нейронних мереж під навчанням розуміється процес настройки архітектури мережі (структури зв'язків між нейронами) і ваги синаптических зв'язків (впливаючих на сигнали коефіцієнтів) для ефективного рішення поставленої задачі. Звичайно навчання нейронної мережі здійснюється на деякій вибірці. По мірі процесу навчання, який відбувається по деякому алгоритму, мережа повинна все краще і краще (правильніше) реагувати на вхідні сигнали.

Виділяють три типи навчання: з вчителем, самообучение і змішаний. У першому способі відомі правильні відповіді наприклад кожному вхідному, а ваги підстроюються так, щоб мінімізувати помилку. Навчання без вчителя дозволяє розподілити зразки по категоріях за рахунок розкриття внутрішньої структури і природу даних, виходи НС формуються самостійно, а ваги змінюються по алгоритму, що враховує тільки вхідні і похідні від них сигнали. При змішаному навчанні комбінуються два вищевикладених підходи.

Оскільки помилка залежить від ваги нелінійно, отримати рішення в аналітичній формі неможливо, і пошук глобального мінімуму здійснюється за допомогою ітераційного процесу - так називаемогообучающего алгоритму. Розроблено вже більше за сотню різних повчальних алгоритмів, відмінних один від одного стратегією оптимізації і критерієм помилок. Звичайно як міра погрішності береться середня квадратична помилка (СКО):

(1.8)

гдеМ- число прикладів в повчальній безлічі;

d- необхідний вихідний сигнал;

у- отриманий вихідний сигнал.

Навчання нейросети проводиться методом градиентного спуску, т. е. на кожній ітерації зміна ваги проводиться по формулі.,

(1.9)

де е - коефіцієнт навчання, що визначає швидкість навчання.

Відмітимо дві властивості повної помилки. По-перше, ошибкаE=Е(W) являетсяфункцией состоянияW, визначеної на просторі станів. По визначенню, вона приймає ненегативні значення. По-друге, в некоторомобученномсостоянииW*, в якому мережа не робить помилок на повчальній вибірці, дана функція приймає нульове значення. Отже, навчені стану являютсяточками минимумавведенной функцииE(W).

Таким чином, задача навчання нейронної мережі є задачею пошуку мінімуму функції помилки в просторі станів

1.6 Нейросетевие системи управління

Нейроуправленіє являє собою новий високотехнологічний напрям в теорії управління, що активно розвивається у всьому світі з кінця 70-х років. Нейронні мережі є предметом дослідження цілого ряду дисциплін. З точки зору теорії управління нейронні мережі вибираються як модель об'єкта управління або безпосередньо регулятора, а динамічний процес її настройки являє собою процес синтезу системи управління.

Проблема синтезу регуляторів розглядається з двох позицій, а саме: прямі методи і непрямі методи синтезу нейросетевих систем управління:

- прямі методи синтезу - регулятор реалізовується безпосередньо на нейросети. Застосування методу не викликає труднощів, однак необхідність постійного перенавчання нейросети приводить до ряду проблем;

1) непрямі методи синтезу - нейросеть використовується як модель об'єкта управління, а синтез регулятора здійснюється традиційним методом.

У загальному випадку управління об'єктом з допомогою нейросети можна представити схемою на малюнку 1.5

Малюнок 1.5 Управління при допомозі нейроконтроллера.

При цьому навчання самого нейроконтроллера безпосередньо за вхідними даними об'єкта може бути зроблено за допомогою схеми, представленою на малюнку 1.6 із застосуванням найбільш поширеного алгоритму.

Малюнок 1.6. Навчання нейроконтроллера за допомогою алгоритму зворотного поширення помилки.

2.1 Розробка нейросевого регулятора з спостерігаючим пристроєм. Використання нейроконтроллера Model Reference Control

Як приклад використання нейросети показаний нейросетевой регулятор з спостерігаючим пристроєм. Даний регулятор компенсує нелінійну складову прискорення маніпулятора, зумовлену дією сили тягаря. Об'єкт управління і його математичний опис представлені нижче.

Рука обертається у вертикальній площині і має одну міру свободи.

Малюнок 3.1 Схема руху руки робота

Рівняння руху руки робота:

(3.1)

деφ- кут повороту руки, u- обертаючий момент двигуна постійного струму.

Складова прискорення -10sinφ враховує силу тягаря.

Необхідно, щоб рука робота рухалася відповідно до рівняння:

(3.2)

Математичний опис об'єкта управління.

Як початкова динамічна система використовується об'єкт управління, що описується рівнянням (3.1). Зробимо заміну і.

У результаті отримаємо систему диференціальних рівнянь:,

(3.3)

Матриця системи і матриця управління:;

У цьому випадку бажаний процес (3.2) буде описуватися системою рівнянь:

(3.4)

Матриця системи і матриця управління для системи (3.4):;

Аналіз об'єкта управління.

Структурна схема об'єкта управління зображена на малюнку 3.2.

Малюнок 3.2 Структурна схема об'єкта управління.

Малюнок 3.3. Перехідний процес об'єкта управління.

Перехідний процес коливальний, із затухаючими коливаннями, має перерегулирование 34%. Не відповідає бажаній траєкторії руху.

Необхідно забезпечити перехідний процес відповідно до бажаної моделі:

Малюнок 3.4 Структурна схема еталонної моделі.

Малюнок 3.5 Бажаний перехідний процес об'єкта управління.

Як середа для розробки і моделювання нейросети був вибраний програмний продукт фірми MathWorks, Inc. - MatLab, версія 6.5.0.1. MatLab, з всіх доступних програмних продуктів володіє найбільш широкими можливостями як для моделювання, в тому числі і для моделювання нейросетей.

Блок Model Reference Control (модель еталонного управління) містить в своєму складі дві нейросети: нейроконтроллер і спостерігач. Навчання нейросети відбувається в два етапи. Спочатку ідентифікується нейросетевой спостерігач, потім навчається нейроконтроллер таким чином, щоб вихідний сигнал ОУ слідував за керуючим сигналом.

Структура нейросети зображена на малюнку 5.5

Малюнок 5.5. Спрощена структурна схема нейросетевого контроллера

Взаємозв'язок між нейросетью і об'єктом управління в процесі навчання показана на малюнку 5.5

5.5. ОбученієнейросетіModel Reference Control.

Помилка спостереження і помилка управління використовуються в навчанні відповідно нейросетевого контроллера і нейросетевого спостерігача.

Малюнок 5.6. УправленієModel Reference Control.

Дана архітектура нейросети навчається з використанням алгоритму зворотного поширення помилки (backpropagation).

Параметри навчання нейросетевого спостерігаючого пристрою:

- Число прихованих шарів в нейросети - 10.

- Інтервал вибірки - 0,05.

- Число прикладів навчання - 10000.

- Обмеження вихідних даних:

об максимальний вихід моделі - 3,1.

об мінімальний вихід моделі - -3,1.

- Максимальний вихід моделі - 15.

- Мінімальний вихід моделі - -15.

- Число епох навчання - 300.

Параметри навчання нейроконтроллера:

- Число прихованих шарів в нейросети - 13.

- Інтервал вибірки - 0,05.

- Число прикладів навчання - 6000.

- Число епох навчання - 10.

- Сегментів навчання - 30.

Управління об'єктом

Схема моделювання з використанням нейроконтроллера Model Reference Control показана на малюнку 5.7.

Малюнок 5.7. Структурна схема моделі з використанням нейроконтроллера Model Reference Controller

Параметри моделі:

- керуючий сигнал змінюється випадково;

- інтервал зміни рівня керуючого сигналу [-0.5; 0.5]

- інтервал зміни тимчасового інтервалу - 10 з.

Малюнок 5.8 Перехідний процес об'єкта під управлінням NARMA-L2

Нейроконтроллер з нейросетевим спостерігаючим пристроєм дозволяє отримати стійкий рух і бажану траєкторію у всьому фазовому просторі. Повністю компенсує нелінійну складову прискорення руки робота.