Реферати

Курсова робота: Загальні принципи, характерні для нейросетей

Розенблатт, Френк. Френк Розенблатт (англ. Frank Rosenblatt; 11 липня 1928 - 1971) - відомий американський вчений в області психології, нейрофізіології і штучного інтелекту. Народився в Нью-Йорку, закінчив Принстонский університет. У 1958-1960 роках у Корнелльском університеті створив обчислювальну систему "Марко-1" (на фотографії поруч з ним).

Логистическая концепція Just in Time і микрологистические системи засновані на ній. ФЕДЕРАЛЬНЕ АГЕНТСТВО ПО УТВОРЕННЮ ДЕРЖАВНА ОСВІТНЯ УСТАНОВА ВИЩОГО ПРОФЕСІЙНОГО УТВОРЕННЯ "САНКТ-ПЕТЕРБУРГСКИЙ ДЕРЖАВНИЙ

Великий син Росії - А. С. Пушкін. Пушкін - родоначальник однієї з найбільших літератур світу, засновник російського реалізму з його передовими, демократичними , гуманістичними традиціями.

Значення емоцій і почуттів у житті людини. План: Уведення......3 1. Основні емоційні процеси і керування ними......4 2. Види почуттів......8 3. Значення емоцій і почуттів у житті людини......10

Логічне мислення молодших школярів. 5.13. Як вирішувати логічні задачі? Розмаїтість логічних задач дуже велико. Способів їхнього рішення теж чимало. Але найбільше поширення одержали наступні три способи рішення логічних задач:

Московський Автомобільний-Дорожній Інститут

(Державний Технічний Університет)

Кафедра АСУ

Курсова робота

по дисципліні: «Інтелектуальні системи»

Тема роботи: «Загальні принципи, характерні для нейросетей»

Москва 2000

Зміст

Введення

Найбільш цікава нейросетевие архітектура і їх додатки

Загальні принципи, характерні для нейросетей

Локальність і параллелизм обчислень

Програмування: навчання, засноване на даних

Універсальність повчальних алгоритмів

Сфери застосування нейросетей

Висновок

Список літератури

Введення

Традиційно нейрон описувався в термінах, запозичених з нейрофизиології. Згідно з цими уявленнями нейрон має один вихід sj і декілька входів (синапсов), на які поступають зовнішні впливи хi (від рецепторов і від інших нейронів).

Кількість нейронів в мозку оцінюється величиною 1010-1011. Типові нейрони мають тіло клітки (сому), безліч коротких паростків, що гілкуються - дендритов і єдиний довгий і тонкий паросток - аксон. На кінці аксон також розгалужується і утворить контакти з дендритами інших нейронів - синапси.

Малюнок 1. Схема межнейронного взаємодії

Штучні нейронні мережі набули широкого поширення за останні 20 років і дозволили вирішувати складні задачі обробки даних, часто значно перевершуючи точність інших методів статистики і штучного інтелекту, або будучи єдино можливим методом рішення окремих задач. Нейросеть відтворює структуру і властивості нервової системи живих організмів: нейронна мережа складається з великого числа простих обчислювальних елементів (нейронів) і володіє більш складною поведінкою в порівнянні з можливостями кожного окремого нейрона. Нейросеть отримує на вході набір вхідних сигналів і видає відповідну ним відповідь (вихідні сигнали), що є рішенням задачі.

Штучні нейронні мережі застосовуються для задач класифікації або кластеризації багатомірних даних. Основна ідея лежача в основі нейронних мереж - це послідовне перетворення сигналу. Основою нейронної мережі є кібернетичний нейрон. Кібернетичний нейрон складається з 3 логічних блоків: входи, функція перетворення і вихід. На кожну комбінацію конкретних значень входів функція перетворення нейрона виробляє певний сигнал (вихід) (звичайно скаляр), і передає його на входи іншим нейронам мережі. Подаючи на входи деяким нейронам сигнали ззовні, і відмітивши виходи частини нейронів, як виходи мережі загалом, ми отримаємо систему, що здійснює відображення.

Нейронні мережі розрізнюються функцією перетворення в нейронах, внутрішньою архітектурою зв'язків між нейронами і методами настройки (навчання).

Основним плюсом нейросетей є можливість рішення широкого класу задач алгоритмічно не вирішуваних або задач з нечіткими умовами. Доступність і збільшені обчислювальні можливості сучасних комп'ютерів привели до широкого поширення програм, що використовують принципи нейросетевой обробки даних, але що виконуються на послідовних комп'ютерах.

Найбільш цікава нейросетевие архітектура і їх додатки

Модель Хопфільда з асоціативною пам'яттю.

Багатошаровий персептрон, вирішальний обширний клас задач розпізнавання образів.

- Самоорганизующиеся карти Кохенена, що володіють можливістю самостійно виявляти закономірності в даних а розбивати вхідні дані на кластери.

- Рекурсивні мережі Елмана, здатні обробляти послідовності векторів.

- Ймовірностний мережі, апроксимувати Байесовськиє класифікатори з будь-якою мірою точності.

Загальні принципи, характерні для нейросетей

Згідно із загальноприйнятими уявленнями найбільш загальними принципами, характерними для сучасних нейросетей є: коннекционизм, нелинейность активаційної функції, локальність і параллелизм обчислень, навчання замість програмування, оптимальність повчальних алгоритмів.

1. Коннекционизм - це особлива течія в філософській науці, предметом якого є питання пізнання. У рамках цієї течії робляться спроби пояснити інтелектуальні здібності людини, використовуючи штучні нейронні мережі. Складені з великого числа структурних одиниць, аналогічних нейронам, із заданою для кожного елемента вагою, що визначає силу зв'язку з іншими елементами, нейронні мережі являють собою спрощені моделі людського мозку. Така вагова модель володіє ефектом синапсов, що з'єднують кожний нейрон з іншими. Експерименти з нейронними мережами подібного роду продемонстрували їх здібність до навчання виконання таких задач, як розпізнавання образів, читання і визначення простих граматичних структур. Філософи почали виявляти цікавість до коннекционизму, оскільки коннекционистский підхід обіцяв забезпечити альтернативу класичної теорії розуму і широко поширеної в рамках цієї теорії ідеї, згідно якою механізми роботи розуму мають схожість з обробкою символічної мови цифровим комп'ютером. Те, як саме і в якій мірі парадигма коннекционизма складає альтернативу класичним уявленням про природу розуму, є предметом жарких суперечок, що ведуться в останні роки.

Принцип коннекционизма означає, що кожний нейрон нейросети, як правило, пов'язаний з всіма нейронами попереднього шара обробки даних. Помітимо, що найбільш послідовно цей принцип реалізований в архітектурі багатошарового персептрона.

Малюнок 2. Виділення областей складної форми.

Відмінною рисою нейросетей є глобальность зв'язків. Базові елементи штучних нейросетей - формальні нейрони - спочатку націлені на роботу з широкосмуговий інформацією. Кожний нейрон нейросети, як правило, пов'язаний з всіма нейронами попереднього шара обробки даних (див. Малюнок 1, що ілюструє найбільш широко поширену в сучасних додатках архітектуру багатошарового персептрона). У цьому основна відмінність формальних нейронів від базових елементів послідовних ЕОМ - логічних вентилів, що мають лише два входи. У результаті, універсальні процесори мають складну архітектуру, засновану на ієрархії модулів, кожний з яких виконує суворо певну функцію. Навпаки, архітектура нейросетей проста і універсальна. Спеціалізація зв'язків виникає на етапі їх навчання під впливом конкретних даних.

Рісунок3. Глобальность зв'язків в искуственних нейросетях

Типовий формальний нейрон проводить найпростішу операцію - зважує значення своїх входів зі своєю ж вагою, що локально зберігається і проводить над їх сумою нелінійне перетворення:

Рісунок4. Нейрон проводить нелінійну операцію над лінійною комбінацією входів

Нелінейность вихідної функції активації принципова. Щоб відобразити суть біологічних нейронних систем, визначення штучного нейрона дається таким чином:

Він отримує вхідні сигнали (початкові дані або вихідні сигнали інших нейронів нейронної мережі) через декілька вхідних каналів. Кожний вхідний сигнал проходить через з'єднання, що має певну інтенсивність (або вага); ця вага відповідає синаптической активності біологічного нейрона. З кожним нейроном пов'язане певне порогове значення. Обчислюється зважена сума входів, з неї віднімається порогове значення і в результаті виходить величина активації нейрона (вона також називається пост-синаптическим потенціалом нейрона - PSP).

Сигнал активації перетворюється за допомогою функції активації (або передавальної функції) і в результаті виходить вихідний сигнал нейрона.

Нелинейность руйнує лінійну суперпозицію і приводить до значного розширення можливостей нейросетей.

Локальність і параллелизм обчислень

Масовий параллелизм нейро - обчислень, необхідний для ефективної обробки образів, забезпечується локальністю обробки інформації в нейросетях. Кожний нейрон реагує лише на локальну інформацію, що поступає до нього в даний момент від пов'язаних з ним таких же нейронів, без апеляції до загального плану обчислень, звичайної для універсальних ЕОМ. Таким чином, нейросетевие алгоритми локальні, і нейрони здатні функціонувати паралельно.

Програмування: навчання, засноване на даних

Штучна нейросеть, як і природне біологічне, може навчатися рішенню задач: вона містить внутрішні адаптивні параметри нейронів і своєї структури, і міняючи їх, може міняти свою поведінку. Місце програмування займає навчання, тренування нейронної мережі: для рішення задачі не треба програмувати алгоритм - треба взяти універсальний нейросетевой інструмент, створити і навчити нейросеть. Нейронна мережа навчається рішенню задачі на деякому "підручнику" − наборі ситуацій, кожна з яких описує значення вхідних сигналів нейросети і необхідний для цих вхідних сигналах відповідь. "Підручник" задає набір еталонних ситуацій з відомими рішеннями, а нейронна мережа при навчанні сама знаходить залежність між вхідними сигналами і відповідями. Навчена нейросеть може узагальнювати (інтерполювати і екстраполювати) отриманий навик рішення і видавати прогноз для нових значень вхідних сигналів, раніше не включених в "підручник". Нейронна мережа здатна навчатися рішенню задач, для яких у людини не існує формалізованих, швидких або працюючих з прийнятною точністю алгоритмів рішення. Структура нейросети може бути адаптована до задачі: в нейросеть можуть бути включені додаткові нейрони, якщо початкова нейросеть не здатна забезпечити рішення задачі з потрібною точністю. З нейросети можуть бути виключені зайві нейрони і зв'язки між ними, якщо початкова нейросеть надлишкова для рішення задачі. Нейросеть може сама виділити найбільш інформативні для задачі вхідні сигнали, відкинути неінформативні, шумовие сигнали і в результаті підвищити надійність рішення. При цьому нейронна мережа не робить попереднього повного задрімав раніше сформованих навиків, прискорюючи таким чином свою дообучение після корекції розмірів.

Відсутність глобального плану обчислень в нейросетях передбачає і особливий характер їх програмування. Воно також носить локальний характер: кожний нейрон змінює свої "подгоночние параметри" - синаптические ваги - відповідно до поступаючої до нього локальної інформації про ефективність роботи всієї мережі як цілого. Режим поширення такої інформації по мережі і відповідній їй адаптації нейронів носить характер навчання. Такий спосіб програмування дозволяє ефективно врахувати специфіку необхідного від мережі способу обробки даних, бо алгоритм не задається зазделегідь, а породжується самими даними - прикладами, на яких мережа навчається. Саме таким чином в процесі самообучения біологічні нейросети виробили так ефективні алгоритми обробки сенсорної інформації. Характерною особливістю нейросетей є їх здібність до узагальнення, що дозволяє навчати мережу на нікчемній частці всіх можливих ситуацій, з якими їй, можливо, доведеться зіткнутися в процесі функціонування. У цьому їх разюча відмінність від звичайних ЕОМ, програма яких повинна зазделегідь передбачати їх поведінку у всіх можливих ситуаціях. Ця ж їх здатність дозволяє кардинально здешевити процес розробки прикладних застосувань.

Універсальність повчальних алгоритмів

Привабливою межею нейрокомпьютинга є єдиний принцип навчання нейросетей - мінімізація емпіричної помилки. Функція помилки, що оцінює дану конфігурацію мережі, задається ззовні - в залежності від того, яку мету переслідує навчання. Але далі мережа починає поступово модифікувати свою конфігурацію - стан всієї своєї синаптических ваги - таким чином, щоб мінімізувати цю помилку. У результаті, в процесі навчання мережа все краще справляється з покладеною на неї задачею.

Не вдаючись в математичну тонкість, образно цей процес можна уявити собі як пошук мінімуму функції помилки Е(w), що залежить від набору всієї синаптических ваги сетиw(див. Малюнок 3).

Рісунок5. Навчання мережі як задача оптимізації

Базовою ідеєю всіх алгоритмів навчання є облік локального градієнта в просторі конфігурацій для вибору траєкторії найшвидшого спуску по функції помилки. Функція помилки, однак, може мати безліч локальних мінімумів, що представляють суб-оптимальні рішення.

Сфери застосування нейросетей

1. Економіка і бізнес: прогноз ринків, автоматичний дилинг, оцінка ризику невозврата кредитів, прогноз банкрутств, оцінка вартості нерухомості, виявлення пері- і недооцінених компаній, автоматичного рейтингование, оптимізація портфелів, оптимізація товарних і грошових потоків, автоматичне лічення чеків і форм, безпека транзакцій по пластикових картках.

2. Медицина: обробка медичних зображень, моніторинг стану пацієнтів, діагностика, факторний аналіз ефективності лікування, очищення свідчень приладів від шумів.

3. Авіоника: автопилоти, що навчаються, розпізнавання сигналів радарів, адаптивне пілотування сильно пошкодженого літака.

4. Зв'язок: стиснення відеоінформації, швидке кодування-декодування, оптимізація стільникових мереж і схем маршрутизації пакетів.

5. Інтернет: асоціативний пошук інформації, електронні секретарі і агенти користувача в мережі, фільтрація інформації в push-системах, коллаборативная фільтрація, рубрикація новостних стрічок, адресна реклама, адресний маркетинг для електронної торгівлі.

6. Автоматизація виробництва: оптимізація режимів виробничого процесу, комплексна діагностика якості продукції (ультразвук, оптика, гамма-випромінювання,. ..), моніторинг і визуализация багатомірної диспетчерської інформації, попередження аварійних ситуацій, робототехника.

7. Політичні технології: аналіз і узагальнення соціологічних опитів, прогноз динаміки рейтингів, виявлення значущих чинників, об'єктивна кластеризация електорату, визуализация соціальної динаміки населення.

8. Безпека і охоронні системи: системи ідентифікації особистості, розпізнавання голосу, осіб в натовпі, розпізнавання автомобільних номерів, аналіз аерокосмічних знімків, моніторинг інформаційних потоків, виявлення підробок.

9. Введення і обробка інформації: Обробка рукописних чеків, розпізнавання підписів, відбитків пальців і голосу. Введення в комп'ютер фінансових і податкових документів.

10. Геологорозвідка: аналіз сейсмічних даних, асоціативні методики пошуку корисних копалин, оцінка ресурсів родовищ.

Існує декілька широко поширених комерційних універсальних нейросетевих програмних пакетів (StatisticaNeuralNetworks, NeuroShell, MatlabNeuralNetworkToolbox, NeuroSolutions, BrainMaker). Спеціалізованих, некомерційних або розроблених вченими-дослідниками для власних потреб нейропрограмм набагато більше.

Нейросети широко використовуються в цей час: нейросети - це не що інакше, як новий інструмент аналізу даних. І краще за інших їм може скористатися саме фахівець в своїй предметній області. Основні труднощі на шляху ще більш широкого поширення нейротехнологий - в невмінні широкого кола професіоналів формулювати свої проблеми в термінах, що допускають просте нейросетевое рішення.

Виведення

нейронних мереж

Основними цікавими на практикові можливостями нейронних мереж є такі:

- Існування швидких алгоритмів навчання: нейронна мережа навіть при сотнях вхідних сигналів і десятках-сотнях тисяч еталонних ситуацій може бути швидко навчена на звичайному комп'ютері. Тому нейронні мережі мають широке коло застосовності і дозволяють вирішувати складні задачі прогнозу, класифікації або діагностики.

- Можливість роботи при наявності великого числа неінформативних, шумових вхідних сигналів − попереднього їх відсівання робити не треба, нейронна мережа сама визначить їх малопригодность для рішення задачі і може їх явно відкинути.

- Можливість роботи зі скоррелированними незалежними змінними, з різнотипною інформацією − непреривнозначной і дискретнозначной, кількісної і якісної, що часто доставляє ускладнення методам статистики

- Нейронна мережа одночасно може вирішувати декілька задач на єдиному наборі вхідних сигналів − маючи декілька виходів, прогнозувати значення декількох показників.

- Алгоритми навчання накладають досить мало вимог на структуру нейронної мережі і властивості її нейронів. Тому при наявності експертних знань або у разі спеціальних вимог можна цілеспрямовано вибирати вигляд і властивості нейронів і нейронної мережі, збирати структуру нейронної мережі вручну, з окремих елементів, і задавати для кожного з них потрібні властивості.

Переваги нейронних мереж

Коло задач, для рішення яких використовуються нейронні мережі, багато в чому співпадає із задачами, що вирішуються традиційними статистичними методами. Тому укажемо переваги нейросетей перед декількома класичними методами статистики.

У порівнянні з лінійними методами статистики (лінійна регресія, авторегрессия, лінійний дискриминант), нейронні мережі дозволяють ефективно будувати нелінійну залежність, більш точно описуючі набори даних. З нелінійних методів класичної статистики поширений, мабуть, тільки байесовский класифікатор, що будує квадратичну розділяючу поверхню − нейронна мережа ж може побудувати поверхню більш високого порядку. Висока нелинейность розділяючої поверхні наївного байесовского класифікатора (він не використовує ковариационние матриці класів, як класичний байес, а аналізує локальну густину імовірності) вимагає значного сумарного числа прикладів для можливості оцінювання імовірностей при кожному поєднанні інтервалів значень змінних − нейронна мережа ж навчається на всій вибірці даних, не фрагментируя її, що підвищує адекватність настройки нейросети.

При побудові нелінійних моделей (наприклад, полиномиальних) в статистичних програмах звичайно потрібно ручний введення-опис моделі в символьному вигляді з точністю до значень параметрів: при N=10 незалежних змінних поліном другої міри буде містити N*(N-1)/2=45 коефіцієнтів при попарних творах змінних, 10 при самих змінних, 10 при квадратах значень змінних, т. е. 65 (66 з урахуванням неоднорідного доданку) коефіцієнтів. При двадцяти змінних у вираження увійде вже 231 доданок. Вводити такі довгі формули довго, великий ризик друкарської помилки. Нейронна мережа ж створюється шляхом вказівки вигляду структури, числа шарів і чисел нейронів в кожному шарі, що набагато швидше. А алгоритми побудови зростаючих нейросетей і зовсім не вимагають первинного завдання розміру нейронної мережі. Альтернативою нейронної мережі при побудові складних нелінійних моделей є тільки метод групового обліку аргументів.

Для стиснення і визуализації даних в статистиці розроблений метод лінійних головних компонент. Нейросети-автоассоциатори дозволяють ефективніше стискати дані за рахунок побудови нелінійних відображень і візуалізувати дані в просторі меншого числа нелінійних головних компонент.

У порівнянні з методами непараметричної статистики, нейронна мережа з радіальними базисними функціями дозволяє скорочувати число ядер, оптимізувати координати і размитость кожного ядра. Це дозволяє при збереженні парадигми локальної ядерної апроксимації прискорювати подальший процес прийняття рішення.

При навчанні нейронної мережі замість критерію якості у вигляді найменших квадратів можна використати робастние критерії, додатково вести оптимізацію і властивостей нейронної мережі (наприклад, додаючи критерії регуляризації рішення або оптимізації структури нейронної мережі). Алгоритми навчання нейронної мережі при цьому залишаються незмінними.

Необхідність рішення прямої і зворотної задач звичайно вимагає побудови двох моделей. При використанні ж нейронних мереж можна обійтися однією мережею, навченою вирішувати пряму задачу.

Список літератури

1. Курс лекцій по дисципліні «Інтелектуальні системи», лектор Фоміних И. Б.

2. Методичні указанияНиколаевА. Би., Фоміних И. Б. Нейросетевие методи аналізу і обробки даних: Навчань. допомога по курсу " Інтелектуальні системи " / МАДИ ГТУ

Інтернет - ресурси

1. http://www.neuropower.de/rus/books/index.html

2. http://www.madi.ru/study/kafedra/asu/metod/nero/1_1.shtml

3. http://neurolec.chat.ru/