Реферати

Контрольна робота: Нейронні мережі

Автокредитование 2. ЗМІСТ ЗМІСТ 2 УВЕДЕННЯ 3 УТОМИВШИСЬ 4 ЗАКРИТІ АКЦІОНЕРНІ ТОВАРИСТВА 4 "Ю. С. ИМПЕКС-М" 4 ОСНОВНА ЧАСТИНА 30 Розстрочка. Плюси і мінуси безпроцентного автокредита. 33

Театр Південного Уралу (1861 - 1917 р.). Зародження і розвиток театрального мистецтва на Уралі. Початок артистичної кар'єри Ф. И. Шаляпіна в Уфі. Театральне життя Оренбурга.

Голодування заради здоров'я 2. Ю. С. Миколаїв, Е. И. Нилов, В. Г. Черкасов "Голодування заради здоров'я" Ростову-на-Дону, Редакція журналу "Дон", 1990 р. Зміст

Зовнішньоторговельні операції 2. Зміст Зміст 2 1. Методи здійснення зовнішньоторговельних операцій: відмінні риси 3 2. Базисна група "З" по "Инкотермс 2000". Права та обов'язки сторін. Способи транспортування 10

Кримінально-статистичний облік в органах внутрішніх справ. Академія права і керування Пермська філія _____ юридичний факультет КОНТРОЛЬНА РОБОТА з дисципліни "Кримінологія" 1. Тема: Кримінально-статистичний облік в органах внутрішніх справ.

Завдання 1. Нейронні мережі

Дві базова архітектура комп'ютерів - послідовна обробка символів по заданій програмі і паралельне розпізнавання образів по повчальних прикладах - з'явилися практично одночасно.

Концептуально вони оформилися в 30-40-х роках. Перша - в теоретичній роботі Тьюрінга 1936 р., що запропонував гіпотетичну машину для формалізації поняття вичислимой функції, і потім вже в практичній площині - створення, що узагальнило уроки першої ЕОМ ENIAC і конструювання машин, що запропонувало методологію з програмами, що запам'ятовуються (ENIAC програмувався штекерами). Так, як базові елементи ЕОМ фон Нейман запропонував модифіковані формальні нейрони Мак-Каллока і Піттса - фундаторів нейросетевой архітектури.

Що стосується нейросетевой архітектури, то, незважаючи на численні реверанси у бік нейронних мереж з боку класиків кібернетики, їх вплив на промислові розробки аж до недавнього часу було мінімальним. Хоч в кінці 50-х - початку 60-х з цим напрямом зв'язували великі надії, в основному завдяки Френку Розенблатту, що розробив перший нейросетевое пристрій, що навчається для розпізнавання образів, персептрон (від англійського perception - сприйняття).

Персептрон був уперше змоделювати в 1958 році, причому його навчання вимагало біля півгодини машинного часу на одній з самих могутніх в той час ЕОМ IBM-704. Апаратний варіант - MarkIPerceptron - був побудований в 1960 р. і призначався для розпізнавання зорових образів. Його рецепторное поле складалося з матриці фотоприемников 20х20, і він успішно справлявся з рішенням ряду задач.

Тоді ж виникли перші комерційні нейрокомпьютинговие компанії. У 1969 році Марвін Мінський випустив разом з південноафриканським математиком Пейпертом книгу "Персептрони". У цій фатальній для нейрокомпьютинга книзі була суворо доведена принципова обмеженість персептронов. Дослідження в цьому напрямі були згорнені аж до 1983 року, коли вони, нарешті, отримали фінансування від Агентства перспективних військових досліджень США (DARPA). Цей факт став сигналом на початок нового нейросетевого буму.

Інтерес широкої наукової громадськості до нейросетям прокинувся після теоретичної роботи фізика Джона Хопфілда (1982 г), що запропонував модель асоціативної пам'яті в нейронних ансамблях. Холфилд і його численні послідовники збагатили теорію нейросетей багатьма ідеями з арсеналу фізики, такими як колективні взаємодії нейронів, енергія мережі, температура навчання і т. д. Однак справжній бум практичного застосування нейросетей почався після публікації в 1986 році Давидом Румельхартом з співавторами методу навчання багатошарового персептрона, названого ними методом зворотного поширення помилки (errorback-propagation). Обмеження персептронов, про яких писали Мінський і Пейперт, виявилися переборними, а можливості обчислювальної техніками-достатніми для рішення широкого кола прикладних задач. У 90-х роках продуктивність послідовних комп'ютерів зросла настільки, що це дозволило моделювати з їх допомогою роботу паралельних нейронних мереж з числом нейронів від декількох сотень до десятків тисяч. Такі емулятори нейросетей здатні вирішувати багато який цікавий з практичної точки зір задачі.

У основу штучних нейронних мереж встановлені наступні риси живих нейронних мереж, що дозволяють їм добре справлятися з нерегулярними задачами:

простий обробляючий елемент - нейрон (мал. 1.1);

дуже велике число нейронів бере участь в обробці інформації;

один нейрон пов'язаний з великим числом інших нейронів (глобальні зв'язки);

зв'язки, що змінюються по вазі між нейронами;

масована параллельность обробки інформації.

Прототипом для створення нейрона послужив біологічний нейрон головного мозку. Біологічний нейрон має тіло, сукупність паростків - дендритов, по яких в нейрон поступають вхідні сигнали, і паросток - аксон, що передає вихідний сигнал нейрона іншим кліткам. Точка з'єднання дендрита і аксона називається синапсом. Спрощено функціонування нейрона можна представити таким чином (мал. 1.2):

1) нейрон отримує від дендритов набір (вектор) вхідних сигналів;

2) в тілі нейрона оцінюється сумарне значення вхідних сигналів.

Однак входи нейрона нерівнозначні. Кожний вхід характеризується деяким ваговим коефіцієнтом, що визначає важливість поступаючої по ньому інформації.

Таким чином, нейрон не просто підсумовує значення вхідних сигналів, а обчислює скалярний твір вектора вхідних сигналів і вектора вагових коефіцієнтів;

Ріс.1.1 Біологічний нейрон

Ріс.1.2 Штучний нейрон

3) нейрон формує вихідний сигнал, інтенсивність якого залежить від значення обчисленого скалярного твору. Якщо воно не перевищує деякого заданого порога, то вихідний сигнал не формується зовсім - нейрон "не спрацьовує";

4) вихідний сигнал поступає на аксон і передається дендритам інших нейронів.

Поведінка штучної нейронної мережі залежить як від значення вагових параметрів, так і від функції збудження нейронів. Відомі три основних вигляду функції збудження: порогова, лінійна і сигмоидальная. Для порогових елементів вихід встановлюється на одному з двох рівнів в залежності від того, більше або менше сумарний сигнал на вході нейрона деякого порогового значення. Для лінійних елементів вихідна активність пропорційна сумарному зваженому входу нейрона. Для сигмоидальних елементів в залежності від вхідного сигналу, вихід варіюється безперервно, але не лінійний, по мірі зміни входу. Сигмоидальние елементи мають більше схожості з реальними нейронами, чим лінійні або порогові, але будь-якої з цих типів можна розглядати лише як наближення.

Нейронна мережа являє собою сукупність великого числа порівняно простих елементів - нейронів, топологія з'єднань яких залежить від типу мережі. Щоб створити нейронну мережу для рішення якої-небудь конкретної задачі, ми повинні вибрати, яким чином потрібно з'єднувати нейрони один з одним, і відповідним образом підібрати значення вагових параметрів на цих зв'язках. Чи Може впливати один елемент на іншій, залежить від встановлених з'єднань. Вага з'єднання визначає силу впливу.

Нейронні мережі належать до класу коннекционистских моделей обробки інформації. Основна їх межа - використати зважені зв'язки між обробляючими елементами як принциповий засіб запам'ятовування інформації. Обробка в таких мережах ведеться одночасно великим числом елементів, завдяки чому вони терпимі до несправностей і здібні до швидких обчислень.

Задати нейронну мережу, здатну вирішити конкретну задачу, це означає визначити модель нейрона, топологію зв'язків, ваги зв'язків. Нейронні мережі розрізнюються між собою менше усього моделями нейрона, а в основному топологією зв'язків і правилами визначення ваги або правилами навчання (мал. 1.3), програмування.

Ріс.1.3 Процес навчання нейросети

Виходячи з вищевикладеного, можна укласти, що для рішення задач прогнозування найбільш підходить мережа із зворотним поширенням. Вона дозволяє формальним образом навчити мережу прогнозувати зміну вимоги на основі історичних даних про вимогу. Процес застосування нейросети приведений на малюнку 1.4

Ріс.1.4 Процес застосування нейросети

Для опису алгоритмів і пристроїв в нейроинформатике вироблена спеціальна "схемотехніка", в якій елементарні пристрої - суматори, синапси, нейрони і т. п. об'єднуються в мережі, призначені для рішення задач.

Самий заслужений і, ймовірно, найбільш важливий елемент нейросистем - це адаптивний суматор. Адаптивний суматор обчислює скалярний твір вектора вхідного сигналу х на вектор параметрів a. На схемах будемо означати його так, як показано на мал. 1.5 Адаптивним називаємо його через наявність вектора параметрів, що настроюються a. Для багатьох задач корисно мати лінійну неоднорідну функцію вихідних сигналів. Її обчислення також можна представити за допомогою адаптивного суматора, що має n+1 вхід і одержуючого на 0-й вхід постійний одиничний сигнал (мал. 1.6).

Нелінійний перетворювач сигналу зображений на мал. 1.7 Він отримує скалярний вхідний сигнал х і переводить його в j (х).

Точка гілкування служить для розсилки одного сигналу за декількома адресами (мал. 1.8). Вона отримує скалярний вхідний сигнал х і передає його всім своїм виходам.

Ріс.1.5 Адаптивний сумматорРис.1.6 Неоднорідний адаптивний суматор

Ріс.1.7 нелінійний перетворювач сигналу

Ріс.1.8 Точка гілкування

Ріс.1.9 Формальний нейронРис.1.10 Лінійний зв'язок (синапс)

Елементи шаруватих і полносвязних мереж можуть вибиратися по-різному. Існує, проте, стандартний вибір - нейрон з адаптивним неоднорідним лінійним суматором на вході (мал. 1.9).

Лінійний зв'язок - синапс - окремо від суматорів не зустрічається, однак для деяких міркувань буває зручно виділити цей елемент (мал. 1.10). Він множить вхідний сигнал х вагою "синапса" a.

Ваги синапсов мережі утворять набір адаптивних параметрів, настроюючи які, нейронна мережа навчається рішенню задачі. Звичайно на діапазон зміни ваги синапсов накладаються деякі обмеження, наприклад, обладнання ваги синапса діапазону [-1,1].

Серед всієї безлічі нейросетевих архітектури можна виділити дві базових архітектури - шаруваті і полносвязние мережі.

Шаруваті мережі: нейрони розташовані в декілька шарів (мал. 1.11). Нейрони першого шара отримують вхідні сигнали, перетворюють їх і через точки гілкування передають нейронам другого шара. Далі спрацьовує другий шар і т. д. до k-го шара, який видає вихідні сигнали. Якщо не обумовлене противне, то кожний вихідний сигнал i-го шара подається на вхід всіх нейронів i+1-го. Число нейронів в кожному шарі може бути будь-яким і ніяк зазделегідь не пов'язано з кількістю нейронів в інших шарах. Стандартний спосіб подачі вхідних сигналів: кожний нейрон першого шара отримує всі вхідні сигнали. Особливе поширення отримали трехслойние мережі, в яких кожний шар має своє найменування: перший - вхідний, другий - прихований, третій - вихідний.

Ріс.1.11 Шарувата мережа

Полносвязние мережі: мають один шар нейронів; кожний нейрон передає свій вихідний сигнал іншим нейронам, включаючи самого себе. Вихідними сигналами мережі можуть бути всі або деякі вихідні сигнали нейронів після декількох тактів функціонування мережі. Всі вхідні сигнали подаються всім нейронам.

Можна виділити два класи задач, що вирішуються нейронними мережами, що навчаються. Це задачі прогнозу і класифікації.

Задачі прогнозу або прогнозування є, по суті, задачами побудови регресної залежності вихідних даних від вхідних. Нейронні мережі можуть ефективно будувати сильно нелінійну регресну залежність. Специфіка тут така, що, оскільки вирішуються в основному неформалізовані задачі, то користувача цікавить насамперед не побудова зрозумілої і теоретично обгрунтованої залежності, а отримання пристрою-провісника. Прогноз такого пристрою безпосередньо не піде в справу - користувач буде оцінювати вихідний сигнал нейросети на основі своїх знань і формувати власний експертний висновок. Виключення складають ситуації, на основі навченої нейронної мережі створюють пристрій управління для технічної системи.

При рішенні задач класифікації нейронна мережа будує розділяючу поверхню в признаковом просторі, а рішення про приналежність ситуації тому або інакшому класу приймається самостійним, пристроєм, що не залежить від мережі - інтерпретатором відповіді мережі. Найбільш простий інтерпретатор виникає в задачі бінарної класифікації (класифікації на два класи). У цьому випадку досить одного вихідного сигналу мережі, а інтерпретатор відносить, наприклад, ситуацію до першого класу, якщо вихідний сигнал менше нуля, і до другого, якщо він більше або рівний нулю.

Класифікація на декілька класів вимагає ускладнення інтерпретатора. Широко використовується інтерпретатор "переможець забирає все", де число вихідних сигналів мережі дорівнює числу класів, а номер класу буде відповідати номеру максимального вихідного сигналу.

Одна нейронна мережа може одночасно передбачати декілька чисел, або одночасно вирішувати задачі і прогнозування, і класифікації. Потреба в останньому виникає, однак, надто рідко, і краще вирішувати різнотипні задачі окремими нейронними мережами.

У літературі зустрічається значне число ознак, якими повинна володіти задача, щоб застосування нейросетей було виправдане і нейронна мережа могла б її вирішити:

відсутній алгоритм або не відомі принципи рішення задач, але накопичене достатнє число прикладів;

проблема характеризується великими обсягами вхідної інформації;

дані неповні або надлишкові, зашумлени, частково суперечливі.

Таким чином, нейронні мережі добре підходять для розпізнавання образів і рішення задач класифікації, оптимізації і прогнозування.