Навучанне нейронавай сеткі - гэта працэс, у якім параметры нейронавай сеткі наладжваюцца з дапамогай мадэлявання асяроддзя, у якую гэтая сетка ўбудаваная. Тып навучання вызначаецца спосабам падладкі параметраў. Адрозніваюць алгарытмы навучання з настаўнікам і без настаўніка.
Працэс навучання з настаўнікам ўяўляе сабой прад'яўленне сеткі выбаркі навучальных прыкладаў. Кожны ўзор падаецца на ўваходы сеткі, затым праходзіць апрацоўку ўнутры структуры НС, вылічаецца выходны сігнал сеткі, які параўноўваецца з адпаведным значэннем мэтавага вэктару, які прадстаўляе сабой патрабаваны выхад сеткі.
Для таго, каб нейронавая сеткі была здольная выканаць пастаўленую задачу, яе неабходна навучыць (гл. Мал. 1). Адрозніваюць алгарытмы навучання з настаўнікам і без настаўніка.
Працэс навучання з настаўнікам ўяўляе сабой прад'яўленне сеткі выбаркі навучальных прыкладаў. Кожны ўзор падаецца на ўваходы сеткі, затым праходзіць апрацоўку ўнутры структуры НС, вылічаецца выходны сігнал сеткі, які параўноўваецца з адпаведным значэннем мэтавага вэктару, які прадстаўляе сабой патрабаваны выхад сеткі. Затым па вызначаным правілу вылічаецца памылка, і адбываецца змена вагавых каэфіцыентаў сувязяў унутры сеткі ў залежнасці ад абранага алгарытму. Вектары навучальнага мноства прад'яўляюцца паслядоўна, вылічаюцца памылкі і вагі падладжваюцца для кожнага вэктару да таго часу, пакуль памылка па ўсім навучалага масіву ня дасягне прымальна нізкага ўзроўню.
Мал. 1. Ілюстрацыя працэсу навучання НС
Пры навучанні без настаўніка навучалае мноства складаецца толькі з ўваходных вектараў. Навучальны алгарытм падладжвае вагі сеткі так, каб атрымліваліся ўзгодненыя выходныя вектары, г.зн. каб прад'яўленне досыць блізкіх ўваходных вектараў давала аднолькавыя выхады. Працэс навучання, такім чынам, вылучае статыстычныя ўласцівасці навучальнага мноства і групуе падобныя вектары ў класы. Прад'яўленне на ўваход вектара з дадзенага класа дасць пэўны выхадны вектар, але да навучання немагчыма прадказаць, якое выйсце будзе рабіцца дадзеных класам ўваходных вектараў. Такім чынам, выхады падобнай сеткі павінны трансфармавацца ў некаторую зразумелую форму, абумоўленую працэсам навучання. Гэта не з'яўляецца сур'ёзнай праблемай. Звычайна не складана ідэнтыфікаваць сувязь паміж уваходам і выхадам, усталяваную сеткай.
Для навучання нейронавых сетак без настаўніка прымяняюцца сігнальныя метад навучання Хебба і Ойа.
Матэматычна працэс навучання можна апісаць наступным чынам. У працэсе функцыянавання нейронных сетку фарміруе выхадны сігнал Y, рэалізуючы некаторую функцыю Y = G (X). Калі архітэктура сеткі зададзена, то выгляд функцыі G вызначаецца значэннямі сінаптычных вагаў і зрушанай сеткі.
Хай рашэннем некаторай задачы з'яўляецца функцыя Y = F (X), зададзеная параметрамі ўваходных-выхадных дадзеных (X1, Y1), (X2, Y2), ..., (XN, YN), для якіх Yk = F (Xk) (k = 1, 2, ..., N).
Навучанне складаецца ў пошуку (сінтэзе) функцыі G, блізкай да F у сэнсе некторые функцыі памылкі E. (гл. Мал. 1.8).
Калі выбрана мноства навучальных прыкладаў - пар (XN, YN) (дзе k = 1, 2, ..., N) і спосаб вылічэння функцыі памылкі E, то навучанне нейронавай сеткі ператвараецца ў задачу шматмернай аптымізацыі, якая мае вельмі вялікую памернасць, пры гэтым, паколькі функцыя E можа мець адвольны выгляд навучанне ў агульным выпадку - многоэкстремальная нявыпуклы задача аптымізацыі.
Для вырашэння гэтай задачы могуць выкарыстоўвацца наступныя (ітэрацыйныя) алгарытмы:
алгарытмы лакальнай аптымізацыі з вылічэннем прыватных вытворных першага парадку:
градыентныя алгарытм (метад найхутчэйшага спуску),
метады з аднамернай і двухмернай аптымізацыяй мэтавай функцыі ў напрамку антиградиента,
метад спалучаных градыентаў,
метады, якія ўлічваюць кірунак антиградиента на некалькіх кроках алгарытму;
алгарытмы лакальнай аптымізацыі з вылічэннем прыватных вытворных першага і другога парадку:
метад Ньютана,
метады аптымізацыі з разрэджанымі матрыцамі Гесэ,
квазиньютоновские метады,
метад Гаўса-Ньютана,
метад Левенберга-Марквардт і інш .;
стахастычныя алгарытмы аптымізацыі:
пошук у выпадковым кірунку,
імітацыя адпалу,
метад Монтэ-Карла (колькасны метад статыстычных выпрабаванняў);
алгарытмы глабальнай аптымізацыі (задачы глабальнай аптымізацыі вырашаюцца з дапамогай перабору значэнняў зменных, ад якіх залежыць мэтавая функцыя).
