нейронавыя сеткі з'яўляюцца адным з кірункаў штучнага інтэлекту , Якія часта выкарыстоўваюцца пры рашэнні задач аптымізацыі і распазнавання вобразаў. Ужо распрацавана дастатковую колькасць мадэляў нейронавых сетак для вырашэння розных прыкладных задач. Для кожнай мадэлі прапанаваны свае метады і алгарытмы навучання. Нягледзячы на няспынныя работы па ўдасканаленні існуючых і распрацоўцы новых мадэляў і іх алгарытмаў навучання, сама тэорыя нейронавых сетак па-ранейшаму застаецца дрэнна фармалізаванай.
Тым не менш, пры распрацоўцы нейронавых сетак можна вылучыць два асноўных этапы:
- Структурны сінтэз - этап, на якім выбіраецца мадэль будучай нейронавай сеткі, яе папярэдняя структура і алгарытм навучання.
- Параметрычны сінтэз - уключае працэс навучання нейронных сеткі і праверку атрыманых вынікаў. У залежнасці ад вынікаў праверкі прымаецца рашэнне аб вяртанні на папярэднія стадыі параметрычнага ці нават структурнага сінтэзу.
Недастатковая формализованность апісаных вышэй этапаў прыводзіць да ўзнікнення ў распрацоўніка нейронавых сетак цэлага шэрагу праблем. Так, на этапе структурнага сінтэзу пры выбары мадэлі нейронавай сеткі, яе ўнутранай структуры і алгарытму навучання прыходзіцца затрачваць вялікія намаганні, звяртаючыся часам нават да дапамогі больш вопытных распрацоўшчыкаў. Праблемай на этапе параметрычнага сінтэзу становіцца абмежаванасць вылічальных рэсурсаў пры навучанні нейронавай сеткі. Справа ў тым што, пры вырашэнні рэальных задач ствараюцца нейронавыя сеткі са складанай структурай, у сувязі з чым іх навучанне патрабуе шмат часу.
Але не ўсё так дрэнна. Распрацоўшчыкі, абапіраючыся на свой багаты вопыт, змаглі прапанаваць некаторыя нескладаныя метады, якія дазваляюць павысіць эфектыўнасць працэсу навучання шматслойных нейронавых сетак пры выкарыстанні метаду зваротнага распаўсюджвання памылкі. Як правіла, навучанне нейронавай сеткі адбываецца да таго часу, пакуль яе памылка не стане блізкай да нуля. Гэта, як правіла, прыводзіць да значных марнаванняў часовых рэсурсаў, так як часам можа апынуцца цалкам дастатковым, каб памылка навучання нейронавай сеткі не перавышала некаторага значэння, значна больш аддаленага ад нуля.
Ступень дастатковасці навучання нейронавай сеткі шмат у чым вызначаецца зыходзячы іх умоў канкрэтнай задачы і жаданага выніку. Разгледзім наступную фармалізацыі прынцыпу дастатковасці навучання нейронавай сеткі.
Выкажам здагадку, дадзена некаторая задача класіфікацыі. Патрабуецца вырашыць яе, выкарыстоўваючы шматслаёвую нейронных сетку, якія навучаюцца з дапамогай алгарытму зваротнага распаўсюджвання памылкі . Як правіла, у працэсе навучання нейронавай сеткі для ацэнкі хібнасці навучання вылучаюць два віды памылак: глабальныя і лакальныя.
Формула для лакальнай памылкі выглядае наступным чынам:
дзе:
Формула для падліку глабальнай памылкі наступная:
дзе:
Ідэальным лічыцца такое навучанне, пасля якога нейронных сетку цалкам паўтарае навучальную выбарку. Такое навучанне з'яўляецца працаёмкай, а ў некаторых выпадках і проста немагчымым. Гэта выклікана тым, што розныя класы ў навучальнай выбарцы могуць мець падобныя аб'екты, і чым іх будзе больш, тым складаней адбудзецца працэс навучання нейронавай сеткі.
Сутнасць прынцыпу дастатковасці заключаецца ў адмове ад імкнення да ідэалу пры пошуку рашэння задачы. Калі гэты прынцып перанесці на працэс навучання нейронных сеткі, то можна сказаць, што 100% дакладнасць распазнавання патрабуецца далёка не ва ўсіх выпадках. Для таго каб аб'ект распазнання быў правільна вызначаны ў свой клас цалкам дастаткова, каб памылка нейронавай сеткі на канкрэтным навучальным наборы не перавышала некаторага 
. Калі ацэнка якасці навучання нейронавай сеткі праходзіць з дапамогай глабальнай памылкі, то цалкам бывае дастатковым дасягненне 
некаторага значэння .
максімальнае значэнне , Пры якім будзе захоўвацца зададзеная дакладнасць распазнавання, залежыць ад характару навучальнай выбаркі. У якасці параметраў характарызуюць навучальную выбарку, разгледзім яе паўнату і супярэчлівасць.
Паўната навучальнай выбаркі характарызуе забяспечанасць класаў навучалымі наборамі. Лічыцца, што для кожнага класа колькасць навучальных набораў павінна хоць бы ў 3-5 разоў пераўзыходзіць колькасць прыкмет класа, якое выкарыстоўваецца ў гэтых наборах. Для разліку паўнаты навучальнай выбаркі можна скарыстацца наступнай формулай:
дзе:
Супярэчлівымі лічацца тыя навучальныя наборы, у якіх утрымліваюцца аб'екты, вызначаныя да розных класах, але якія маюць аднолькавыя класіфікацыйныя прыкметы. Такім чынам, супярэчлівасць ўсёй навучальнай выбаркі знаходзіцца па наступнай формуле:
дзе:
Такім чынам, чым больш будуць значэння 
і 
, Тым больш можа быць велічыня , І тым хутчэй можа праходзіць навучанне нейронавай сеткі.
