Rad na razvoju neuronskih mreža motivisan je upravo njihovim počecima, u saznanju da ljudski mozak funkcioniše na potpuno različit način od savremenih digitalnih računara. Mozak je jako komleksan, nelinearni i paralelni kompjuter, odnosno, sistem za obradu informacija. On ima sposobnost da organizuje svoje satavne delove, poznate kao neuroni, da izvršavaju određene operacije računanja, kao što su prepoznavanje paterna, percepcija i kontrola motoričkih funkcija, neuporedivo brže od najbržeg digitalnog računara danas. Uzmimo za primer ljudski vid, koji predstavlja radnju obrade informacija. Funkcija vizuelnog sistema je da obezbedi predstavu našeg okruženja, i važnije, da nas snabde informacijama potrebnim za interakciju sa tim okruženjem. Da budemo precizni, mozak rutinski izvršava operaciju prepoznavanja, npr. prepoznavanje poznatog lica na nepoznatom prizoru, za aproksimativno 100- 200 ms, dok u isto vreme, manje kompleksne operacije na računaru mogu trajati danima.
Po rođenju, mozak ima strukturu i sposobnost da razvija sopstvena pravila kroz, kako ga obično nazivamo, iskustvo.Zaista, iskustvo se nagograđuje tokom vremena, sa najdramatičnijim razvojem ljudskog mozga za vreme prve dve godine života, mada se razvoj nastavlja i nakon toga. Mogućnost “oblikovanja” dozvoljava nervnom sistemu u razvoju da “upija” svari koje ga okružuju. Kako je ova pojava suštinska za funkcionisanje neurona kao jedinica za obradu informacija u ljudskom mozgu, tako je i za neuronske mreže, sastavljene od veštačkih neurona.
Sadržaj
UVOD 3
ŠTA JE NEURONSKA MREŽA? 4
LJUDSKI MOZAK 5
MODELI NEURONA 8
TIPOVI AKTIVACIONE FUNKCIJE 11
STOHASTIČKI MODEL NEURONA 14
NEURONSKE MREŽE PREDSTAVLJENE KAO ORIJENTISANI GRAFOVI 15
POVRATNA SPREGA 18
ARHITEKTURE MREŽA 22
Jednoslojne mreže sa prostiranjem unapred 22
Višeslojne mreže sa prostiranjem unapred 23
Rekurentne mreže 24
PREZENTACIJA ZNANJA 26
PROCES UČENJA 28
Učenje pod nadzorom ili sa učiteljem 28
Učenje bez učitelja 28
STATISTIČKA PRIRODA PROCESA UČENJA 31
DILEMA PRISTRASNOST/VARIJANSA 35
TEORIJA STATISTIČKOG UČENJA 37
NEKE OSNOVNE DEFINICIJE 39
PRINCIP MINIMIZACIJE EMPIRIJSKOG RIZIKA 40
VC DIMENZIJA 43
VAŽNOST VC DIMENZIJE I NJENA PROCENA 45
MINIMIZACIJA STRUKTURNOG RIZIKA 46
PAC MODEL UČENJA 49
KOMPLEKSNOST UZORKA 51
ZAKLJUČAK 52
LITERATURA 53