22-05-2010, 10:50 PM
Maturski, Seminarski , Maturalni i diplomski radovi iz ekonomije: menadzment, marketing, finansija, elektronskog poslovanja, internet tehnologija, biznis planovi, makroekonomija, mikroekonomija, preduzetnistvo, upravljanje ljudskim resursima, carine i porezi.
Magistarski rad “Kompresija slike korišćenjem neuronskih mreža” je nastao kao rezultat autorovog interesovanja u oblasti neuronskih mreža i dužeg upoznavanja sa načinom njihovog funkcionisanja. Upoznavajući se sa oblastima njihove primene, došlo je do interesovanja o njihovoj primeni u računarskoj grafici, a nakon istraživanja postignutih rezultata na polju povezivanja ove dve oblasti, autor je došao do podataka o dosadašnjim iskustvima i rezultatima u jednoj od najviše proučavanih oblasti grafike: kompresiji statične slike.
Ideja autora je da dâ jasan algoritam kojim se postiže kompresija slike korišćenjem tzv. backpropagation neuronskih mreža. Shodno tome, autorov doprinos je posebno istaknut u poglavljima 6 i 7 ovog rada. Posebno se ističe poglavlje 7.5 u kome je autorov doprinos GIBO metoda formiranja trening skupa za obučavanje backpropagation neuronske mreže namenjene realizaciji kompresije statične slike. Prethodna poglavlja daju neophodnu teorijsku osnovu rada.
Ovaj diplomski rad je podeljen u 8 celina.
U prvom delu rada su izložene uvodne napomene, dat je uvod u temu diplomske teze i objašnjeni su razlozi njene izrade.
U drugom poglavlju su dati osnovni principi neuronskih mreža: kraći istorijski razvoj, objašnjenje osnovnih pojmova kao gradivnih komponenti najpre biološkog, a zatim, uz paralelu i veštačkog neurona, vrste neuronskih mreža i njihova primena.
Treće poglavlje daje teorijski pregled tehnika kompresije statične slike, uvodi osnovne elemente koji pri tome figurišu, predstavlja standard kompresije slike – JPEG i daje pregled načina ocene kvaliteta kompresovane slike ističući bitnost tehnika kompresije u računarskoj grafici.
U četvrtom poglavlju su opisani do sada postignuti rezultati kompresije slike korišćenjem neuronskih mreža različitih arhitektura kroz klasifikaciju poznatih tipova neuronskih mreža i problemi njihove primene u datom domenu.
Peto poglavlje postavlja metodološku osnovu rada. U njemu se definiše problem, predmet, cilj, hipoteze i metode ovog istraživanja.
U šestom poglavlju rada je predstavljen algoritam realizacije kompresije statične slike korišćenjem backpropagation neuronske mreže, kroz korak kreiranja same mreže, odnosno definisanja njene arhitekture, preprocesiranja slike, pripreme trening parova kojima će se mreža obučavati, treniranje mreže i konačno kompresiju i dekompresiju slike.
Sedmo poglavlje rada uvodi objašnjenje za najčešće korišćene algoritme obučavanja neuronskih mreža i daje primere njihove primene uz analizu dobijenih rezultata. Primenjeni algoritmi su realizovani u neuronskim mrežama sa 4, 8 i 16 neurona u srednjem sloju, postižući tako stepene kompresije slike redom 16, 8 i 4. Analizom su posebno izdvojeni algoritmi čiji su se rezultati pokazali najefikasnijim. Kao rezultat ovih analiza sledi predlog izmene metode linearizacije prilikom formiranja trening parova za obuku mreže i posebno ispitivanje važnosti dobrog odabira trening slike, pri čemu njen sadržaj ima važnu ulogu u mogućnostima široke primene koju bi ovakav alat trebalo da ima....
Sadržaj:
PREDGOVOR................................................................................ 4
1. UVOD ........................................................................... 6
2. NEURONSKE MREŽE ......................................................... 7
2.1 ISTORIJA RAZVOJA NEURONSKIH MREŽA .............................. 7
2.2 OSNOVE NEURONSKIH MREŽA ............................................ 8
2.2.1 Biološke neuronske mreže ................................................. 8
2.2.2 Veštačke neuronske mreže ............................................... 9
2.3 OSNOVNI ELEMENTI NEURONSKE MREŽE ................................... 11
2.3.1 Neuron .......................................................................... 12
2.3.2 Algoritam učenja .................................................................. 13
2.4 VRSTE NEURONSKIH MREŽA ................................................ 14
2.4.1 Perceptron ......................................................................... 15
2.4.2 Delta pravilo .................................................................... 17
2.4.3 Widrow-Hoff-ovo pravilo učenja ............................................. 18
2.4.4 Generalizovano delta pravilo učenja ........................................ 18
2.5 PRIMENA NEURONSKIH MREŽA ................................................ 22
3. KOMPRESIJA STATIČNE SLIKE ................................................ 24
3.1 OSNOVE KOMPRESIJE SLIKE ................................................... 24
3.2 VRSTE KOMPRESIJE SLIKE .................................................... 24
3.2.1 Tehnike kompresije bez gubitaka............................................. 25
3.2.1.1 Hafmanovo kodiranje ................................................... 25
3.2.1.1.1 Prednosti Hafmanovog algoritma .................................... 26
3.2.1.1.2 Nedostaci Hafmanovog algoritma ............................... 26
3.2.1.2 Aritmetičko kodiranje .............................................. 26
3.2.1.2.1 Prednosti aritmetičkog kodiranja .............................. 26
3.2.1.2.2 Nedostaci aritmetičkog kodiranja .............................. 26
3.2.1.3 Kodiranje dužine niza.................................................... 27
3.2.2 Tehnike kompresije sa gubicima ............................................ 27
3.2.2.1 Transformacijsko kodiranje............................................. 28
3.2.2.2 Vektorska kvantizacija.................................................. 29
3.2.2.2.1 Prednosti vektorske kvantizacije .................................... 30
3.2.2.2.2 Nedostaci vektorske kvantizacije .................................... 30
3.2.2.3 Fraktalno kodiranje slike................................................ 30
3.3 JPEG ................................................................................. 31
3.4 OCENA KVALITETA KOMPRESOVANE SLIKE................................. 32
3.4.1 Objektivno ocenjivanje kvaliteta slike ........................................ 32
3.4.2 Subjektivno ocenjivanje kvaliteta slike....................................... 33
3.5 VAŽNOST KOMPRESIJE SLIKE U RAČUNARSKOJ GRAFICI ............... 34
4. KOMPRESIJA SLIKE PRIMENOM NEURONSKIH MREŽA .................... 35
4.1 OSNOVI KOMPRESIJE SLIKE PRIMENOM NEURONSKE MREŽE .......... 35
4.2 VRSTE KOMPRESIJE SLIKE PRIMENOM NEURONSKIH MREŽA .......... 36
4.2.1 Backpropagation kompresija slike ............................................ 36
4.2.1.1 Kompresija slike korišćenjem hijerarhijskih backpropagation
neuronskih mreža......................................................................... 38
4.2.1.2 Kompresija slike korišćenjem adaptivnih backpropagation
neuronskih mreža......................................................................... 38
4.2.2 Kompresija slike zasnovana na Hebbian-ovom učenju .................. 39
4.2.3 Neuronske mreže sa vektorskom kvantizacijom ............... 40 4.2.4 Neuronske mreže sa prediktivnim kodiranjem ......................... 40
4.3 PROBLEM DOSADAŠNJIH ISTRAŽIVANJA ................................ 41
5. METODOLOŠKI KONCEPT ISTRAŽIVANJA................................ 43
5.1 PROBLEM ISTRAŽIVANJA .................................................... 43
5.2 PREDMET ISTRAŽIVANJA .................................................... 43
5.3 CILJ ISTRAŽIVANJA ........................................................... 43
5.4 HIPOTEZE ISTRAŽIVANJA..................................................... 44
5.5 METODE ISTRAŽIVANJA ...................................................... 44
6. ALGORITAM REALIZACIJE KOMPRESIJE SLIKE KORIŠĆENJEM BACKPROPAGATION NEURONSKE MREŽE .......................................... 45
6.1 KREIRANJE BACKPROPAGATION NEURONSKE MREŽE ................... 45
6.1.1 Izbor broja neurona po slojevima............................................ 45
6.1.2 Izbor funkcije aktivacije neurona............................................ 46
6.2 PREPROCESIRANJE SLIKE ..................................................... 46
6.2.1 Linearizacija ...................................................................... 47
6.3 PRIPREMA TRENING PAROVA ................................................. 48
6.4 TRENIRANJE MREŽE ............................................................ 48
6.5 KOMPRESIJA ...................................................................... 48
6.6 DEKOMPRESIJA.................................................................... 50
6.7 POSTPROCESIRANJE SLIKE .................................................... 50
7. ALGORITMI UČENJA NEURONSKE MREŽE U KOMPRESIJI STATIČNE SLIKE ....................................................................................... 53
7.1 NAČINI PRIMENE ALGORITAMA UČENJA ................................... 53
7.2 VRSTE ALGORITAMA UČENJA NEURONSKE MREŽE ...................... 54
7.2.1 Gradient Descent algoritam .................................................. 54
7.2.2 Gradient Descent algoritam sa momentumom ........................... 54
7.2.3 Algoritmi brže konvergencije .................................................54
7.2.3.1Backpropagation algoritam sa promenljivim stepenom učenja..... 55
7.2.3.2 Resilient Backpropagation - RPROP ................................ 55
7.2.3.3 Konjugovani gradijent ................................................. 55
7.2.3.3.1 Skalirani konjugovani gradijent ..................................... 55
7.2.3.4 Quasi-Newton-ovi algoritmi ......................................... 56
7.2.3.4.1 BFGS algoritam ......................................................... 56
7.2.3.4.2 Algoritam sečice ....................................................... 56
7.2.3.5 Levenberg-Marquardt algoritam ................................... 57
7.3 PRIMERI PRIMENE ALGORITAMA UČENJA NEURONSKE MREŽE I ANALIZA DOBIJENIH REZULTATA ............................................................ 57
7.3.1 Kompresija stepena 4 ...................................................... 59
7.3.1.1 LL mreža................................................................ 59
7.3.1.2 LP mreža ............................................................... 62
7.3.2 Kompresija stepena 8 ...................................................... 64
7.3.2.1 LL mreža................................................................ 64
7.3.2.2 LP mreža ................................................................ 67
7.3.3 Kompresija stepena 16 ...................................................... 69
7.3.3.1 LL mreža................................................................. 69
7.3.3.2 LP mreža ................................................................ 71
7.3.4 Uticaj sadržaja slike na kompresiju ...................................... 74
7.4 ZAKLJUČNA ANALIZA UTICAJA ALGORITAMA OBUČAVANJA NA KVALITET DEKOMPRESOVANE SLIKE .............................................. 76
7.5 GIBO METODA FORMIRANJA TRENING SKUPA ZA OBUČAVANJE BACKPROPAGATION NEURONSKE MREŽE NAMENJENE KOMPRESIJI STATIČNE SLIKE ...................................................................................... 77
7.5.1 Analiza rezultata primene GIBO metode .................................. 81
7.5.2 Rezultati eksperimenta primene metode inverznog kriterijuma u odnosu na GIBO metodu....................................................................... 82
7.6 KOMPARACIJA GIBO I FORCE LEARN METODE ......................... 83
7.6.1 Način rada Force Learn metode........................................... 83
7.6.2 Razlika Force Learn i GIBO metode ....................................... 83
8. ZAKLJUČAK ...................................................................... 84
9. LITERATURA ..................................................................... 86
10. INDEKS KLJUČNIH REČI ......................................................... 89
11. PRILOG .............................................................................. 89
Magistarski rad “Kompresija slike korišćenjem neuronskih mreža” je nastao kao rezultat autorovog interesovanja u oblasti neuronskih mreža i dužeg upoznavanja sa načinom njihovog funkcionisanja. Upoznavajući se sa oblastima njihove primene, došlo je do interesovanja o njihovoj primeni u računarskoj grafici, a nakon istraživanja postignutih rezultata na polju povezivanja ove dve oblasti, autor je došao do podataka o dosadašnjim iskustvima i rezultatima u jednoj od najviše proučavanih oblasti grafike: kompresiji statične slike.
Ideja autora je da dâ jasan algoritam kojim se postiže kompresija slike korišćenjem tzv. backpropagation neuronskih mreža. Shodno tome, autorov doprinos je posebno istaknut u poglavljima 6 i 7 ovog rada. Posebno se ističe poglavlje 7.5 u kome je autorov doprinos GIBO metoda formiranja trening skupa za obučavanje backpropagation neuronske mreže namenjene realizaciji kompresije statične slike. Prethodna poglavlja daju neophodnu teorijsku osnovu rada.
Ovaj diplomski rad je podeljen u 8 celina.
U prvom delu rada su izložene uvodne napomene, dat je uvod u temu diplomske teze i objašnjeni su razlozi njene izrade.
U drugom poglavlju su dati osnovni principi neuronskih mreža: kraći istorijski razvoj, objašnjenje osnovnih pojmova kao gradivnih komponenti najpre biološkog, a zatim, uz paralelu i veštačkog neurona, vrste neuronskih mreža i njihova primena.
Treće poglavlje daje teorijski pregled tehnika kompresije statične slike, uvodi osnovne elemente koji pri tome figurišu, predstavlja standard kompresije slike – JPEG i daje pregled načina ocene kvaliteta kompresovane slike ističući bitnost tehnika kompresije u računarskoj grafici.
U četvrtom poglavlju su opisani do sada postignuti rezultati kompresije slike korišćenjem neuronskih mreža različitih arhitektura kroz klasifikaciju poznatih tipova neuronskih mreža i problemi njihove primene u datom domenu.
Peto poglavlje postavlja metodološku osnovu rada. U njemu se definiše problem, predmet, cilj, hipoteze i metode ovog istraživanja.
U šestom poglavlju rada je predstavljen algoritam realizacije kompresije statične slike korišćenjem backpropagation neuronske mreže, kroz korak kreiranja same mreže, odnosno definisanja njene arhitekture, preprocesiranja slike, pripreme trening parova kojima će se mreža obučavati, treniranje mreže i konačno kompresiju i dekompresiju slike.
Sedmo poglavlje rada uvodi objašnjenje za najčešće korišćene algoritme obučavanja neuronskih mreža i daje primere njihove primene uz analizu dobijenih rezultata. Primenjeni algoritmi su realizovani u neuronskim mrežama sa 4, 8 i 16 neurona u srednjem sloju, postižući tako stepene kompresije slike redom 16, 8 i 4. Analizom su posebno izdvojeni algoritmi čiji su se rezultati pokazali najefikasnijim. Kao rezultat ovih analiza sledi predlog izmene metode linearizacije prilikom formiranja trening parova za obuku mreže i posebno ispitivanje važnosti dobrog odabira trening slike, pri čemu njen sadržaj ima važnu ulogu u mogućnostima široke primene koju bi ovakav alat trebalo da ima....
Sadržaj:
PREDGOVOR................................................................................ 4
1. UVOD ........................................................................... 6
2. NEURONSKE MREŽE ......................................................... 7
2.1 ISTORIJA RAZVOJA NEURONSKIH MREŽA .............................. 7
2.2 OSNOVE NEURONSKIH MREŽA ............................................ 8
2.2.1 Biološke neuronske mreže ................................................. 8
2.2.2 Veštačke neuronske mreže ............................................... 9
2.3 OSNOVNI ELEMENTI NEURONSKE MREŽE ................................... 11
2.3.1 Neuron .......................................................................... 12
2.3.2 Algoritam učenja .................................................................. 13
2.4 VRSTE NEURONSKIH MREŽA ................................................ 14
2.4.1 Perceptron ......................................................................... 15
2.4.2 Delta pravilo .................................................................... 17
2.4.3 Widrow-Hoff-ovo pravilo učenja ............................................. 18
2.4.4 Generalizovano delta pravilo učenja ........................................ 18
2.5 PRIMENA NEURONSKIH MREŽA ................................................ 22
3. KOMPRESIJA STATIČNE SLIKE ................................................ 24
3.1 OSNOVE KOMPRESIJE SLIKE ................................................... 24
3.2 VRSTE KOMPRESIJE SLIKE .................................................... 24
3.2.1 Tehnike kompresije bez gubitaka............................................. 25
3.2.1.1 Hafmanovo kodiranje ................................................... 25
3.2.1.1.1 Prednosti Hafmanovog algoritma .................................... 26
3.2.1.1.2 Nedostaci Hafmanovog algoritma ............................... 26
3.2.1.2 Aritmetičko kodiranje .............................................. 26
3.2.1.2.1 Prednosti aritmetičkog kodiranja .............................. 26
3.2.1.2.2 Nedostaci aritmetičkog kodiranja .............................. 26
3.2.1.3 Kodiranje dužine niza.................................................... 27
3.2.2 Tehnike kompresije sa gubicima ............................................ 27
3.2.2.1 Transformacijsko kodiranje............................................. 28
3.2.2.2 Vektorska kvantizacija.................................................. 29
3.2.2.2.1 Prednosti vektorske kvantizacije .................................... 30
3.2.2.2.2 Nedostaci vektorske kvantizacije .................................... 30
3.2.2.3 Fraktalno kodiranje slike................................................ 30
3.3 JPEG ................................................................................. 31
3.4 OCENA KVALITETA KOMPRESOVANE SLIKE................................. 32
3.4.1 Objektivno ocenjivanje kvaliteta slike ........................................ 32
3.4.2 Subjektivno ocenjivanje kvaliteta slike....................................... 33
3.5 VAŽNOST KOMPRESIJE SLIKE U RAČUNARSKOJ GRAFICI ............... 34
4. KOMPRESIJA SLIKE PRIMENOM NEURONSKIH MREŽA .................... 35
4.1 OSNOVI KOMPRESIJE SLIKE PRIMENOM NEURONSKE MREŽE .......... 35
4.2 VRSTE KOMPRESIJE SLIKE PRIMENOM NEURONSKIH MREŽA .......... 36
4.2.1 Backpropagation kompresija slike ............................................ 36
4.2.1.1 Kompresija slike korišćenjem hijerarhijskih backpropagation
neuronskih mreža......................................................................... 38
4.2.1.2 Kompresija slike korišćenjem adaptivnih backpropagation
neuronskih mreža......................................................................... 38
4.2.2 Kompresija slike zasnovana na Hebbian-ovom učenju .................. 39
4.2.3 Neuronske mreže sa vektorskom kvantizacijom ............... 40 4.2.4 Neuronske mreže sa prediktivnim kodiranjem ......................... 40
4.3 PROBLEM DOSADAŠNJIH ISTRAŽIVANJA ................................ 41
5. METODOLOŠKI KONCEPT ISTRAŽIVANJA................................ 43
5.1 PROBLEM ISTRAŽIVANJA .................................................... 43
5.2 PREDMET ISTRAŽIVANJA .................................................... 43
5.3 CILJ ISTRAŽIVANJA ........................................................... 43
5.4 HIPOTEZE ISTRAŽIVANJA..................................................... 44
5.5 METODE ISTRAŽIVANJA ...................................................... 44
6. ALGORITAM REALIZACIJE KOMPRESIJE SLIKE KORIŠĆENJEM BACKPROPAGATION NEURONSKE MREŽE .......................................... 45
6.1 KREIRANJE BACKPROPAGATION NEURONSKE MREŽE ................... 45
6.1.1 Izbor broja neurona po slojevima............................................ 45
6.1.2 Izbor funkcije aktivacije neurona............................................ 46
6.2 PREPROCESIRANJE SLIKE ..................................................... 46
6.2.1 Linearizacija ...................................................................... 47
6.3 PRIPREMA TRENING PAROVA ................................................. 48
6.4 TRENIRANJE MREŽE ............................................................ 48
6.5 KOMPRESIJA ...................................................................... 48
6.6 DEKOMPRESIJA.................................................................... 50
6.7 POSTPROCESIRANJE SLIKE .................................................... 50
7. ALGORITMI UČENJA NEURONSKE MREŽE U KOMPRESIJI STATIČNE SLIKE ....................................................................................... 53
7.1 NAČINI PRIMENE ALGORITAMA UČENJA ................................... 53
7.2 VRSTE ALGORITAMA UČENJA NEURONSKE MREŽE ...................... 54
7.2.1 Gradient Descent algoritam .................................................. 54
7.2.2 Gradient Descent algoritam sa momentumom ........................... 54
7.2.3 Algoritmi brže konvergencije .................................................54
7.2.3.1Backpropagation algoritam sa promenljivim stepenom učenja..... 55
7.2.3.2 Resilient Backpropagation - RPROP ................................ 55
7.2.3.3 Konjugovani gradijent ................................................. 55
7.2.3.3.1 Skalirani konjugovani gradijent ..................................... 55
7.2.3.4 Quasi-Newton-ovi algoritmi ......................................... 56
7.2.3.4.1 BFGS algoritam ......................................................... 56
7.2.3.4.2 Algoritam sečice ....................................................... 56
7.2.3.5 Levenberg-Marquardt algoritam ................................... 57
7.3 PRIMERI PRIMENE ALGORITAMA UČENJA NEURONSKE MREŽE I ANALIZA DOBIJENIH REZULTATA ............................................................ 57
7.3.1 Kompresija stepena 4 ...................................................... 59
7.3.1.1 LL mreža................................................................ 59
7.3.1.2 LP mreža ............................................................... 62
7.3.2 Kompresija stepena 8 ...................................................... 64
7.3.2.1 LL mreža................................................................ 64
7.3.2.2 LP mreža ................................................................ 67
7.3.3 Kompresija stepena 16 ...................................................... 69
7.3.3.1 LL mreža................................................................. 69
7.3.3.2 LP mreža ................................................................ 71
7.3.4 Uticaj sadržaja slike na kompresiju ...................................... 74
7.4 ZAKLJUČNA ANALIZA UTICAJA ALGORITAMA OBUČAVANJA NA KVALITET DEKOMPRESOVANE SLIKE .............................................. 76
7.5 GIBO METODA FORMIRANJA TRENING SKUPA ZA OBUČAVANJE BACKPROPAGATION NEURONSKE MREŽE NAMENJENE KOMPRESIJI STATIČNE SLIKE ...................................................................................... 77
7.5.1 Analiza rezultata primene GIBO metode .................................. 81
7.5.2 Rezultati eksperimenta primene metode inverznog kriterijuma u odnosu na GIBO metodu....................................................................... 82
7.6 KOMPARACIJA GIBO I FORCE LEARN METODE ......................... 83
7.6.1 Način rada Force Learn metode........................................... 83
7.6.2 Razlika Force Learn i GIBO metode ....................................... 83
8. ZAKLJUČAK ...................................................................... 84
9. LITERATURA ..................................................................... 86
10. INDEKS KLJUČNIH REČI ......................................................... 89
11. PRILOG .............................................................................. 89