🥇Tehisintellekti kasutamine ülimalt tihendatud piltide jaoks

Andmed juhtivad algoritmid, nagu närvivõrgud, on maailma vallutanud. Nende arengut on tinginud mitmed põhjused, sealhulgas odavad ja võimsad seadmed ning tohutu andmemaht. Närvivõrgud on praegu esirinnas kõikides 'kognitiivsetes' ülesannetes, nagu pildituvastus, looduskeele mõistmine jne. Kuid need ei tohiks piirduda ainult selliste ülesannetega. Käesolevas materjalis käsitletakse, kuidas suruda kokku pilte närvivõrkude abil, kasutades ülejäänud õppimist. Artiklis esitatud lähenemine töötab kiiremini ja paremini kui tavalised koodekid. Skeemid, võrrandid ja muidugi testitulemuste tabel on allpool.

See artikkel põhineb selle töös. Oletatakse, et olete tuttav närvivõrkude ja nende mõistetega konvolutsioon ja kaotuse funktsioon.

Mis on pildikompressioon ja milliseid selle liike on?

Pildikompressioon on protsess, mille käigus muudetakse pilti nii, et see kasutab vähem ruumi. Lihtne piltide salvestamine võtaks palju ruumi, seega on olemas koodekid nagu JPEG ja PNG, mille eesmärk on vähendada algse pildi suurust.

Nagu teada, on olemas kaks tüüpi pildikompressiooni: kaotusteta ja kaotustega. Nagu nimed viitavad, on kaotusteta kompressiooni korral võimalik taastada algpildi andmed, samas kui kaotustega kompressiooni korral kaotatakse mõningad andmed kompressimise käigus. Näiteks on JPG - kaotustega algoritmid [tõlke märk. - peamiselt, ärgem unustagem ka kaotusteta JPEG-d], samas kui PNG on kaotusteta algoritm.

Kaotusteta ja kaotustega kompressiooni võrdlus

Pöörake tähelepanu, et parempoolsel pildil on palju plokkartefakte. See on kadunud teave. Kõrvuti asetsevad sarnaste värvide pikslid kokkusurutakse üheks piirkonnaks ruumi kokkuhoidmiseks, kuid seejärel kaob teave tegelike pikslite kohta. Loomulikult on JPEG, PNG jne koodekite rakendatavates algoritmides palju keerukust, kuid see on hea intuitiivne näide kaotava kompressiooni kohta. Kaotusteta kompressioon on hea, kuid kaotusteta kompresseeritud failid võtavad palju ruumi kettal. On olemas tõhusamad meetodid piltide kompressiooniks, ilma et kaotataks palju teavet, kuid need on üsna aeglased ja paljud rakendavad iteratiivseid lähenemisviise. See tähendab, et neid ei saa käivitada mitme kesk- või graafikaprotsessorite tuumade kaupa. Selline piirang muudab need igapäevases kasutuses täiesti ebapraktiliseks.

Konvolutsioonilise närvivõrgu sisend

Kui midagi tuleb arvutada ja arvutused võivad olla umbkaudsed, lisage närvivõrk. Autorid kasutasid üsna tavalist konvolutsioonilist närvivõrku, et parandada piltide kompressiooni. Esitatud meetod töötab mitte ainult kõige paremate lahendustega samal joonel (kui mitte paremini), vaid see võib samuti kasutada paralleelseid arvutusi, mis viib kiirusprotsessi järsu suurendamiseni. Põhjus on selles, et konvolutsioonilised närvivõrgud (CNN) oskavad väga hästi tuvastada ruumilist teavet piltidest, mis esitatakse seejärel kompaktsemal kujul (näiteks salvestatakse ainult pildi „olulised” bitid). Autorid soovisid kasutada CNN-i seda võimalust, et paremini esindada pilte.

Arhitektuur

Autorid pakkusid välja kahepoolsed võrgud. Esimene võrk võtab sisendiks pildi ja genereerib kompaktse esinduse (ComCNN). Selle võrgustiku väljundit töötleb seejärel tavaline koodek (näiteks JPEG). Pärast koodeki töötlemist edastatakse pilt teise võrku, mis „parandab” koodeki pildi, üritades taastada algset pilti. Autorid nimetavad seda võrku rekonstrueerivaks CNN-iks (RecCNN). Nagu ka GAN, koolitatakse mõlemat võrku iteratiivselt.

ComCNN kompaktne esitus edastatakse tavaliseks koodekiks

RecCNN. ComCNN-i väljundid skaleeritakse suurendamisega ja edastatakse RecCNN-ile, mis püüab õppida ülejäänud osa

Dekooderi väljundid skaleeruvad koos suurendamisega ja edastatakse RecCNN-ile. RecCNN püüab genereerida pilti, mis on originaalile võimalikult sarnane.

Piltide tihendamise läbilaskevõime raamistik. Co(.) on piltide tihendamise algoritm. Autorid kasutasid JPEG, JPEG2000 ja BPG.

Mis on jääk?

Jääk on samm pärast töötlemist, et "parandada" dekooderi poolt dekodeeritud pilti. Suure hulga "teabega" maailma kohta suudab närvivõrk teha kognitiivseid otsuseid, mida parandada. See idee põhineb jääka õpe, mille kohta saate lugeda rohkem üksikasju siin.

Kao funktsioonid

Kaks kaofunktsiooni kasutatakse, kuna meil on kaks närvivõrku. Esimene neist, ComCNN, on tähistatud kui L1 ja määratletud järgmiselt:

ComCNN-i kaofunktsioon

Selgitus

See võrrand võib tunduda keeruline, kuid tegelikult on see standardne (keskmine ruutviga) MSE. ||² tähendab n-maa normi, kuhu nad kuuluvad.

Võrrand 1.1

Cr tähistab ComCNN-i väljundeid. θ tähistab ComCNN-i õpitavaid parameetreid, XK on sisendpilt.

Võrrand 1.2

Re() tähendab RecCNN. See võrrand edastab lihtsalt 1.1 võrrandi väärtuse RecCNN-ile. θ tähistab RecCNN-i õpitavaid parameetreid (kattepealne tähendab, et parameetrid on fikseeritud).

Intuitiivne määratlemine

Võrrand 1.0 sunnib ComCNN-i muutma oma kaalu nii, et pärast vääristamist RecCNN abil näeks lõpppilt võimalikult sarnane sisendpildile. Teine kaofunktsioon RecCNN määratletakse järgmiselt:

Võrrand 2.0

Selgitus

Jälle võib funktsioon tunduda keeruline, kuid enamikul juhtudel on see närvivõrgu standardne kaofunktsioon (MSE).

Võrrand 2.1

Co() tähendab dekooderi väljundit, x kattega tähendab ComCNN-i väljundit. θ2 on RecCNN-i õpitavad parameetrid, res() esindab lihtsalt RecCNN-i jääk väljundit. Oluline on märkida, et RecCNN õpitakse Co() ja sisendpildi vahelise erinevuse põhjal, mitte sisendpildi põhjal.

Intuitiivne määratlemine

Võrrand 2.0 sunnib RecCNN-i muutma oma kaalu nii, et väljundid oleksid võimalikult sarnased sisendpildile.

Õppimise skeem

Mudeleid treenitakse iteratiivselt, sarnaselt GANEsimese mudeli kaalu fikseeritakse, samal ajal kui teise mudeli kaalud uuendatakse; seejärel fikseeritakse teise mudeli kaalud, samal ajal kui esimene mudel õpib.

Testid

Autorid võrdsustasid oma meetodi olemasolevate meetoditega, sealhulgas lihtsate koodekitega. Nende meetod töötab paremini kui teised, säilitades samal ajal kõrge kiirus vastavas seadmes. Lisaks püüdsid autorid kasutada ainult ühte kahest võrku ja märkisid jõudluse langust.

Struktuurilise sarnasuse indeksi (SSIM) võrdlus. Kõrged väärtused viitavad paremale sarnasele originaaliga. Autorite tulemused on esile tõstetud paksus kirjas.

Kokkuvõte

Käsitlesime uut viisi süvaõppe kasutamiseks piltide tihendamiseks, rääkides võimalusest kasutada närvivõrke ülesannetes, mis ei ole "tavalised", näiteks piltide klassifitseerimine ja keele töötlemine. See meetod mitte ainult ei vasta tänapäevastele nõudmistele, vaid võimaldab ka pilte palju kiiremini töödelda.

Närvivõrkude õppimine on muutunud lihtsamaks, sest just meie hublasi jaoks loomulikult pakkusime välja sooduskoodi HABR, mis annab lisaks 10% allahindlusele, mis on näidatud bänneril.