Tá halgartaim sonraí-tiomáinte cosúil le líonraí néaracha tar éis dul i ngleic leis an domhan. Tá a bhforbairt mar gheall ar roinnt cúiseanna, lena n-áirítear trealamh saor agus cumhachtach agus méid ollmhór sonraí. Tá líonraí néaracha ar thús cadhnaíochta faoi láthair i ngach rud a bhaineann le tascanna “cognaíocha” mar aitheantas íomhá, tuiscint teanga nádúrtha, etc. Ach níor cheart iad a bheith teoranta do thascanna den sórt sin. Labhraíonn an t-alt seo faoi conas íomhánna a chomhbhrú ag baint úsáide as líonraí neural, ag baint úsáide as foghlaim iarmharach. Tá an cur chuige a chuirtear i láthair san alt níos tapúla agus níos fearr ná codecs caighdeánach. Scéimeanna, cothromóidí agus, ar ndóigh, tábla le tástálacha faoin gearrtha.
Tá an t-alt seo bunaithe ar oibre. Glactar leis go bhfuil tú eolach ar líonraí neural agus ar a gcoincheapa. convolution и fheidhm caillteanas.
Cad é comhbhrú íomhá agus conas a oibríonn sé?
Is éard is comhbhrú íomhá ann ná an próiseas chun íomhá a thiontú ionas go dtógann sé níos lú spáis. Ní gá ach go leor spáis a stóráil íomhánna a stóráil, agus is é sin an fáth go bhfuil codecs cosúil le JPEG agus PNG ann a bhfuil sé mar aidhm acu méid na híomhá bunaidh a laghdú.
Mar is eol duit, tá dhá chineál comhbhrú íomhá ann: aon chailleadh и le caillteanais. Mar a thugann na hainmneacha le fios, is féidir le comhbhrú gan chailliúint na sonraí íomhá bunaidh a choinneáil, agus cailleann comhbhrú lossy roinnt sonraí le linn comhbhrú. mar shampla, is halgartaim chaillteanas iad JPG [thart. aistrigh. - go bunúsach, ná déanaimis dearmad freisin ar JPEG gan chailliúint], agus is algartam gan chailliúint é PNG.
Comparáid idir comhbhrú lossless agus lossy
Tabhair faoi deara go bhfuil a lán de na déantáin blocky san íomhá ar dheis. Is eolas caillte é seo. Déantar picteilíní comharsanacha de dathanna comhchosúla a chomhbhrú mar limistéar amháin chun spás a shábháil, ach cailltear faisnéis faoi na picteilíní iarbhír. Ar ndóigh, tá na halgartaim a úsáidtear sna codecs JPEG, PNG, etc. i bhfad níos casta, ach is sampla iomasach maith é seo de chomhbhrú caillteach. Tá comhbhrú gan chailliúint go maith, ach tógann comhaid comhbhrúite gan chailliúint go leor spás diosca. Tá bealaí níos fearr chun íomhánna a chomhbhrú gan a lán faisnéise a chailliúint, ach tá siad mall go leor agus úsáideann go leor cineálacha cur chuige atriallach. Ciallaíonn sé seo nach féidir iad a rith ag an am céanna ar ilchodanna LAP nó GPU. Déanann an teorannú seo iad go hiomlán praiticiúil in úsáid laethúil.
Ionchur Líonra Néarach Comhdhlúite
Más gá rud éigin a ríomh agus gur féidir na háirimh a bheith gar, cuir leis . Bhain na húdair úsáid as líonra néarúil comhraonta measartha caighdeánach chun comhbhrú íomhá a fheabhsú. Ní hamháin go bhfeidhmíonn an modh a chuirtear i láthair ar chomhchéim leis na réitigh is fearr (mura bhfuil sé níos fearr), féadfaidh sé ríomhaireacht chomhthreomhar a úsáid freisin, rud a fhágann go dtiocfaidh méadú suntasach ar luas. Is é an chúis atá leis ná go bhfuil Líonraí Néaracha Comhdhlúite (CNNanna) an-mhaith ag baint le faisnéis spásúil a bhaint as íomhánna, a chuirtear i láthair ansin i bhfoirm níos dlúithe (mar shampla, ní chaomhnaítear ach na píosaí "tábhachtacha" den íomhá). Theastaigh ó na húdair an cumas CNN seo a úsáid chun na híomhánna a léiriú níos fearr.
ailtireacht
Mhol na húdair líonra dúbailte. Glacann an chéad líonra íomhá mar ionchur agus gineann sé léiriú dlúth (ComCNN). Ansin déantar aschur an líonra seo a phróiseáil trí chódúchán caighdeánach (m.sh. JPEG). Tar éis an CODEC a bheith próiseáilte, cuirtear an íomhá ar aghaidh chuig dara líonra, a "socraíonn" an íomhá ón gcódaitheoir mar iarracht an íomhá bunaidh a thabhairt ar ais. D'ainmnigh na húdair an líonra seo Reconstructive CNN (RecCNN). Cosúil le GANanna, cuirtear oiliúint atriallach ar an dá líonra.
Cuirtear ionadaíocht dhlúth ComCNN ar aghaidh chuig an gcódaitheoir caighdeánach
RecCNN. Déantar aschur ComCNN a mhéadú agus a thabhairt do RecCNN, a dhéanfaidh iarracht an chuid eile a fhoghlaim
Méadaítear an t-aschur codec agus ansin cuirtear ar aghaidh chuig RecCNN é. Déanfaidh RecCNN iarracht an íomhá a dhéanamh chomh gar don bhunleagan agus is féidir.
Creat comhbhrú íomhá ó cheann go ceann. Is algartam comhbhrú íomhá é Co(.). Bhain na húdair úsáid as JPEG, JPEG2000 agus BPG
Cad is fuílleach ann?
Is féidir smaoineamh ar an gcuid eile mar chéim iar-phróiseála chun an íomhá atá á díchódú ag an gcódaitheoir a "fheabhsú". Agus go leor “faisnéise” aige faoin domhan, is féidir le líonra néarúil cinntí cognaíocha a dhéanamh faoi cad is ceart a shocrú. Tá an smaoineamh seo bunaithe ar , léigh na sonraí ar féidir leat .
Feidhmeanna caillteanas
Úsáidtear an dá fheidhm caillteanais toisc go bhfuil dhá líonra neural againn. Tá lipéad L1 ar an gcéad cheann díobh seo, ComCNN, agus sainmhínítear é mar seo a leanas:
Feidhm caillteanas do ComCNN
Míniú
Seans go bhfuil cuma casta ar an gcothromóid seo, ach is í an chaighdeán atá ann i ndáiríre (earráid chearnógach mheánfhréamh) MSE. ciallaíonn ||² norm an veicteora a chuireann siad faoi iamh.
Cothromóid 1.1
Ciallaíonn Cr aschur ComCNN. θ seasann infhoghlamacht pharaiméadair ComCNN, is é XK an íomhá ionchuir
Cothromóid 1.2
Re() sheasann do RecCNN. Ní thugann an chothromóid seo ach brí chothromóid 1.1 do RecCNN. θ seasann na paraiméadair in-traenála RecCNN (ciallaíonn hata ar a bharr go bhfuil na paraiméadair socraithe).
Sainmhíniú iomasach
Cuirfidh Cothromóid 1.0 faoi deara go n-athróidh ComCNN a chuid meáchain ionas go mbeidh cuma ar an íomhá deiridh chomh cosúil agus is féidir leis an íomhá ionchuir nuair a athchruthaítear é le RecCNN. Sainmhínítear an dara feidhm caillteanais RecCNN mar seo a leanas:
Cothromóid 2.0
Míniú
Arís, d'fhéadfadh cuma casta a bheith ar an bhfeidhm, ach is feidhm chaillteanas líonra néarúil caighdeánach (MSE) í seo don chuid is mó.
Cothromóid 2.1
Co() ciallaíonn aschur CODEC, x le hata ar a bharr ciallaíonn sé aschur ComCNN. Paraiméadair inaistrithe RecCNN iad θ2, res() níl ann ach aschur iarmharach RecCNN. Is fiú a thabhairt faoi deara go bhfuil RecCNN oilte ar an difríocht idir Co() agus an íomhá ionchuir, ach ní ar an íomhá ionchuir.
Sainmhíniú iomasach
Cuirfidh Cothromóid 2.0 faoi deara go n-athróidh RecCNN a meáchain ionas go mbeidh cuma ar an aschur chomh cosúil agus is féidir leis an íomhá ionchuir.
Scéim foghlama
Déantar múnlaí a oiliúint go atriallach, cosúil le . Socraítear meáchain an chéad mhúnla agus meáchain an dara múnla á nuashonrú, ansin socraítear meáchain an dara múnla agus an chéad mhúnla á oiliúint.
Tástálacha
Chuir na húdair a modh i gcomparáid le modhanna a bhí ann cheana, lena n-áirítear codecs simplí. Feidhmíonn a modh níos fearr ná a chéile agus iad ag cothabháil ardluais ar na crua-earraí cuí. Ina theannta sin, rinne na húdair iarracht gan ach ceann amháin den dá líonra a úsáid agus thug siad faoi deara laghdú ar fheidhmíocht.
Comparáid Innéacs Cosúlachta Struchtúrtha (SSIM). Léiríonn luachanna arda cosúlacht níos fearr leis an gceann bunaidh. Léiríonn cló trom toradh obair na n-údar
Conclúid
D’fhéachamar ar bhealach nua le foghlaim dhomhain a chur i bhfeidhm ar chomhbhrú íomhánna, agus labhair muid faoin bhféidearthacht líonraí néaracha a úsáid i dtascanna lasmuigh de thascanna “ginearálta” ar nós rangú íomhá agus próiseáil teanga. Ní hamháin go bhfuil an modh seo níos lú ná ceanglais nua-aimseartha, ach ligeann sé duit íomhánna a phróiseáil i bhfad níos tapúla.
Foghlaim líonraí neural tar éis éirí níos éasca, mar a rinne muid cód promo go háirithe do Habravchan HABR, ag tabhairt lascaine breise 10% ar an lascaine a léirítear ar an mbratach.
Tuilleadh cúrsaí
Ailt faoi Thrácht
Foinse: will.com