Jatorrizko artikulua webgunean argitaratuta dago eta 3DNews-en argitaratua egilearen baimenarekin. Artikuluaren testu osoa eskaintzen dugu, esteka kopuru handi bat izan ezik - gaian serio interesatuta dauden eta argazkilaritza konputazionalaren alderdi teorikoak sakonago aztertu nahi dituztenentzat erabilgarriak izango dira, baina publiko orokorrak material hau erredundantetzat jo genuen.
Gaur egun, telefonoaren aurkezpen bakar bat ere ez dago osorik kamera miazkatu gabe. Hilero entzuten dugu mugikorreko kameren hurrengo arrakastaren berri: Google-k Pixel ilunpetan filmatzen irakasten dio, Huawei prismatikoen antzera zooma egiten, Samsung-ek lidar sartzen du eta Applek munduko bazterrik biribilenak egiten ditu. Egun gutxi dira berrikuntza hain azkar isurtzen den tokirik.
Aldi berean, ispiluak denbora markatzen ari direla dirudi. Sonyk urtero matrize berriekin dutxatzen ditu denei, eta fabrikatzaileek azken bertsioaren zifra alferrik eguneratzen dute eta alboan lasaitzen eta erretzen jarraitzen dute. 3000 $ DSLR bat daukat mahaian, baina bidaiatzen dudanean, iPhonea hartzen dut. Zergatik?
Klasikoak esan bezala, galdera honekin sarean sartu nintzen. Bertan βalgoritmoβ eta βsare neuronalβ batzuk eztabaidatzen dituzte, argazkigintzari nola eragiten dioten ideiarik gabe. Kazetariak ozen irakurtzen ari dira megapixelen kopurua, blogariak ordainpeko unboxing-ak aho batez ikusten ari dira, eta estetak "matrizearen kolore-paletaren pertzepzio sentsualaz" zikintzen ari dira. Dena ohi bezala da.
Eseri behar izan nuen, nire bizitza erdia eman eta dena asmatu behar nuen. Artikulu honetan ikasitakoa kontatuko dizuet.
Zer da argazkilaritza konputazionala?
Nonahi, Wikipedia barne, honelako definizioa ematen dute: argazkilaritza konputazionala eraldaketa optikoen ordez konputazio digitala erabiltzen duen irudiak ateratzeko eta prozesatzeko edozein teknika da. Dena ona da, ezer azaltzen ez duela izan ezik. Foku automatikoa ere egokia da horretarako, baina dagoeneko gauza erabilgarriak ekarri dizkigun plenoptics ez da egokitzen. Badirudi definizio ofizialen lausotasunak zertaz ari garen ideiarik ez dugula aditzera ematen.
Argazkilaritza konputazionalaren aitzindariak, Stanfordeko irakasle Marc Levoy (gaur egun Google Pixeleko kameraren arduraduna dena) beste definizio bat ematen du: argazkilaritza digitalaren gaitasunak hobetzen edo zabaltzen dituzten ordenagailu bidezko bistaratzeko metodoen multzoa, zeinaren bidez argazki arrunt bat lortzen den. teknikoki ezin izan da kamera honekin atera.kamera modu tradizionalean. Artikuluan honi atxikitzen naiz.
Beraz, smartphoneak ziren guztiaren errudun.
Smartphoneek ez zuten beste aukerarik izan argazkilaritza mota berri bat sortzea: argazkilaritza konputazionala.
Haien matrize zaratatsu txikiek eta irekiera moteleko lente txikiek, fisikaren lege guztien arabera, mina eta sufrimendua besterik ez zuten ekarri behar. Hala egin zuten haien garatzaileek beren indarguneak modu adimentsuan nola erabili beren ahuleziak gainditzeko: pertsianak elektroniko azkarrak, prozesadore indartsuak eta softwarea.
Argazkilaritza konputazionalaren alorreko goi mailako ikerketa gehienak 2005 eta 2015 artean gertatu ziren, zientzian atzo hitzez hitz hartzen dena. Oraintxe, gure begien aurrean eta gure poltsikoetan, inoiz existitu ez den ezagutza eta teknologia alor berri bat garatzen ari da.
Argazkilaritza konputazionala ez da neuro-bokeh-ekin egindako selfie-ak soilik. Zulo beltz baten azken argazkia ez zen posible izango argazkilaritza konputazionalaren teknikarik gabe. Teleskopio arrunt batekin halako argazki bat ateratzeko, Lurraren tamainakoa egin beharko genuke. Hala ere, gure bolako puntu ezberdinetan dauden zortzi irrati-teleskopioren datuak konbinatuz eta Python-en gidoi batzuk idatziz, gertaeren horizontearen munduko lehen argazkia lortu genuen. Selfietarako ere ona da.
Hasiera: tratamendu digitala
Imajina dezagun 2007an itzuli ginela. Gure ama anarkia da, eta gure argazkiak monopatine batean ateratako 0,6 megapixeleko jeep zaratatsuak dira. Orduantxe dugu aurreezarpenak zipriztindu ahal izateko lehen nahi ezin eutsia matrize mugikorren miserablea ezkutatzeko. Ez gaitezen geure buruari uko egin.
Matan eta Instagram
Instagram kaleratzearekin batera, denak iragazkiekin obsesionatu ziren. X-Pro II, Lo-Fi eta Valencia alderantzizko ingeniaritza egin zuen, noski, ikerketa helburuetarako, oraindik gogoan dut hiru osagaiz osatuta zeudela:
- Kolore ezarpenak (Tonabardura, Saturazioa, Argitasuna, Kontrastea, Mailak, etab.) - koefiziente digital sinpleak, argazkilariek antzinatik erabili dituzten aurrezarpenak bezalakoak.
- Tone Mappings balioen bektoreak dira, eta horietako bakoitzak esan zigun: "128ko Γ±abardura duen kolore gorria 240ko Γ±abardura bihurtu behar da".
- Gainjarri bat hautsa, alea, bineta eta gainean jar daitekeen beste guztia duen argazki zeharrargi bat da, film zahar baten efektu batere hutsala lortzeko. Ez zegoen beti presente.
Iragazki modernoak ez daude hirukote honetatik urrun, matematikan apur bat konplexuago bihurtu dira. Smartphoneetan hardware-shaders eta OpenCL-en etorrerarekin, azkar berridatzi ziren GPUrako, eta hau oso polita izan zen. 2012rako, noski. Gaur egun, edozein ikaslek gauza bera egin dezake CSSn, eta oraindik ez du graduondoko aukerarik izango.
Hala ere, iragazkien aurrerapena ez da gelditu gaur. Dehanserreko mutilak, adibidez, bikainak dira iragazki ez-linealak erabiltzen: tonu-mapa proletarioaren ordez, eraldaketa ez-lineal konplexuagoak erabiltzen dituzte, eta horrek, haien ustez, askoz ere aukera gehiago zabaltzen ditu.
Eraldaketa ez-linealekin gauza asko egin ditzakezu, baina ikaragarri konplexuak dira, eta gizakiok izugarri ergelak gara. Zientziaren eraldaketa ez-linealei dagokienez, nahiago dugu zenbakizko metodoetara jo eta sare neuronalak nonahi bildu, maisulanak idatzi ditzaten. Hemen ere berdina izan zen.
Automatizazioa eta "maisulan" botoi baten ametsak
Denak iragazkietara ohitu ondoren, zuzenean kameretan eraikitzen hasi ginen. Historiak ezkutatzen du zein fabrikatzaile izan zen lehena, baina zenbat denbora izan zen ulertzeko - 5.0n kaleratu zen iOS 2011-n, dagoeneko bazegoen irudiak hobetzeko API publiko bat. Jobsek bakarrik daki zenbat denbora egon zen erabiltzen jendaurrera ireki aurretik.
Automatizazioak gutako bakoitzak argazki bat editorean irekitzean egiten duen gauza bera egin zuen: argi eta itzalen hutsuneak atera zituen, saturazioa gehitu zuen, begi gorriak kendu eta azala finkatu zuen. Erabiltzaileak ez ziren konturatu smartphone berriko "kamera nabarmen hobetua" itzaltzaile berri batzuen meritua besterik ez zela. Oraindik bost urte falta ziren Google Pixel kaleratu eta argazkilaritza konputazionalaren gorakada hasi baino lehen.
Gaur egun, "maisu-lanaren" botoiaren borroka ikaskuntza automatikoaren eremura joan da. Tonu-maparekin nahikoa jolastu ondoren, denek korrika egin zuten CNN eta GAN-ak erabiltzailea beharrean graduatzaileak mugitzeko trebatzera. Beste era batera esanda, sarrerako iruditik, zehaztu irudi hau "argazkilaritza onaren" ulermen subjektibo jakin batera hurbilduko duten parametro optimoen multzoa. Pixelmator Pro berean eta beste editoreetan inplementatuta. Funtzionatzen du, asma dezakezun bezala, ez oso ondo eta ez beti.
Mugikorren kameren arrakastaren %90 pilatzea da
Benetako argazkilaritza konputazionala pilatzen hasi zen: hainbat argazki bata bestearen gainean jarriz. Smartphone batentzat ez da arazo bat segundo erdian dozena bat fotograma klik egitea. Haien kamerek ez dute zati mekaniko motelik: irekiera finkoa da, eta mugitzen den gortina baten ordez obturadore elektroniko bat dago. Prozesadoreak fotoi basatiak zenbat mikrosegundo harrapatu behar dituen matrizeari agintzen dio, eta emaitza irakurtzen du.
Teknikoki, telefonoak bideoaren abiaduran atera ditzake argazkiak, eta argazkien bereizmenean bideoak, baina dena autobusaren eta prozesadorearen abiaduraren araberakoa da. Horregatik beti ezartzen dituzte programaren mugak.
Staking bera gurekin dago aspalditik. Nahiz eta aitonek pluginak instalatu zituzten Photoshop 7.0-n hainbat argazki HDR deigarri batean biltzeko edo 18000 Γ 600 pixeleko panorama bat lotzeko eta... egia esan, inork ez zuen asmatu zer egin ondoren. Pena zen garaiak aberatsak eta basatiak izatea.
Orain heldu bihurtu gara eta "epsilon argazkilaritza" deitzen diogu: kameraren parametroetako bat (esposizioa, fokua, posizioa) aldatuz eta ondoriozko fotogramak elkartuz, fotograma batean atera ezin den zerbait lortzen dugunean. Baina hau teorikoentzako terminoa da; praktikan, beste izen bat errotu da: apustua. Gaur egun, hain zuzen ere, mugikorren kameren berrikuntza guztien %90 horretan oinarritzen dira.
Jende askok pentsatzen ez duen zerbait, baina mugikorretarako eta informatikako argazkigintza guztia ulertzeko garrantzitsua da: telefono moderno baten kamera bere aplikazioa ireki bezain pronto hasten da argazkiak ateratzen. Hori logikoa da, irudia pantailara nolabait transferitu behar duelako. Hala ere, pantailaz gain, bereizmen handiko fotogramak gordetzen ditu bere begizta-buffer batean, non segundo pare bat gehiagoz gordetzen dituen.
"Atera argazkia" botoia sakatzen duzunean, benetan dagoeneko aterata dago, kamerak bufferreko azken argazkia besterik ez du ateratzen.
Horrela funtzionatzen du gaur egun edozein mugikorreko kamerak. Enblematiko guztietan behintzat ez zaborrontzietatik. Buffering-ak aukera ematen du argazkilariek aspaldi amesten zuten obturadorearen atzerapena ez ezik, baita negatiboa ere konturatzen: botoi bat sakatzen duzunean, telefonoak iraganera begiratzen du, azken 5-10 argazkiak bufferetik deskargatzen ditu eta amorruz aztertzen hasten da. eta itsatsi. Ez da gehiago itxaron telefonoak HDR edo gaueko modurako fotogramak sakatu arte; hartu bufferetik, erabiltzaileak ez du jakingo ere.
Bide batez, obturadorearen atzerapen negatiboaren laguntzarekin Live Photo inplementatzen da iPhoneetan, eta HTC-k antzeko zerbait izan zuen 2013an Zoe izen arraroarekin.
Esposizioa pilatzea - ββHDR eta distira aldaketen aurka borrokatzea
Kameraren sentsoreak gure begietara iristen den distira sorta osoa harrapatzeko gai diren ala ez eztabaida-gai zahar bat da. Batzuek ezetz diote, begia 25 f-stop ikusteko gai delako, eta goiko fotograma osoko matrize batetik ere gehienez 14 lor ditzakezu. Beste batzuek konparaketa oker deritzote, garunak begiari laguntzen diolako automatikoki egokituz. ikaslea eta irudia bere sare neuronalekin osatuz, eta instantea Begiaren barruti dinamikoa, egia esan, 10-14 f-stop baino ez da. Utz diezaiogun eztabaida hau Interneteko besaulki pentsalari onenen esku.
Kontua da: lagunak zeru distiratsu baten aurka filmatzen dituzunean edozein kamera mugikorrekin HDRrik gabe, zeru arrunta eta lagunen aurpegi beltzak lortzen dituzu, edo ondo marraztutako lagunak, baina zerua kiskalita.
Irtenbidea aspaldi asmatua da: distira sorta zabaltzea HDR (Barruti dinamiko handia) erabiliz. Hainbat fotograma hartu behar dituzu obturazio-abiadura desberdinetan eta elkarrekin josi. Beraz, bat "normala" da, bigarrena argiagoa, hirugarrena ilunagoa. Leku ilunak marko argi batetik hartzen ditugu, gainesposizioak bete ilun batetik - irabaziak. Bakarrik geratzen da parentesi automatikoaren arazoa konpontzea - ββzenbat desplazatu fotograma bakoitzaren esposizioa gehiegi ez egiteko, baina orain unibertsitate teknikoko bigarren urteko ikasle batek argazki baten batez besteko distira zehaztea ahalbidetzen du.
Azken iPhone, Pixel eta Galaxy-n, HDR modua, oro har, automatikoki aktibatzen da kamera barruko algoritmo sinple batek egun eguzkitsu batean kontrastearekin zerbait filmatzen ari zarela zehazten duenean. Telefonoak grabazio modua bufferera nola aldatzen duen ere nabari dezakezu esposizioan desplazatutako fotogramak gordetzeko - kamerako fps-ak jaisten dira eta argazkia bera mamitsuagoa bihurtzen da. Aldaketa-unea argi ikusten da nire iPhone X-n kanpoan filmatzen ari naizenean. Begiratu arretaz zure telefonoari hurrengoan ere.
HDR-ren desabantaila esposizioaren parentesiarekin bere ezintasun penetrezina da argiztapen txarrean. Gelako lanpara baten argiarekin ere, markoak hain ilun geratzen dira, non ordenagailuak ezin ditu lerrokatu eta josi. Argiarekin arazoa konpontzeko, 2013an Google-k HDRren beste ikuspegi bat erakutsi zuen orduan kaleratutako Nexus telefonoan. Denbora pilaketa erabili zuen.
Denbora pilaketa - esposizio luzeko simulazioa eta denbora-tartea
Denbora pilatzeak esposizio luze bat sortzeko aukera ematen du labur batzuen bidez. Aitzindariak gaueko zeruko izar-arrastoak argazkilaritzaren zaleak ziren, eta deserosoa iruditu zitzaien pertsiana bi orduz aldi berean irekitzea. Hain zaila zen ezarpen guztiak aldez aurretik kalkulatzea, eta astindurik txikienak fotograma osoa hondatuko zuen. Pertsiana minutu pare batez bakarrik irekitzea erabaki zuten, baina askotan, eta gero etxera joan ziren eta ondoriozko fotogramak Photoshop-en itsatsi zituzten.
Ematen du kamerak ez duela inoiz obturadorearen abiadura luzean filmatu, baina simulatzeko efektua lortu dugu segidan hartutako hainbat fotograma batuz. Aspaldi daude trikimailu hau erabiltzen duten telefonoetarako idatzitako aplikazio mordoa, baina denak ez dira beharrezkoak eginbidea kamera estandar ia guztietan gehitu zenetik. Gaur egun, iPhone batek ere erraz lotu dezake Live Photo batetik esposizio luze bat.
Itzul gaitezen Google-ra bere gaueko HDRrekin. Agertu zen denbora tartea erabiliz HDR ona inplementa dezakezula iluntasunean. Teknologia Nexus 5-en agertu zen lehen aldiz eta HDR+ deitzen zen. Gainontzeko Android telefonoek opari gisa jaso zuten. Teknologia oso ezaguna da oraindik, azken Pixelen aurkezpenean ere goraipatzen den.
HDR+ funtzionatzen du: iluntasunean filmatzen ari zarela zehaztuta, kamerak bufferretik azken 8-15 RAW argazkiak deskargatzen ditu, bata bestearen gainean jartzeko. Horrela, algoritmoak koadroaren eremu ilunei buruzko informazio gehiago biltzen du zarata minimizatzeko - pixelak, non, arrazoiren batengatik, kamerak ezin izan zuen informazio guztia bildu eta gaizki joan zen.
Kapibara bat nolakoa den jakingo ez bazenu eta bost pertsonari hura deskribatzeko eskatuko bazenu, haien istorioak gutxi gorabehera berdinak izango lirateke, baina bakoitzak xehetasun bereziren bat aipatuko luke. Horrela informazio gehiago bilduko zenuke bat galdetzea baino. Berdin gertatzen da pixelekin.
Puntu batetik hartutako fotogramak gehitzeak goiko izarrekin duen esposizio luzeko efektu berdina ematen du. Dozenaka fotogramaren esposizioa laburbiltzen da, batean akatsak besteetan gutxitzen dira. Imajinatu zenbat aldiz klik egin beharko zenukeen DSLR obturagailua hori lortzeko.
Koloreen zuzenketa automatikoaren arazoa konpontzea besterik ez zen geratzen: iluntasunean hartutako fotogramak horia edo berdea izaten dira normalean, eta egun argiaren aberastasuna nahi dugu. HDR+-ren lehen bertsioetan, ezarpenak doituz konpontzen zen, Instagram-eko iragazkietan bezala. Gero, neurona sareei dei egin diete laguntzeko.
Horrela agertu zen Night Sight - Pixel 2 eta 3-n "gau argazkilaritza" teknologia. Deskribapenean esaten dute: "HDR+en gainean eraikitako makina ikasteko teknikak, Night Sight funtzionatzen dutenak". Funtsean, koloreak zuzentzeko etaparen automatizazioa da. Makina "aurreko" eta "ondoren" argazkien datu-multzo batean trebatu zen, edozein argazki makur ilunetatik eder bat egiteko.
Bide batez, datu multzoa jendaurrean jarri zen. Agian Apple-ko mutilek hartuko dute eta azkenean kristalezko palei ilunpetan argazkiak behar bezala ateratzen irakatsiko diete.
Horrez gain, Night Sight-ek markoko objektuen mugimendu-bektorearen kalkulua erabiltzen du obturazio-abiadura luzearekin ziur gertatuko den lausotasuna normalizatzeko. Beraz, telefonoak beste fotograma batzuetatik zati argiak hartu eta itsatsi ditzake.
Mugimendu-pilaketa: panorama, superzoom eta zarata murriztea
Panorama landa eremuetako biztanleentzako entretenimendu ezaguna da. Historiak oraindik ez du ezagutzen txistorra argazki bat bere egilea ez den beste edonorentzat interesgarria izango den kasurik, baina ezin da alde batera utzi; askorentzat, hemen hasi zen pilaketa.
Panorama bat erabiltzeko lehen modu erabilgarria kameraren matrizeak onartzen duen baino bereizmen handiagoko argazki bat lortzea da, hainbat fotograma elkartuz. Argazkilariek aspalditik erabiltzen dute software desberdinak bereizmen handiko argazkietarako - pixka bat desplazatutako argazkiak pixelen artean elkarren osagarri direla dirudienean. Horrela, gutxienez ehunka gigapixeleko irudia lor dezakezu, eta hori oso erabilgarria da etxe baten tamainako publizitate kartel batean inprimatu behar baduzu.
Beste ikuspegi interesgarriagoa Pixel Shifting da. Sony eta Olympus bezalako ispilu gabeko kamera batzuk 2014an hasi ziren onartzen, baina oraindik eskuz itsatsi behar izan zuten emaitza. Kamera handien ohiko berrikuntzak.
Telefono adimendunek hemen arrakasta izan dute arrazoi dibertigarri batengatik: argazki bat ateratzen duzunean, eskuak dardarka. Itxuraz arazo hau telefonoetan super bereizmen natiboa ezartzeko oinarria izan zen.
Honek nola funtzionatzen duen ulertzeko, edozein kameraren matrizea nola egituratzen den gogoratu behar duzu. Bere pixel bakoitza (fotodiodoa) argiaren intentsitatea bakarrik grabatzeko gai da, hau da, sarrerako fotoi kopurua. Hala ere, pixel batek ezin du bere kolorea (uhin-luzera) neurtu. RGB argazki bat lortzeko, makuluak gehitu behar izan ditugu hemen ere: estali matrize osoa kolore anitzeko kristalezko zati batekin. Bere ezarpen ezagunena Bayer iragazkia deitzen da eta gaur egun matrize gehienetan erabiltzen da. Beheko irudiaren itxura du.
Ematen du matrizeko pixel bakoitzak R-, G- edo B osagaia bakarrik harrapatzen duela, gainerako fotoiak Bayer iragazkiak errukirik gabe islatzen dituelako. Falta diren osagaiak antzematen ditu ondoko pixelen balioen batez bestekoa garbi eginez.
Bayer iragazkian zelula berde gehiago daude - hau giza begiaren analogia bidez egin zen. Bihurtzen da matrizeko 50 milioi pixeletatik berdeak 25 milioi harrapatuko dituela, gorria eta urdina - 12,5 milioi bakoitza. Gainontzekoa batez bestekoa izango da - prozesu honi debayerization edo demosaicing deitzen zaio eta hau da makulu dibertigarri lodi bat. dena atseden hartzen duena.
Izan ere, matrize bakoitzak bere demosaicing algoritmo patentatu maltzurra du, baina istorio honen helburuetarako hori alde batera utziko dugu.
Beste matrize-mota batzuk (adibidez, Foveon-ek) ez dute oraindik harrapatu. Fabrikatzaile batzuk Bayer iragazkirik gabeko sentsoreak erabiltzen saiatzen ari diren arren, zorroztasuna eta barruti dinamikoa hobetzeko.
Argi gutxi dagoenean edo objektu baten xehetasunak oso txikiak direnean, informazio asko galtzen dugu Bayer iragazkiak nahi ez diren uhin-luzera duten fotoiak nabarmen mozten dituelako. Horregatik sortu zuten Pixel Shifting - matrizea pixel 1 gora-behera-eskuin-ezkerrera aldatuz denak harrapatzeko. Kasu honetan, argazkia ez da 4 aldiz handiagoa izango, dirudienez, prozesadoreak datu hauek erabiltzen ditu pixel bakoitzaren balioa zehaztasun handiagoz grabatzeko. Batez bestekoa ez da bere ingurukoen gainean, nolabait esateko, bere buruaren lau balio baino gehiago.
Telefonoz argazkiak ateratzerakoan eskuak astintzeak prozesu hau ondorio naturala bihurtzen du. Google Pixel-en azken bertsioetan, gauza hau inplementatzen da eta telefonoan zooma erabiltzen duzun bakoitzean aktibatzen da - Super Res Zoom deitzen da (bai, haien izen errukigabea ere gustatzen zait). Txinatarrek euren laofonoetan ere kopiatu zuten, nahiz eta apur bat okerragoa izan.
Pixka bat desplazatutako argazkiak bata bestearen gainean gainjartzeak pixel bakoitzaren koloreari buruzko informazio gehiago biltzeko aukera ematen du, hau da, zarata murriztea, zorroztasuna areagotzea eta bereizmena igotzea matrizearen megapixelen kopuru fisikoa handitu gabe. Android enblematiko modernoek automatikoki egiten dute, erabiltzaileek horretan pentsatu ere egin gabe.
Fokua pilatzea - ββedozein eremu-sakonera eta birfokatu postprodukzioan
Metodoa makro argazkigintzatik dator, non eremu-sakonera txikia beti arazo bat izan den. Objektu osoa fokatuta egon dadin, hainbat fotograma hartu behar zenituen fokua aurrera eta atzera mugituz, eta, ondoren, zorroztasunez josi. Metodo bera erabili ohi zuten paisaia argazkilariek, lehen planoa eta atzeko planoa beherakoa bezain zorrotzak eginez.
Hau guztia mugikorretara ere pasatu da, nahiz eta txalo handirik gabe. 2013an, Nokia Lumia 1020 "Refocus App"rekin kaleratu zen, eta 2014an, Samsung Galaxy S5 "Selective Focus" moduarekin. Eskema beraren arabera egin zuten lan: botoi bat sakatuz, azkar 3 argazki atera zituzten: bata foku "normala" zuena, bigarrena fokua aurrera eramanez eta hirugarrena fokua atzeratuta. Programak fotogramak lerrokatu zituen eta horietako bat hautatzeko aukera ematen zuen, postprodukzioan foku "benetako" kontrol gisa adierazi zena.
Ez zen prozesatu gehiago izan, hack soil hau ere nahikoa baitzen Lytroren eta bere kideen estalkian beste iltze bat sartzeko beren birfokatze zintzoarekin. Bide batez, hitz egin dezagun horietaz (trantsizio-maisua 80 lvl).
Matrize konputazionalak - eremu argiak eta plenoptika
Goian ulertu dugunez, gure matrizeak izua dira makuluetan. Ohitu egin ginen eta horrekin bizitzen saiatzen ari gara. Haien egitura gutxi aldatu da denboraren hasieratik. Prozesu teknikoa hobetu dugu soilik: pixelen arteko distantzia murriztu dugu, interferentzia zarataren aurka borrokatu eta pixel bereziak gehitu ditugu faseak detektatzeko autofokatzerako. Baina DSLR garestiena ere hartu eta harekin korrika egiten ari den katu bati argazkia egiten saiatzen bazara gela argitan, katuak irabaziko du.
Aspalditik gabiltza zerbait hobea asmatzen. Arlo honetako saiakera eta ikerketa asko "sentsore konputazionala" edo "bayer ez den sentsore" bilakatzen dira, eta goiko Pixel Shifting adibidea ere kalkuluak erabiliz matrizeak hobetzeko saiakerei egotzi diezaieke. Hala ere, azken hogei urteotako istoriorik itxaropentsuenak, hain zuzen, kamera plenoptiko deritzonen mundutik heldu zaizkigu.
Datorren hitz konplexuen aurreikuspenetik lokartu ez zaitezen, azken Google Pixel-en kamera "apur bat" plenoptikoa dela adieraziko dut. Bi pixel besterik ez, baina honek ere bigarren kamerarik gabe markoaren sakonera optiko zuzena kalkulatzeko aukera ematen du, beste guztiek bezala.
Plenoptics oraindik tiro egin ez duen arma indartsua da. Hona hemen nire azken gogokoenetako baten esteka. , nondik mailegatu nituen adibideak.
Plenoptic kamera - laster egongo da
1994an asmatua, 2004an Stanforden bildua. Kontsumorako lehen kamera, Lytro, 2012an atera zen. VR industria aktiboki esperimentatzen ari da antzeko teknologiekin.
Kamera plenoptikoa ohiko kamera batetik desberdintzen da aldaketa bakarrean - bere matrizea lente-sare batekin estaltzen da, eta horietako bakoitzak benetako pixel batzuk hartzen ditu. Honelako zerbait:
Saretik matrizerako distantzia eta irekiduraren tamaina ondo kalkulatzen badituzu, azken irudiak pixel multzo argiak izango ditu - jatorrizko irudiaren mini-bertsio modukoak.
Ematen du, adibidez, kluster bakoitzetik erdiko pixel bat hartu eta irudia horiek erabiliz soilik itsatsi ezkero, kamera arrunt batekin ateratakoaren desberdina izango dela. Bai, bereizmen apur bat galdu dugu, baina matrize berrietan megapixel gehiago gehitzeko eskatuko diogu Sonyri.
Dibertsioa hasi besterik ez da egin. Multzo bakoitzetik beste pixel bat hartu eta argazkia berriro josten baduzu, argazki normal bat lortuko duzu berriro, pixel bateko desplazamenduarekin aterako balitz bezala. Horrela, 10 Γ 10 pixeleko multzoak izanik, objektuaren 100 irudi lortuko ditugu puntu βapur batβ ezberdinetatik.
Kluster tamaina handiagoak irudi gehiago esan nahi du, baina bereizmen txikiagoa. 41 megapixeleko matrizeak dituzten telefono adimendunen munduan, bereizmena apur bat alde batera utzi dezakegun arren, dena dago muga. Oreka mantendu behar duzu.
Ados, kamera plenoptikoa muntatu dugu, beraz, zer ematen digu horrek?
Birfokatze zintzoa
Kazetari guztiek Lytro-ri buruzko artikuluetan burrunba egiten zuten ezaugarria postprodukzioan fokua zintzotasunez doitzeko gaitasuna zen. Azoka bidez esan nahi dugu ez dugula lausotze-algoritmorik erabiltzen, baizik eta esku artean ditugun pixelak soilik erabiltzen ditugula, klusterren artean behar den ordenan hautatuz edo batez bestekoa eginez.
Kamera plenoptiko baten RAW argazkilaritza arraroa dirudi. Ohiko jeep zorrotza bertatik ateratzeko, lehenik muntatu behar duzu. Horretarako, jeep-aren pixel bakoitza RAW kluster batetik hautatu behar duzu. Horiek aukeratzen ditugunaren arabera, emaitza aldatu egingo da.
Esaterako, klusterra zenbat eta urrunago dagoen jatorrizko habearen intzidentzia-puntutik, orduan eta fokuago dago habe hori. Optika delako. Fokua aldatutako irudi bat lortzeko, pixelak hautatu behar ditugu jatorrizkotik nahi den distantziara, hurbilago edo urrunago.
Zailagoa zen fokua norberarengana aldatzea; fisikoki hutsa, klusteretan horrelako pixel gutxiago zeuden. Hasieran, garatzaileek ez zioten erabiltzaileari eskuekin fokatzeko gaitasunik eman nahi izan; kamerak berak erabaki zuen hori softwarean. Erabiltzaileei ez zitzaien etorkizun hau gustatu, beraz, geroago "sormen modua" izeneko firmwarean eginbide bat gehitu zuten, baina oso mugatua egin zuten berrantolaketa hori, hain zuzen ere horregatik.
Sakonera-mapa eta 3D kamera batetik
Plenoptikaren eragiketa errazenetako bat sakontasun-mapa lortzea da. Horretarako, bi fotograma ezberdin bildu eta haietako objektuak zenbat desplazatzen diren kalkulatu besterik ez duzu behar. Desplazamendu gehiago kameratik urrunago esan nahi du.
Duela gutxi Google-k Lytro erosi eta hil zuen, baina bere teknologia erabili zuen bere VRrako eta... Pixel kamerarako. Pixel 2-rekin hasita, kamera "apur bat" plenoptiko bihurtu zen lehen aldiz, bi pixel baino ez dituzten multzoekin bada ere. Honek Google-ri aukera eman zion bigarren kamera bat ez instalatzeko, beste mutil guztiek bezala, baizik eta sakonera-mapa argazki batetik soilik kalkulatzeko.
Sakonera-mapa azpipixel batez desplazatutako bi fotograma erabiliz eraikitzen da. Hau nahikoa da sakonera-mapa bitar bat kalkulatzeko eta lehen planoa atzealdetik bereizteko eta azken hori lausotzeko orain modan dagoen bokeh-an. Geruza horren emaitza ere leuntzen eta "hobetzen" da sakonera-mapak hobetzeko trebatuta dauden neurona-sareek (eta ez lausotu, jende askok uste duen bezala).
Trikimailua da ia dohainik lortu dugula telefono adimendunetan plenoptics. Dagoeneko matrize txiki horietan lenteak jarri ditugu argi-fluxua nolabait handitzeko. Hurrengo Pixelean, Google-k urrunago joan eta lau fotodiodo lente batekin estali nahi ditu.
Iturria: 3dnews.ru