Die oorspronklike artikel word op die webwerf geplaas en gepubliseer op 3DNuus met die toestemming van die skrywer. Ons verskaf die volledige teks van die artikel, met die uitsondering van 'n groot aantal skakels - dit sal nuttig wees vir diegene wat ernstig in die onderwerp belangstel en die teoretiese aspekte van rekenaarfotografie in meer diepte wil bestudeer, maar ons het oorweeg hierdie materiaal oorbodig vir 'n wye gehoor.
Vandag is nie 'n enkele aanbieding van 'n slimfoon voltooi sonder om sy kamera te lek nie. Elke maand hoor ons van nog 'n sukses van mobiele kameras: Google leer Pixel hoe om in die donker te skiet, Huawei zoem soos 'n verkyker, Samsung sit lidar in, en Apple maak die wêreld se rondste hoeke. Daar is min plekke waar innovasie nou so vrymoedig vloei.
Dit lyk of spieëls terselfdertyd tyd merk. Sony stort almal elke jaar met nuwe matrikse, en vervaardigers werk luilekker die nuutste syfer van die weergawe op en gaan voort om ontspanne langs die kantlyn te rook. Ek het 'n $3000 XNUMX DSLR op my lessenaar, maar as ek reis, neem ek 'n iPhone. Hoekom?
Soos die klassieke gesê het, het ek aanlyn gegaan met hierdie vraag. Sommige "algoritmes" en "neurale netwerke" word daar bespreek, met geen idee hoe presies dit fotografie beïnvloed nie. Joernaliste het die aantal megapixels hardop voorgelees, bloggers het betaalde unboxings in koor gesien, en estetiese smeer hulself met “sensuele persepsie van die kleurpalet van die matriks”. Alles is soos gewoonlik.
Ek moes gaan sit, die helfte van my lewe spandeer en dit self uitvind. In hierdie artikel sal ek jou vertel wat ek geleer het.
Wat is rekenaarfotografie?
Oral, insluitend Wikipedia, gee hulle so iets: rekenaarfotografie is enige tegniek vir die vaslegging en verwerking van beelde, waar digitale berekeninge gebruik word in plaas van optiese transformasies. Alles daaraan is goed, behalwe dat dit niks verduidelik nie. Selfs outofokus pas daaronder, maar plenoptika, wat ons al baie nuttige dinge gebring het, pas nie. Die vaagheid van amptelike definisies dui as 't ware daarop dat ons geen idee het waarvan ons praat nie.
Rekenkundige fotografie-pionier Stanford Professor Marc Levoy (wat nou in beheer is van die kamera by Google Pixel) gee 'n ander definisie - 'n stel rekenaarbeeldtegnieke wat die vermoëns van digitale fotografie verbeter of uitbrei, wat, wanneer dit gebruik word, lei tot 'n gereelde foto wat tegnies nie op die tradisionele manier op hierdie kamera geneem kon word nie. In die artikel hou ek daarby.
So, slimfone was die skuld vir alles.
Slimfone het geen ander keuse gehad as om lewe te gee aan 'n nuwe soort fotografie nie: rekenaarfotografie.
Hul klein raserige matrikse en klein lensies sonder diafragma moes volgens al die wette van fisika net pyn en lyding meegebring het. Hulle het, totdat hul ontwikkelaars uitgevind het hoe om hul sterkpunte slim te gebruik om hul swakpunte te oorkom – vinnige elektroniese luike, kragtige verwerkers en sagteware.
Die meeste hoëprofielnavorsing op die gebied van rekenaarfotografie val op 2005-2015, wat in die wetenskap letterlik gister beskou word. Op die oomblik, voor ons oë en in ons sakke, word 'n nuwe veld van kennis en tegnologie ontwikkel wat nooit bestaan het nie.
Rekenkundige fotografie gaan nie net oor neuro-bokeh-selfies nie. Die onlangse foto van 'n swart gat sou nie moontlik gewees het sonder rekenaarfotografietegnieke nie. Om so 'n foto met 'n konvensionele teleskoop te neem, sal ons dit die grootte van die Aarde moet maak. Deur egter die data van agt radioteleskope op verskillende punte van ons ballon te kombineer en 'n paar luislangskrifte te skryf, het ons die wêreld se eerste foto van die gebeurtenishorison gekry. Goed vir selfies ook.
Begin: digitale verwerking
Kom ons verbeel ons dat ons die 2007ste teruggekeer het. Ons ma is anargie en ons foto's is raserige 0,6MP-jeeps wat op 'n skaatsplank geskiet is. Rondom daardie tyd het ons die eerste onweerstaanbare begeerte om voorafinstellings daarop te gooi om die ellende van mobiele matrikse weg te steek. Laat ons onsself nie verloën nie.
matan en instagram
Met die vrystelling van Instagram is almal behep met filters. As iemand wat die X-Pro II, Lo-Fi en Valencia omgekeerd ontwerp het vir natuurlik navorsing (ek) doeleindes, onthou ek steeds dat hulle uit drie komponente bestaan het:
- Kleurinstellings (Tint, Versadiging, Ligte, Kontras, Vlakke, ens.) is eenvoudige numeriese verhoudings, net soos enige voorafinstelling wat fotograwe sedert antieke tye gebruik het.
- Tone Mappings - vektore van waardes, wat elkeen vir ons gesê het: "Rooi met 'n tint van 128 moet in 'n tint van 240 verander word."
- Overlay - 'n deurskynende prentjie met stof, korrel, vignet, en alles anders wat bo-op geplaas kan word om die effek van 'n ou film te kry wat glad nie banaal is nie. Was nie altyd teenwoordig nie.
Moderne filters is nie ver van hierdie drie af nie, net hulle het 'n bietjie meer ingewikkeld geword in wiskunde. Met die koms van hardeware-shaders en OpenCL op slimfone, is hulle vinnig vir die GPU herskryf, en dit is as baie cool beskou. Vir 2012, natuurlik. Vandag kan enige student dieselfde in CSS doen, en hy sal steeds nie die gradeplegtigheid haal nie.
Die vordering van filters vandag het egter nie opgehou nie. Die ouens van Dehanser is byvoorbeeld puik met nie-lineêre filters – in plaas van proletariese toonkartering gebruik hulle meer komplekse nie-lineêre transformasies, wat volgens hulle baie meer moontlikhede oopmaak.
Baie dinge kan gedoen word met nie-lineêre transformasies, maar dit is ongelooflik kompleks, en ons mense is ongelooflik dom. Sodra dit by nie-lineêre transformasies in die wetenskap kom, verkies ons om in numeriese metodes in te gaan en oral neurale netwerke in te prop sodat hulle vir ons meesterstukke skryf. Dit was dieselfde hier.
Outomatisering en drome van die "meesterstuk"-knoppie
Sodra almal gewoond geraak het aan filters, het ons dit reg in die kameras begin bou. Die geskiedenis verberg watter vervaardiger die eerste was, maar net om te verstaan hoe lank gelede dit was - in iOS 5.0, wat reeds in 2011 vrygestel is, was daar reeds 'n publieke API vir Auto Enhancing Images. Slegs Jobs weet hoe lank dit in gebruik was voordat dit aan die publiek vrygestel is.
Outomatisering het dieselfde as elkeen van ons gedoen, 'n foto in die redigeerder oopgemaak - lig en skaduwees uitgetrek, versadiging opgestapel, rooi oë verwyder en gelaatskleur gefixeer. Gebruikers het nie eens geweet dat die "drasties verbeterde kamera" in die nuwe slimfoon slegs die verdienste van 'n paar nuwe skakering was nie. Dit was nog vyf jaar voordat die Google Pixel uitgekom het en die rekenkundige fotografie-hype begin het.
Vandag het die gevegte vir die "meesterstuk"-knoppie na die veld van masjienleer verskuif. Nadat hulle genoeg met toonkartering gespeel het, het almal gehaas om CNN's en GAN's op te lei om die glyers in plaas van die gebruiker te skuif. Met ander woorde, deur die insetbeeld te gebruik, bepaal 'n stel optimale parameters wat hierdie beeld nader aan 'n subjektiewe begrip van "goeie fotografie" sal bring. Geïmplementeer in dieselfde Pixelmator Pro en ander redakteurs. Dit werk, soos jy dalk raai, nie baie nie en nie altyd nie.
Stapeling is 90% van mobiele kamerasukses
Ware rekenaarfotografie het begin met stapeling – die stapel van veelvuldige foto's bo-op mekaar. Dit is nie 'n probleem vir 'n slimfoon om 'n dosyn rame in 'n halwe sekonde te snap nie. Daar is geen stadige meganiese dele in hul kameras nie: die diafragma is vas, en in plaas van 'n bewegende gordyn, is daar 'n elektroniese sluiter. Die verwerker beveel eenvoudig die matriks hoeveel mikrosekondes om wilde fotone te vang, en lees die resultaat self.
Tegnies kan 'n foon foto's teen videospoed en video teen fotoresolusie neem, maar alles hang af van die spoed van die bus en verwerker. Daarom stel hulle altyd sagtewarelimiete.
Staking self is al lank met ons. selfs grootouers het invoegtoepassings op Photoshop 7.0 geïnstalleer om verskeie foto's in opvallende HDR te kombineer of 'n 18000 × 600 piksel-panorama aanmekaar te plak en ... trouens, niemand het uitgepluis wat om volgende daarmee te doen nie. Ryk tye was, ongelukkig, wild.
Nou het ons volwassenes geword en noem dit “epsilon-fotografie” - wanneer ons, deur een van die kameraparameters (blootstelling, fokus, posisie) te verander en die gevolglike rame vas te plak, iets kry wat nie in een raam vasgevang kon word nie. Maar dit is 'n term vir teoretici, maar in die praktyk het 'n ander naam wortel geskiet - staking. Vandag word trouens 90% van alle innovasies in mobiele kameras daarop gebou.
Iets waaraan baie nie dink nie, maar wat noodsaaklik is om alle selfoon- en rekenaarfotografie te verstaan: die kamera op 'n moderne slimfoon begin foto's neem sodra jy sy toepassing oopmaak. Wat logies is, want sy moet die beeld op een of ander manier na die skerm oordra. Benewens die skerm, stoor dit egter hoë-resolusie-rame in sy eie sirkelvormige buffer, waar dit hulle nog 'n paar sekondes hou.
Wanneer jy die "neem 'n foto"-knoppie druk - dit is eintlik reeds geneem, die kamera neem eenvoudig die laaste foto uit die buffer.
Dit is hoe enige mobiele kamera vandag werk. Ten minste in al die vlagskepe, nie van die vullishope nie. Buffering laat jou toe om nie net 'n sluitervertraging van nul te implementeer, waarvan fotograwe al so lank gedroom het nie, maar selfs 'n negatiewe een - wanneer jy die knoppie druk, kyk die slimfoon in die verlede, laai die laaste 5-10 foto's van die buffer en begin woes ontleed en plak dit. Jy hoef nie meer te wag vir die foon om rame vir HDR of nagmodus te klik nie - haal hulle net uit die buffer, die gebruiker sal nie eers weet nie.
Terloops, dit was met behulp van die negatiewe sluitervertraging dat Live Photo in iPhones geïmplementeer is, en HTC het in 2013 iets soortgelyks gehad onder die vreemde naam Zoe.
Blootstellingstapeling - HDR en die stryd teen helderheidsverskille
Of kameramatrikse in staat is om die hele reeks helderheid wat vir ons oë beskikbaar is vas te vang, is 'n ou warm onderwerp vir debat. Sommige sê nee, want die oog is in staat om tot 25 f-stops te sien, terwyl selfs 'n boonste volraammatriks 'n maksimum van 14 kan teken. Ander noem die vergelyking verkeerd, want die brein help die oog deur die pupil outomaties aan te pas en die voltooiing van die beeld met sy neurale netwerke, en onmiddellik is die dinamiese omvang van die oog eintlik nie meer as net 10-14 f-stops nie. Kom ons laat hierdie argumente aan die internet se beste leunstoeldenkers oor.
Die feit bly staan: wanneer jy vriende teen 'n helder lug afneem sonder HDR op enige mobiele kamera, kry jy óf 'n normale lug en swart gesigte van vriende, óf getekende vriende, maar 'n lug wat doodgeskroei is.
Die oplossing is lank reeds uitgevind - om die reeks helderheid uit te brei met HDR (High dynamic range). Jy moet verskeie skote met verskillende sluiterspoed neem en dit aanmekaar plak. So daardie een is "normaal", die tweede is ligter, die derde is donkerder. Ons neem donker plekke uit 'n ligte raam, vul oorbeligting in van 'n donker een - wins. Dit bly net om die probleem van outomatiese bracketing op te los - hoeveel om die blootstelling van elke raam te verskuif om dit nie te oordoen nie, maar 'n tweedejaarstudent van 'n tegniese universiteit sal nou die bepaling van die gemiddelde helderheid van die prentjie hanteer.
Op die nuutste iPhones, Pixels en Galaxy word HDR gewoonlik outomaties aangeskakel wanneer 'n eenvoudige algoritme binne die kamera bepaal dat jy iets met kontras op 'n sonnige dag neem. Jy kan selfs agterkom hoe die foon die opnamemodus na die buffer oorskakel om rame te stoor wat in blootstelling verskuif is - fps daal in die kamera, en die prentjie self word sappiger. Die skakelpunt is duidelik sigbaar op my iPhone X wanneer ek buite skiet. Kyk ook volgende keer van nader na jou slimfoon.
Die nadeel van HDR met blootstellingsbeperking is die ondeurdringbare hulpeloosheid in swak beligting. Selfs onder die lig van 'n kamerlamp is die rame so donker dat die rekenaar dit nie kan reguit maak en vasplak nie. Om die probleem met lig in 2013 op te los, het Google 'n ander benadering tot HDR in die destyds vrygestelde Nexus-slimfoon gewys. Hy het tydstaking gebruik.
Tydstapeling - simulasie van lang blootstelling en tydsverloop
Tydstapeling laat jou toe om 'n lang blootstelling te kry met 'n reeks kort blootstellings. Die pioniers was liefhebbers daarvan om spore van sterre in die naghemel te skiet, vir wie dit ongerieflik was om die sluiter vir twee uur op een slag oop te maak. Dit was so moeilik om al die instellings vooraf te bereken, en met die geringste skudding het die hele raam bedorwe uitgekom. Hulle het besluit om die sluiter net vir 'n paar minute oop te maak, maar baie keer, en dan huis toe te gaan en die gevolglike rame in Photoshop te plak.
Dit blyk dat die kamera nooit eintlik met 'n stadige sluiterspoed geskiet het nie, maar ons het die effek van sy nabootsing gekry deur verskeie foto's by te voeg wat in 'n ry geneem is. Vir slimfone is 'n klomp toepassings al lank met hierdie truuk geskryf, maar almal is nie nodig nie aangesien die kenmerk by byna alle standaardkameras gevoeg is. Vandag kan selfs 'n iPhone maklik 'n lang blootstelling van 'n regstreekse foto saamvoeg.
Kom ons gaan terug na Google met sy nagtelike HDR. Dit het geblyk dat jy met behulp van tydsbestek 'n goeie HDR in die donker kan realiseer. Die tegnologie het die eerste keer in die Nexus 5 verskyn en is HDR+ genoem. Die res van die Android-fone het dit as geskenk ontvang. Die tegnologie is steeds so gewild dat dit selfs by aanbiedings van die nuutste Pixels geprys word.
HDR+ werk baie eenvoudig: nadat vasgestel is dat jy in die donker fotografeer, laai die kamera die laaste 8-15 foto's in RAW uit die buffer om dit bo-op mekaar te plaas. Die algoritme samel dus meer inligting oor die donker areas van die raam in om geraas te verminder - pixels, waar die kamera om een of ander rede nie al die inligting kon insamel nie en gemors het.
Dit is soos as jy nie geweet het hoe 'n kapibara lyk nie en vyf mense gevra het om dit te beskryf - hul stories sou omtrent dieselfde wees, maar elkeen sou 'n paar unieke detail noem. Op hierdie manier sal jy meer inligting insamel as om net een te vra. Dieselfde met pixels.
Die byvoeging van rame wat vanaf een punt geneem is, gee dieselfde vals lang blootstelling effek as met die sterre hierbo. Die blootstelling van dosyne rame word opgesom, foute op een word tot die minimum beperk op ander. Stel jou voor hoeveel keer jy die sluiter van 'n DSLR sal moet klik om dit te bereik.
Dit het net oorgebly om die probleem van outomatiese kleurkorreksie op te los - skote wat in die donker geneem word, blyk gewoonlik sonder uitsondering geel of groen te wees, en ons wil soort van die sappigheid van daglig hê. In vroeë weergawes van HDR + is dit opgelos deur eenvoudig die instellings aan te pas, soos in filters a la Instagram. Toe het hulle die hulp van neurale netwerke geroep.
Dit is hoe Night Sight verskyn het - die "nagfotografie"-tegnologie in Pixel 2 en 3. Die beskrywing sê so: "Masjienleertegnieke wat bo-op HDR + gebou is, wat Night Sight laat werk". Trouens, dit is die outomatisering van die kleurkorreksiestadium. Die motor is opgelei op 'n datastel van "voor" en "na" foto's om een pragtige een te maak van enige stel donker skewe foto's.
Die datastel, terloops, is publiek beskikbaar gestel. Miskien sal die ouens van Apple dit vat en uiteindelik hul glasgrawe leer om behoorlik in die donker te skiet.
Daarbenewens gebruik Nagsig die berekening van die bewegingsvektor van voorwerpe in die raam om vervaging te normaliseer, wat sekerlik met stadige sluiterspoed sal plaasvind. Dus, 'n slimfoon kan duidelike dele van ander rame neem en dit plak.
Bewegingstapeling - panorama, superzoom en geraasvermindering
Die panorama is 'n gewilde tydverdryf vir die mense van die platteland. Die geskiedenis weet nog nie van gevalle waar 'n worsfoto vir iemand anders as die skrywer interessant sou wees nie, maar dit is onmoontlik om dit nie te noem nie - vir baie het staking hiermee begin.
Die eerste nuttige manier om 'n panorama te gebruik, is om 'n foto met 'n hoër resolusie te kry as wat die kameramatriks toelaat deur verskeie rame saam te plak. Fotograwe gebruik al lank verskillende sagteware vir die sogenaamde superresolusie-foto's – wanneer dit lyk of foto's wat effens verskuif is, mekaar tussen pixels aanvul. Op hierdie manier kan jy 'n beeld van ten minste honderde gigapixels kry, wat baie nuttig is as jy dit op 'n huisgrootte advertensieplakkaat moet druk.
Nog 'n meer interessante benadering is Pixel Shifting. Sommige spieëllose kameras soos Sony en Olympus het dit sedert 2014 begin ondersteun, maar hulle het steeds gedwing om die resultaat met die hand vas te plak. Tipiese groot kamera-innovasies.
Slimfone het hier om ’n snaakse rede geslaag – as jy ’n foto neem, bewe jou hande. Hierdie oënskynlike probleem het die basis gevorm vir die implementering van inheemse superresolusie op slimfone.
Om te verstaan hoe dit werk, moet jy onthou hoe die matriks van enige kamera gerangskik is. Elkeen van sy pixel (fotodiode) is in staat om slegs die intensiteit van lig aan te teken - dit wil sê die aantal fotone wat ingevlieg het. 'n Pieksel kan egter nie sy kleur (golflengte) meet nie. Om 'n RGB-beeld te kry, moes ek hier ook krukke opstapel - bedek die hele matriks met 'n rooster van veelkleurige glas. Die gewildste implementering word die Bayer-filter genoem en word vandag in die meeste matrikse gebruik. Lyk soos die prentjie hieronder.
Dit blyk dat elke pixel van die matriks net die R-, G- of B-komponent vang, want die res van die fotone word genadeloos deur die Bayer-filter gereflekteer. Dit herken die ontbrekende komponente deur die waardes van naburige piksels stomp te gemiddelde.
Daar is meer groen selle in die Bayer-filter - dit is gedoen na analogie van die menslike oog. Dit blyk dat uit 50 miljoen pixels op die matriks, 25 miljoen groen sal vasvang, 12,5 miljoen elk vir rooi en blou. Die res sal gemiddeld wees - hierdie proses word debayerization of demomosaic genoem, en dit is so 'n vet snaakse kruk op wat alles rus.
Trouens, elke matriks het sy eie slinkse gepatenteerde demosaïese algoritme, maar in die raamwerk van hierdie storie sal ons dit verwaarloos.
Ander soorte matrikse (soos Foveon) het nog glad nie wortel geskiet nie. Alhoewel sommige vervaardigers probeer om matrikse sonder 'n Bayer-filter te gebruik om skerpte en dinamiese omvang te verbeter.
Wanneer daar min lig is of die besonderhede van die voorwerp baie klein is, verloor ons baie inligting, want die Bayer-filter sny onbeskaamd fotone met 'n aanstootlike golflengte af. Daarom het hulle met die idee gekom om Pixel Shifting te doen - die matriks te skuif met 1 pixel op-af-regs-links om hulle almal te vang. Die foto blyk nie 4 keer groter te wees nie, soos dit mag lyk, die verwerker gebruik eenvoudig hierdie data om die waarde van elke pixel meer akkuraat op te teken. Dit is nie gemiddeld oor bure, so te sê nie, maar oor vier waardes van homself.
Die skud van ons hande wanneer ons foto's neem met ons foon maak hierdie proses 'n natuurlike gevolg. In die jongste weergawes van die Google Pixel word hierdie ding geïmplementeer en word dit aangeskakel wanneer jy ook al die zoom op die foon gebruik – dit word Super Res Zoom genoem (ja, ek hou ook van hul genadelose benaming). Die Chinese het dit ook in hul laofone oorgeskryf, hoewel dit 'n bietjie erger uitgedraai het.
Deur effens verskuifde foto's bo-op mekaar te lê, kan jy meer inligting oor die kleur van elke pixel insamel, wat beteken dat geraas verminder word, skerpte verhoog word en die resolusie verhoog word sonder om die fisiese aantal megapixels van die matriks te verhoog. Moderne Android-vlagskepe doen dit outomaties voordat hul gebruikers eers daaraan dink.
Fokusstapeling - enige diepte van veld en herfokus in naproduksie
Die metode kom van makrofotografie, waar vlak diepte van veld nog altyd 'n probleem was. Om die hele voorwerp in fokus te hê, moes ek verskeie rame neem met 'n fokusverskuiwing heen en weer, om dit dan in een skerp een te stik. Landskapfotograwe gebruik dikwels dieselfde metode, wat die voorgrond en agtergrond skerp maak soos diarree.
Dit alles het ook na slimfone verskuif, maar sonder veel ophef. In 2013 kom die Nokia Lumia 1020 uit met die "Refocus App", en in 2014 kom die Samsung Galaxy S5 uit met die "Selective Focus"-modus. Hulle het volgens dieselfde skema gewerk: deur 'n knoppie te druk, het hulle vinnig 3 foto's geneem - een met "normale" fokus, die tweede met vorentoe geskuif en die derde met teruggeskuif. Die program het rame in lyn gebring en laat jou een van hulle kies, wat voorgehou is as "regte" fokusbeheer in naproduksie.
Daar was geen verdere verwerking nie, want selfs hierdie eenvoudige hack was genoeg om nog 'n spyker in die voorblad van Lytro en analoë te slaan met hul eerlike herfokus. Terloops, kom ons praat oor hulle (oorgangsmeester 80 lvl).
Berekeningsmatrikse - ligvelde en plenoptika
Soos ons hierbo verstaan het, is ons matrikse afgryse op krukke. Ons het net gewoond geraak daaraan en probeer daarmee saamleef. Wat hul struktuur betref, het hulle min verander sedert die begin van tyd. Ons het net die tegniese proses verbeter – die afstand tussen pieksels verminder, gesukkel met interferensiegeraas, spesiale pieksels bygevoeg vir fasedetectie-outofokus. Maar dit is die moeite werd om selfs die duurste DSLR te neem en 'n lopende kat daarop te probeer skiet in kamerbeligting - die kat, om dit sagkens te stel, sal wen.
Ons probeer al lank iets beters uitdink. Baie pogings en navorsing op hierdie gebied word gegoogle vir "berekeningssensor" of "nie-baai-sensor", en selfs die Pixel Shifting-voorbeeld hierbo kan toegeskryf word aan pogings om matrikse te verbeter deur berekeninge te gebruik. Die mees belowende stories in die afgelope twintig jaar kom egter juis uit die wêreld van die sogenaamde plenoptiese kameras na ons toe.
Sodat jy nie aan die slaap raak in afwagting van naderende moeilike woorde nie, sal ek 'n insider gooi dat die kamera van die nuutste Google Pixels net "'n bietjie" plenopties is. Slegs twee pixels, maar selfs dit laat dit toe om 'n eerlike optiese diepte van die raam sonder 'n tweede kamera te bereken, soos almal anders.
Die Plenooptic is 'n kragtige wapen wat nog nie afgevuur het nie. Hier is 'n skakel na een van my gunsteling onlangse waar ek voorbeelde van geleen het.
Plenoptiese kamera - binnekort elkeen
In 1994 uitgevind, in 2004 by Stanford gemonteer. Die eerste verbruikerskamera, die Lytro, is in 2012 vrygestel. Die VR-industrie eksperimenteer aktief met soortgelyke tegnologieë.
Die plenoptiese kamera verskil van 'n konvensionele kamera in slegs een modifikasie - die matriks daarin is bedek met 'n rooster van lense, wat elkeen verskeie werklike pixels dek. Iets soos hierdie:
as jy die afstand van die rooster na die matriks en die grootte van die diafragma korrek bereken, sal die finale prent duidelike trosse pixels tot gevolg hê - 'n soort mini-weergawe van die oorspronklike prent.
Dit blyk dat as jy byvoorbeeld een sentrale pixel uit elke groepie neem en die prentjie net daarop plak, dit op geen manier sal verskil van die een wat met 'n konvensionele kamera geneem is nie. Ja, ons het 'n bietjie in resolusie verloor, maar ons sal Sony net vra om meer megapixels in nuwe matrikse by te voeg.
Die pret begin nou eers. as jy nog 'n pixel uit elke cluster neem en die prentjie weer plak, sal jy weer 'n normale foto kry, net asof geneem met 'n verskuiwing van een pixel. Dus, met trosse van 10 × 10 pixels, sal ons 100 beelde van die onderwerp van "effens" verskillende punte kry.
Groter groepgrootte beteken meer beelde, maar minder resolusie. In die wêreld van slimfone met 41-megapixel-matrikse, hoewel ons die resolusie 'n bietjie kan afskeep, het alles 'n beperking. Jy moet 'n balans hou.
Goed, ons het 'n plenoptiese kamera saamgestel, en wat gee dit ons?
Eerlike Herfokus
Die kenmerk waaroor al die joernaliste in artikels oor Lytro gegons het, was die vermoë om eerlik die fokus in naproduksie aan te pas. Met billik bedoel ons dat ons geen vervaag-algoritmes gebruik nie, maar slegs die piksels byderhand gebruik, en hulle kies of gemiddeld uit trosse in die regte volgorde.
’n RAW-foto van ’n plenoptiese kamera lyk vreemd. Om die gewone skerp jeep daaruit te kry, moet jy dit eers aanmekaarsit. Om dit te doen, moet jy elke pixel van die jeep uit een van die RAW-klusters kies. Afhangende van hoe ons hulle kies, sal die resultaat verander.
Byvoorbeeld, hoe verder die groep is van die plek waar die oorspronklike balk geval het, hoe meer is hierdie balk uit fokus. Omdat optika. Om 'n fokusverskuifde beeld te kry, hoef ons net pixels te kies op die afstand wat ons van die oorspronklike nodig het - óf nader óf verder.
Dit was moeiliker om die fokus na jouself te verskuif – suiwer fisies was daar minder sulke pixels in die clusters. Aanvanklik wou die ontwikkelaars nie eens die gebruiker die geleentheid gee om met hul hande te fokus nie – die kamera self het dit programmaties opgelos. Gebruikers het nie van hierdie toekoms gehou nie, want 'n kenmerk is bygevoeg in latere firmware genaamd "kreatiewe modus", maar die herfokus daarin is presies om hierdie rede baie beperk gemaak.
Dieptekaart en 3D vanaf een kamera
Een van die eenvoudigste bewerkings in plenoptika is om 'n dieptekaart te kry. Om dit te doen, hoef jy net twee verskillende rame te versamel en te bereken hoe voorwerpe daarop geskuif word. Meer verskuiwing beteken verder weg van die kamera.
Google het Lytro onlangs gekoop en doodgemaak, maar hul tegnologie gebruik vir sy VR en ... vir die kamera op die Pixel. Begin met die Pixel 2, vir die eerste keer, het die kamera "ietwat" plenopties geword, alhoewel met trosse van slegs twee pixels. Dit het dit vir Google moontlik gemaak om nie 'n tweede kamera, soos al die ander ouens, te installeer nie, maar om die dieptekaart slegs van een foto te bereken.
Die dieptekaart is gebou uit twee rame wat met een subpixel verskuif is. Dit is genoeg om die binêre dieptekaart te bereken en die voorgrond van die agtergrond te skei en laasgenoemde te vervaag in die nou modieuse bokeh. Die resultaat van so 'n lae word steeds glad gemaak en "verbeter" deur neurale netwerke wat opgelei is om dieptekaarte te verbeter (en nie vervaag nie, soos baie mense dink).
Nog 'n truuk is dat ons byna gratis plenoptics in slimfone gekry het. Ons het reeds lense op hierdie klein matrikse gesit om op een of ander manier die liguitset te verhoog. In die volgende Pixel beplan Google om verder te gaan en vier fotodiodes met 'n lens te bedek.
Bron: 3dnews.ru