It orizjinele artikel is pleatst op 'e webside en publisearre op 3DNews mei de tastimming fan 'e skriuwer. Wy leverje de folsleine tekst fan it artikel, mei útsûndering fan in enoarm oantal keppelings - se sille nuttich wêze foar dyjingen dy't serieus ynteressearre binne yn it ûnderwerp en wolle de teoretyske aspekten fan komputerfotografy yn mear djipte studearje, mar foar in algemien publyk wy beskôge dit materiaal oerstallich.
Tsjintwurdich is net ien smartphonepresintaasje kompleet sûnder de kamera te slikjen. Elke moanne hearre wy oer it folgjende sukses fan mobile kamera's: Google leart Pixel te sjitten yn it tsjuster, Huawei om te zoomjen as in verrekijker, Samsung ynfoege lidar, en Apple makket de rûnste hoeken fan 'e wrâld. D'r binne in pear plakken wêr't ynnovaasje dizze dagen sa hurd streamt.
Tagelyk lykje de spegels de tiid te markearjen. Sony jierliks showers elkenien mei nije matrices, en fabrikanten bywurkje lazily de lêste ferzje sifer en fierder te ûntspannen en smoke op 'e sydline. Ik haw in $ 3000 DSLR op myn buro, mar as ik reizgje, nim ik myn iPhone. Wêrom?
Lykas de klassiker sei, gie ik online mei dizze fraach. Dêr besprekke se guon "algoritmen" en "neurale netwurken", sûnder enig idee te hawwen hoe't se de fotografy krekt beynfloedzje. Sjoernalisten lêze lûdop it oantal megapixels, bloggers sjogge betelle unboxings yn unison, en aesthetes smearje harsels mei "sensuele waarnimming fan it kleurenpalet fan 'e matrix." Alles is as gewoanlik.
Ik moast sitte, de helte fan myn libben trochbringe en it allegear sels útfine. Yn dit artikel sil ik jo fertelle wat ik leard haw.
Wat is komputerfotografy?
Oeral, ynklusyf Wikipedia, jouwe se soksawat as dizze definysje: komputearjende fotografy is elke technyk foar it opnimmen en ferwurkjen fan ôfbyldings dy't digitaal komputer brûke ynstee fan optyske transformaasjes. Alles oer it is goed, útsein dat it neat ferklearret. Sels autofocus is dêr geskikt foar, mar plenoptyk, dy't ús al in protte nuttige dingen brocht hat, past net. De vagueness fan offisjele definysjes liket te hingjen dat wy gjin idee hawwe wêr't wy it oer hawwe.
De pionier fan komputerfotografy, Stanford-professor Marc Levoy (dy't no ferantwurdlik is foar de kamera by Google Pixel) jout in oare definysje - in set fan kompjûterfisualisaasjemetoaden dy't de mooglikheden fan digitale fotografy ferbetterje of útwreidzje, wêrmei't in gewoane foto wurdt krigen dy't koe net technysk wurde nommen mei dizze kamera. kamera op de tradisjonele manier. Yn it artikel hâlde ik my hjir oan.
Dat, smartphones wiene de skuld foar alles.
Snoadfoans hiene gjin oare kar as in nij soarte fotografy berne te jaan: komputerfotografy.
Harren lytse lawaaierige matriksen en lytse lenzen mei stadige diafragma, neffens alle wetten fan 'e natuerkunde, soene allinich pine en lijen moatte bringe. Se diene dat oant har ûntwikkelders útfûnen hoe't se har sterke punten tûk brûke om har swakkens te oerwinnen - snelle elektroanyske sluters, krêftige prosessoren en software.
It grutste part fan it heechprofyl ûndersyk op it mêd fan komputerfotografy barde tusken 2005 en 2015, wat yn de wittenskip juster letterlik beskôge wurdt. Op dit stuit, foar ús eagen en yn ús bûse, ûntwikkelet in nij fjild fan kennis en technology dat noch noait earder bestien hat.
Computational fotografy is net allinnich oer selfies mei neuro-bokeh. De resinte foto fan in swart gat soe net mooglik west hawwe sûnder komputative fotografytechniken. Om sa'n foto mei in gewoane teleskoop te meitsjen, soene wy dy de grutte fan 'e ierde meitsje moatte. Troch it kombinearjen fan gegevens fan acht radioteleskopen op ferskate punten op ús bal en it skriuwen fan in pear skripts yn Python, krigen wy de earste foto fan 'e barrenshoarizon yn' e wrâld. Goed foar selfies ek.
Start: digitale ferwurking
Lit ús yntinke dat wy weromkamen yn 2007. Us mem is anargy, en ús foto's binne lawaaierige 0,6-megapixel jeeps nommen op in skateboard. Om dy hinne hawwe wy de earste ûnwjersteanbere winsk om presets op har te sprinkeljen om de ellinde fan mobile matriksen te ferbergjen. Litte wy ússels net ûntkenne.
Matan en Instagram
Mei de frijlitting fan Instagram waard elkenien obsedearre mei filters. As ien dy't de X-Pro II, Lo-Fi en Valencia reverse-ûntwerpe foar, fansels, ûndersyksdoelen, wit ik noch dat se bestie út trije komponinten:
- Kleurynstellingen (Tint, sêding, ljochtheid, kontrast, nivo's, ensfh.) - ienfâldige digitale koeffizienten, krekt lykas alle presets dy't fotografen sûnt âlde tiden hawwe brûkt.
- Toanmappings binne weardefektors, dy't elk ús fertelden: "De reade kleur mei in tint fan 128 moat wurde omset yn in tint fan 240."
- In overlay is in trochsichtich byld mei stof, nôt, vignet, en al it oare dat boppe-op pleatst wurde kin om it hielendal net banale effekt fan in âlde film te krijen. Wie net altyd oanwêzich.
Moderne filters binne net fier fan dit trio, se binne allinnich wurden wat komplekser yn de wiskunde. Mei de komst fan hardware-shaders en OpenCL op smartphones, waarden se fluch opnij skreaun foar de GPU, en dit waard as wyld cool beskôge. Foar 2012, fansels. Tsjintwurdich kin elke studint itselde dwaan yn CSS, en hy sil noch altyd net de kâns krije om ôf te studearjen.
De foarútgong fan filters is hjoed lykwols net stoppe. De jonges fan Dehanser binne bygelyks geweldich yn it brûken fan net-lineêre filters - ynstee fan proletaryske toanmapping brûke se mear komplekse net-lineêre transformaasjes, wat neffens harren folle mear mooglikheden iepenet.
Jo kinne in protte dingen dwaan mei net-lineêre transformaasjes, mar se binne ongelooflijk kompleks, en wy minsken binne ongelooflijk dom. Sadree't it giet om net-lineêre transformaasjes yn 'e wittenskip, wolle wy leaver nei numerike metoaden gean en oeral neurale netwurken opknappe, sadat se masterwurken foar ús skriuwe. It wie hjir itselde.
Automatisearring en dreamen fan in "masterpiece" knop
Sadree't elkenien wend wie oan filters, begûnen wy se direkt yn kamera's te bouwen. Skiednis ferberget hokker fabrikant de earste wie, mar gewoan om te begripen hoe lang lyn it wie - yn iOS 5.0, dy't yn 2011 waard frijlitten, wie d'r al in iepenbiere API foar Auto Enhancing Images. Allinnich Jobs wit hoe lang it yn gebrûk wie foardat it iepene foar it publyk.
De automatisearring die itselde ding dat elk fan ús docht by it iepenjen fan in foto yn 'e bewurker - it helle gatten yn ljocht en skaden, tafoege sêding, ferwidere reade eagen en fêste teint. Brûkers realisearre net iens dat de "dramatysk ferbettere kamera" yn 'e nije smartphone gewoan de fertsjinste wie fan in pear nije shaders. D'r wiene noch fiif jier oer foar de frijlitting fan Google Pixel en it begjin fan 'e komputaasjefotografy-hype.
Tsjintwurdich is de striid foar de knop "masterpiece" ferhuze nei it fjild fan masine learen. Nei't se genôch spile hawwe mei toanmapping, hast elkenien om CNN's en GAN's te trenen om sliders te ferpleatsen ynstee fan de brûker. Mei oare wurden, bepale út 'e ynfierôfbylding in set optimale parameters dy't dizze ôfbylding tichterby in bepaald subjektyf begryp fan "goede fotografy" bringe. Implementearre yn deselde Pixelmator Pro en oare bewurkers. It wurket, lykas jo miskien riede, net heul goed en net altyd.
Stacking is 90% fan it sukses fan mobile kamera's
Wiere komputerfotografy begon mei it stapeljen fan meardere foto's boppe-op elkoar. It is gjin probleem foar in smartphone om in tsientallen frames yn in heale sekonde te klikken. Harren kamera's hawwe gjin trage meganyske dielen: it diafragma is fêst, en ynstee fan in bewegend gerdyn is d'r in elektroanyske sluter. De prosessor befelet de matrix gewoan hoefolle mikrosekonden it wylde fotonen moat fange, en it lêst it resultaat.
Technysk kin de tillefoan foto's meitsje mei fideosnelheid, en fideo mei fotoresolúsje, mar it hinget allegear ôf fan 'e snelheid fan' e bus en de prosessor. Dêrom stelle se altyd programmagrinzen.
It staken sels is al lang mei ús. Sels pakes en beppes ynstalleare plugins op Photoshop 7.0 om ferskate foto's te sammeljen yn opfallende HDR of in panorama fan 18000 × 600 piksels te kombinearjen en ... yn feite hat gjinien ea útfûn wat se dernei dwaan moatte. It wie spitich dat de tiden ryk en wyld wiene.
No binne wy folwoeksen wurden en neame it "epsilon-fotografy" - as wy, troch ien fan 'e kameraparameters (beljochting, fokus, posysje) te feroarjen en de resultearjende frames tegearre te naaien, wat krije dat net yn ien frame kin wurde fêstlein. Mar dit is in term foar teoretici; yn 'e praktyk hat in oare namme woartele - staking. Tsjintwurdich binne feitlik 90% fan alle ynnovaasjes yn mobile kamera's dêrop basearre.
Iets dêr't in protte minsken net oan tinke, mar it is wichtich om alle mobyl- en kompjûterfotografy te begripen: de kamera op in moderne smartphone begjint foto's te meitsjen sa gau as jo de app iepenje. Wat logysk is, om't se it byld op ien of oare manier oerbringe moat op it skerm. Neist it skerm bewarret it frames mei hege resolúsje yn syn eigen loopbuffer, wêr't it se noch in pear sekonden opslaat.
As jo op de knop "nimme foto" drukke, is it eins al makke, de kamera nimt gewoan de lêste foto út 'e buffer.
Dit is hoe't elke mobile kamera hjoed wurket. Alteast yn alle flaggeskippen net fan de jiskefet. Bufferjen lit jo net allinich nul sluterfertraging realisearje, wêrfan fotografen al lang fan dreamd hawwe, mar sels negatyf - as jo op in knop drukke, sjocht de smartphone yn it ferline, lûkt de lêste 5-10 foto's út 'e buffer en begjint frantysk te analysearjen en plak se. Wacht net mear op de tillefoan om frames te klikken foar HDR- as nachtmodus - nim se gewoan út 'e buffer, de brûker sil it net iens witte.
Troch de wei, it is mei help fan negative shutter lag dat Live Photo wurdt ymplemintearre yn iPhones, en HTC hie wat ferlykbere werom yn 2013 ûnder de frjemde namme Zoe.
Exposure Stacking - HDR en bestriding fan helderheid feroarings
Oft kamerasensors yn steat binne om it heule berik fan helderheid te fangen dat tagonklik is foar ús eagen is in âld hot ûnderwerp fan debat. Guon sizze nee, want it each is by steat om te sjen oant 25 f-stops, wylst sels út in top full-frame matrix kinne jo krije in maksimum fan 14. Oaren neame de ferliking ferkeard, omdat it brein helpt it each troch automatysk oanpasse de learling en it ynfoljen fan it byld mei syn neurale netwurken, en it momint It dynamyske berik fan it each is eins net mear as mar 10-14 f-stops. Litte wy dit debat oerlitte oan 'e bêste fauteuiltinkers op it ynternet.
It feit bliuwt: as jo freonen sjitte tsjin in heldere loft sûnder HDR op elke mobile kamera, krije jo of in normale loft en de swarte gesichten fan freonen, of goed tekene freonen, mar in himel dy't ferbaarnd is.
De oplossing is al lang útfûn - om it helderheidsberik út te wreidzjen mei HDR (High dynamic range). Jo moatte ferskate frames mei ferskate slutersnelheid nimme en se byinoar stekke. Dat ien is "normaal", de twadde is lichter, de tredde is tsjusterder. Wy nimme tsjustere plakken út in ljocht frame, folje overexposures fan in tsjustere - winst. Alles wat oerbliuwt is it probleem fan automatyske bracketing op te lossen - hoefolle de eksposysje fan elk frame te ferskowen om it net te oerdriuwen, mar no kin in twaddejiersstudint oan in technyske universiteit omgean mei it bepalen fan de gemiddelde helderheid fan in foto.
Op de lêste iPhone, Pixel en Galaxy wurdt HDR-modus oer it generaal automatysk ynskeakele as in ienfâldich algoritme yn 'e kamera bepaalt dat jo wat mei kontrast op in sinnige dei sjitte. Jo kinne sels fernimme hoe't de tillefoan de opnamemodus oerskeakelt nei de buffer om frames te bewarjen dy't ferpleatst binne yn eksposysje - de fps yn 'e kamera falt, en de foto sels wurdt sappiger. It wikselmomint is dúdlik sichtber op myn iPhone X by it filmjen fan bûten. Besjoch jo smartphone de folgjende kear ek.
It neidiel fan HDR mei exposure bracketing is syn ûntrochsichtbere helpleazens yn minne ferljochting. Sels mei it ljocht fan in keamerlampe wurde de frames sa tsjuster dat de komputer se net op inoar rjochtsje en stekke kin. Om it probleem mei ljocht op te lossen, liet Google yn 2013 in oare oanpak foar HDR sjen yn it doe frijlitten Nexus-smartphone. Hy brûkte tiidstapeljen.
Tiidstapeling - simulaasje fan lange eksposysje en tiidferfal
Tiidstapeling lit jo in lange eksposysje meitsje mei in searje koarte. De pioniers wiene fans fan it fotografearjen fan stjerspoaren yn 'e nachtlike himel, dy't it ûngemaklik fûnen om de sluter twa oeren tagelyk iepen te meitsjen. It wie sa lestich om alle ynstellingen fan tefoaren te berekkenjen, en it minste skodzjen soe it hiele frame ferneatigje. Se besletten om de sluter mar in pear minuten te iepenjen, mar in protte kearen, en gongen doe nei hûs en plakke de resultearjende frames yn Photoshop.
It docht bliken dat de kamera eins noait mei in lange slutertiid sketten hat, mar wy krigen it effekt fan it simulearjen troch ferskate frames op in rige op te tellen. D'r binne in protte apps skreaun foar smartphones dy't dizze trúk in lange tiid brûke, mar se binne allegear net nedich sûnt de funksje waard tafoege oan hast alle standert kamera's. Tsjintwurdich kin sels in iPhone maklik in lange eksposysje fan in Live Photo byinoar stekke.
Litte wy weromgean nei Google mei syn nacht HDR. It die bliken dat it brûken fan time bracketing jo goede HDR yn it tsjuster kinne ymplementearje. De technology ferskynde earst yn 'e Nexus 5 en waard HDR + neamd. De rest fan 'e Android-tillefoans krige it as kado. De technology is noch altyd sa populêr dat it sels wurdt priizge yn 'e presintaasje fan' e lêste Pixels.
HDR + wurket frij ienfâldich: nei't jo hawwe bepaald dat jo yn it tsjuster sjitte, ûntlade de kamera de lêste 8-15 RAW-foto's út 'e buffer om se op elkoar te lizzen. Sa sammelet it algoritme mear ynformaasje oer de tsjustere gebieten fan it frame om lûd te minimalisearjen - piksels wêr't de kamera om ien of oare reden net alle ynformaasje koe sammelje en ferkeard gie.
It is as as jo net wisten hoe't in kapybara derút seach en jo fiif minsken fregen om it te beskriuwen, dan soene har ferhalen sawat itselde wêze, mar elk soe wat unyk detail neame. Op dizze manier soene jo mear ynformaasje sammelje dan gewoan ien freegje. It is itselde mei piksels.
It tafoegjen fan frames nommen fan ien punt jout itselde fake lange eksposysje-effekt as mei de stjerren hjirboppe. De eksposysje fan tsientallen frames wurdt gearfette, flaters yn ien wurde minimalisearre yn oaren. Stel jo foar hoefolle kearen jo elke kear op de DSLR-shutter moatte klikke om dit te berikken.
Alles wat oerbleau wie it probleem fan automatyske kleurkorreksje op te lossen - frames nommen yn it tsjuster wurde normaal giel of grien, en wy wolle graach de rykdom fan deiljocht. Yn iere ferzjes fan HDR + waard dit oplost troch gewoan de ynstellings oan te passen, lykas yn filters a la Instagram. Doe rôpen se neurale netwurken op om te helpen.
Dit is hoe't Night Sight ferskynde - de technology fan "nachtfotografy" yn Pixel 2 en 3. Yn 'e beskriuwing sizze se: "Masjine-leartechniken boud boppe op HDR +, wêrtroch Night Sight wurket." Yn essinsje is dit de automatisearring fan it poadium foar kleurkorreksje. De masine waard trainearre op in dataset fan "foar" en "nei" foto's om ien prachtige te meitsjen fan elke set donkere kromme foto's.
Trouwens, de dataset waard iepenbier beskikber steld. Miskien sille de jonges fan Apple it nimme en úteinlik har glêzen skeppen leare om goed foto's te meitsjen yn it tsjuster.
Derneist brûkt Night Sight de berekkening fan 'e bewegingsvektor fan objekten yn it frame om de wazige te normalisearjen dy't wis sil foarkomme mei in lange slutersnelheid. Dat, de smartphone kin dúdlike dielen fan oare frames nimme en se lijmje.
Motion stacking - panorama, superzoom en lûdreduksje
Panorama is in populêr ferdivedaasje foar ynwenners fan plattelân. De skiednis wit noch net fan gefallen wêryn in woarstfoto fan belang wêze soe foar immen oars as de skriuwer, mar it kin net negearre wurde - foar in protte is dit wêr't it stapeljen yn it earste plak begon.
De earste nuttige manier om in panorama te brûken is om in foto te krijen mei in hegere resolúsje dan de kameramatrix tastiet troch ferskate frames te stitchjen. Fotografen brûke al lang ferskate software foar saneamde superresolúsjefoto's - as foto's licht ferskowe lykje inoar oan te foljen tusken de piksels. Op dizze manier kinne jo in ôfbylding krije fan op syn minst hûnderten gigapixels, wat heul nuttich is as jo it moatte printsje op in reklameposter de grutte fan in hûs.
In oare, nijsgjirriger oanpak is Pixel Shifting. Guon spegelleaze kamera's lykas Sony en Olympus begon it werom te stypjen yn 2014, mar se moasten it resultaat noch mei de hân lijme. Typyske grutte kamera ynnovaasjes.
Snoadfoans binne hjir slagge om in grappige reden - as jo in foto meitsje, trilje jo hannen. Dit skynber probleem foarme de basis foar de ymplemintaasje fan native super resolúsje op smartphones.
Om te begripen hoe't dit wurket, moatte jo ûnthâlde hoe't de matrix fan elke kamera strukturearre is. Elk fan har piksels (fotodiode) is by steat om allinich de yntensiteit fan ljocht op te nimmen - dat is it oantal ynkommende fotonen. In piksel kin syn kleur (golflingte) lykwols net mjitte. Om in RGB-ôfbylding te krijen, moasten wy hjir ek krukken tafoegje - de heule matrix bedekke mei in raster fan mearkleurige stikken glês. De populêrste ymplemintaasje dêrfan wurdt it Bayer-filter neamd en wurdt hjoeddedei brûkt yn de measte matriksen. It liket op de foto hjirûnder.
It docht bliken dat elke piksel fan 'e matrix allinich de R-, G- of B-komponint fangt, om't de oerbleaune fotonen sûnder genede reflektearre wurde troch it Bayer-filter. It herkent de ûntbrekkende komponinten troch de wearden fan oanbuorjende piksels bot te gemiddelden.
D'r binne mear griene sellen yn it Bayer-filter - dit waard dien troch analogy mei it minsklik each. It docht bliken dat fan 50 miljoen piksels op 'e matrix, grien sil fange 25 miljoen, read en blau - elk 12,5 miljoen. dy't alles rêst.
Yn feite hat elke matrix syn eigen slûchslimme patintearre demosaicing-algoritme, mar foar de doelen fan dit ferhaal sille wy dit negearje.
Oare soarten matriksen (lykas Foveon) hawwe op ien of oare manier noch net ynhelle. Hoewol guon fabrikanten besykje sensoren te brûken sûnder in Bayer-filter om skerpte en dynamysk berik te ferbetterjen.
As d'r net folle ljocht is as de details fan in objekt heul lyts binne, ferlieze wy in protte ynformaasje, om't it Bayer-filter fotonen mei in net winske golflingte blatant ôfsniet. Dêrom kamen se mei Pixel Shifting - it ferpleatsen fan de matrix mei 1 pixel omheech-ûnder-rjochts-links om se allegear te fangen. Yn dit gefal is de foto net 4 kear grutter, sa't it liket, de prosessor brûkt gewoan dizze gegevens om de wearde fan elke piksel krekter op te nimmen. It gemiddelde net oer syn buorlju, om sa te sizzen, mar oer fjouwer wearden fan himsels.
It skodzjen fan ús hannen by it meitsjen fan foto's op 'e tillefoan makket dit proses in natuerlik gefolch. Yn 'e lêste ferzjes fan Google Pixel wurdt dit ding ymplementearre en skeakelt as jo zoom brûke op' e tillefoan - it hjit Super Res Zoom (ja, ik hâld ek fan har genedeleaze nammejouwing). De Sinezen kopiearren it ek yn har laofoanen, hoewol it wat slimmer waard.
It oerlizzen fan wat ferskowe foto's boppe-op elkoar kinne jo mear ynformaasje sammelje oer de kleur fan elke piksel, wat betsjut dat it lûd ferminderje, skerpte ferheegje en resolúsje ferheegje sûnder it fysike oantal megapixels fan 'e matrix te ferheegjen. Moderne Android-flaggeskippen dogge dit automatysk, sûnder dat har brûkers der sels oer tinke.
Focus stacking - elke djipte fan fjild en opnij fokus yn postproduksje
De metoade komt út makrofotografy, dêr't ûndjippe fjilddjipte altyd in probleem west hat. Om it hiele objekt yn fokus te wêzen, moasten jo ferskate frames nimme mei de fokus dy't hinne en wer skeakele, en se dan tegearre yn ien skerpe stikje. Deselde metoade waard faak brûkt troch lânskipsfotografen, wêrtroch't de foargrûn en eftergrûn sa skerp as diarree.
Dit alles is ek ferhuze nei smartphones, hoewol sûnder folle hype. Yn 2013, Nokia Lumia 1020 mei "Refocus App" waard útbrocht, en yn 2014, Samsung Galaxy S5 mei "Selective Focus" modus. Se wurken neffens itselde skema: troch op in knop te drukken, namen se fluch 3 foto's - ien mei "normale" fokus, de twadde mei de fokus nei foaren en de tredde mei de fokus werom. It programma aligned frames en tastien jo te selektearjen ien fan harren, dat waard touted as "echte" fokus kontrôle yn post-produksje.
Der wie gjin fierdere ferwurking, om't sels dizze ienfâldige hack genôch wie om in oare spiker yn 'e lid fan Lytro en syn kollega's te riden mei har earlike refocus. Troch de wei, lit ús prate oer harren (oergong master 80 lvl).
Computational matrices - ljocht fjilden en plenoptics
As wy hjirboppe begrepen, binne ús matriksen horror op krukken. Wy binne der gewoan oan wend en besykje der mei te libjen. Harren struktuer is net folle feroare sûnt it begjin fan 'e tiid. Wy hawwe allinich it technyske proses ferbettere - wy fermindere de ôfstân tusken de piksels, fochten tsjin ynterferinsjelûd, en tafoege spesjale piksels foar autofocus fan fazedeteksje. Mar as jo sels de djoerste DSLR nimme en besykje in rinnende kat dêrmei te fotografearjen yn keamerferljochting - sil de kat, om it mild te sizzen, winne.
Wy hawwe al lang besocht wat betters út te finen. In protte besykjen en ûndersyk op dit gebiet wurde googled foar "berekkeningssensor" of "net-bayer-sensor", en sels it foarbyld fan Pixel Shifting hjirboppe kin wurde taskreaun oan besykjen om matriksen te ferbetterjen mei berekkeningen. De meast kânsrike ferhalen fan 'e lêste tweintich jier binne lykwols krekt út 'e wrâld fan 'e saneamde plenoptyske kamera's nei ús kommen.
Sadat jo net yn 'e sliep falle fan' e ferwachting fan driigjende komplekse wurden, sil ik in ynsider smite dat de kamera fan 'e lêste Google Pixel gewoan "in bytsje" plenoptysk is. Krekt twa piksels, mar sels dit makket it mooglik om te berekkenjen de krekte optyske djipte fan it frame sels sûnder in twadde kamera, lykas alle oaren.
Plenoptika is in krêftich wapen dat noch net is ûntslein. Hjir is in keppeling nei ien fan myn favorite resinte. , dêr't ik de foarbylden fan liend haw.
Plenoptyske kamera - komt gau
Útfûn yn 1994, sammele yn Stanford yn 2004. De earste konsumintekamera, Lytro, waard yn 2012 frijlitten. De VR-yndustry eksperimintearret no aktyf mei ferlykbere technologyen.
In plenoptyske kamera ferskilt fan in konvinsjonele kamera yn mar ien wiziging - syn matrix is bedekt mei in raster fan linzen, elk fan dat beslacht ferskate echte piksels. Soksawat:
As jo de ôfstân fan it raster nei de matrix en de grutte fan it diafragma korrekt berekkenje, sil de definitive ôfbylding dúdlike klusters fan piksels hawwe - in soarte fan mini-ferzjes fan 'e orizjinele ôfbylding.
It docht bliken dat as jo, bygelyks, ien sintrale piksel fan elke kluster nimme en de ôfbylding allinich mei har lijmje, sil it net oars wêze fan dat nommen mei in gewoane kamera. Ja, wy hawwe in bytsje ferlern yn resolúsje, mar wy sille Sony gewoan freegje om mear megapixels ta te foegjen yn 'e nije matriks.
De wille is mar krekt begjint. as jo in oare piksel út elk kluster nimme en de foto wer byinoar stekke, krije jo wer in normale foto, allinich as wie it makke mei in ferskowing fan ien piksel. Sa hawwe wy klusters fan 10 × 10 piksels, sille wy 100 ôfbyldings fan it objekt krije fan "wat" ferskillende punten.
Gruttere klustergrutte betsjut mear ôfbyldings, mar legere resolúsje. Yn 'e wrâld fan smartphones mei 41-megapixel matrices, hoewol wy de resolúsje in bytsje kinne negearje, is d'r in limyt foar alles. Jo moatte it lykwicht behâlde.
Okee, wy hawwe in plenoptyske kamera gearstald, dus wat jout dat ús?
Earlik opnij fokus
De funksje dêr't alle sjoernalisten oer yn artikels oer Lytro wiene, wie de mooglikheid om de fokus earlik oan te passen yn postproduksje. Mei earlik bedoele wy dat wy gjin deblurring-algoritmen brûke, mar allinich de piksels by de hân brûke, se selektearje of gemiddelde se út klusters yn 'e fereaske folchoarder.
RAW-fotografy fan in plenoptyske kamera sjocht der frjemd út. Om de gewoane skerpe jeep derút te heljen, moatte jo dy earst gearstalle. Om dit te dwaan, moatte jo elke piksel fan 'e jeep selektearje út ien fan' e RAW-klusters. Ofhinklik fan hoe't wy se kieze, sil it resultaat feroarje.
Bygelyks, hoe fierder it kluster fan it ynfalspunt fan 'e orizjinele beam is, hoe mear út fokus dizze beam is. Want optyk. Om in fokus-ferskowe ôfbylding te krijen, moatte wy gewoan piksels selektearje op 'e winske ôfstân fan' e orizjinele - of tichterby as fierder.
It wie dreger om de fokus nei josels te ferskowen - suver fysyk wiene d'r minder sokke piksels yn 'e klusters. Earst woene de ûntwikkelders de brûker net iens de mooglikheid jaan om mei har hannen te fokusjen - de kamera sels besleat dit yn software. Brûkers mochten dizze takomst net leuk, sadat se in funksje tafoege yn lettere firmware neamd "kreative modus", mar makken har opnij fokusje om krekt dizze reden.
Djiptekaart en 3D fan ien kamera
Ien fan 'e ienfâldichste operaasjes yn plenoptika is it krijen fan in djiptekaart. Om dit te dwaan, moatte jo gewoan twa ferskillende frames sammelje en berekkenje hoefolle de objekten yn har binne ferpleatst. Mear ferskowing betsjut fierder fuort fan 'e kamera.
Google koartlyn kocht en fermoarde Lytro, mar brûkte har technology foar har VR en ... foar de Pixel-kamera. Begjin mei Pixel 2 waard de kamera foar it earst "wat" plenoptysk, hoewol mei klusters fan mar twa piksels. Dit joech Google de kâns om net in twadde kamera te ynstallearjen, lykas alle oare jonges, mar om de djiptekaart allinich út ien foto te berekkenjen.
De djiptekaart is boud mei twa frames ferpleatst troch ien subpiksel. Dit is genôch om in binêre djiptekaart te berekkenjen en de foargrûn te skieden fan 'e eftergrûn en de lêste yn' e no modieuze bokeh wazig te meitsjen. It resultaat fan sa'n lagen wurdt ek glêd en "ferbettere" troch neurale netwurken dy't trainearre binne om djiptekaarten te ferbetterjen (en net wazig, lykas in protte minsken tinke).
De trúk is dat wy plenoptyk yn smartphones hast fergees krigen. Wy sette al linzen op dizze lytse matriksen om op ien of oare manier de ljochtflux te fergrutsjen. Yn 'e folgjende Pixel is Google fan plan fierder te gean en fjouwer fotodiodes mei in lens te dekken.
Boarne: 3dnews.ru