La originala artikolo estas afiŝita en la retejo kaj publikigita en 3DNews kun la permeso de la aŭtoro. Ni provizas la plenan tekston de la artikolo, escepte de grandega nombro da ligiloj - ili estos utilaj al tiuj, kiuj serioze interesiĝas pri la temo kaj ŝatus pli profunde studi la teoriajn aspektojn de komputila fotado, sed por ĝenerala publiko ni konsideris ĉi tiun materialon redunda.
Hodiaŭ, eĉ ne unu saĝtelefona prezento estas kompleta sen lekado de sia fotilo. Ĉiumonate ni aŭdas pri la venonta sukceso de moveblaj fotiloj: Google instruas al Pixel pafi en la mallumo, Huawei zomi kiel binoklon, Samsung enmetas lidaron, kaj Apple faras la plej rondajn angulojn de la mondo. Estas malmultaj lokoj kie novigado fluas tiel rapide nuntempe.
Samtempe, la speguloj ŝajnas marki tempon. Sony ĉiujare superverŝas ĉiujn per novaj matricoj, kaj fabrikantoj pigre ĝisdatigas la plej novan version-ciferon kaj daŭre malstreĉiĝas kaj fumas flanke. Mi havas $3000 DSLR sur mia skribotablo, sed kiam mi vojaĝas, mi prenas mian iPhone. Kial?
Kiel diris la klasikaĵo, mi interrete kun ĉi tiu demando. Tie ili diskutas pri iuj "algoritmoj" kaj "neŭralaj retoj", sen havi ajnan ideon kiel ĝuste ili influas fotarton. Ĵurnalistoj laŭte legas la nombron da megapikseloj, blogantoj unuvoĉe kantas pri pagitaj malboksadoj, kaj estetoj ŝmiras sin per "la sensa percepto de la kolorpaletro de la matrico." Ĉio estas kiel kutime.
Mi devis sidiĝi, pasigi duonon de mia vivo kaj eltrovi ĉion mem. En ĉi tiu artikolo mi rakontos al vi kion mi lernis.
Kio estas komputila fotado?
Ĉie, inkluzive de Vikipedio, ili donas ion similan al ĉi tiu difino: komputila fotado estas ajna bildokaptado kaj prilabora tekniko kiu uzas ciferecan komputadon anstataŭ optikaj transformoj. Ĉio pri ĝi estas bona, krom ke ĝi nenion klarigas. Eĉ aŭtomata fokuso taŭgas por ĝi, sed plenoptiko, kiu jam alportis al ni multajn utilajn aferojn, ne taŭgas. La malprecizeco de oficialaj difinoj ŝajnas sugesti ke ni ne havas ideon pri kio ni parolas.
La pioniro de komputila fotado, Stanforda profesoro Marc Levoy (kiu nun respondecas pri la fotilo ĉe Google Pixel) donas alian difinon - aro da komputilaj bildigaj metodoj, kiuj plibonigas aŭ pligrandigas la kapablojn de cifereca fotado, per kiu oni akiras regulan foton, ke ne povus teknike esti prenita per ĉi tiu fotilo en la tradicia maniero. En la artikolo mi aliĝas al ĉi tio.
Do, saĝtelefonoj kulpas pri ĉio.
Smartphones havis neniun elekton ol naski novan specon de foto: komputila fotado.
Iliaj malgrandaj bruaj matricoj kaj etaj malrapidaj lensoj, laŭ ĉiuj fizikaj leĝoj, devus esti alportinta nur doloron kaj suferon. Ili faris tion ĝis iliaj programistoj eltrovis kiel lerte uzi siajn fortojn por venki siajn malfortojn - rapidajn elektronikajn ŝutrojn, potencajn procesorojn kaj programaron.
La plej granda parto de la altprofila esplorado en la kampo de komputila fotado okazis inter 2005 kaj 2015, kiu en scienco estas konsiderita laŭvorte hieraŭ. Ĝuste nun, antaŭ niaj okuloj kaj en niaj poŝoj, nova kampo de scio kaj teknologio disvolviĝas, kiu neniam antaŭe ekzistis.
Komputila fotado ne temas nur pri memfotoj kun neŭro-bokeo. La lastatempa foto de nigra truo ne estintus ebla sen komputilaj fotarteknikoj. Por fari tian foton per regula teleskopo, ni devus fari ĝin la grandeco de la Tero. Tamen, kombinante datumojn de ok radioteleskopoj ĉe malsamaj punktoj sur nia pilko kaj skribante kelkajn skriptojn en Python, ni akiris la unuan foton de la monda de la eventa horizonto. Bona ankaŭ por memfidoj.
Komenco: cifereca prilaborado
Ni imagu, ke ni revenis 2007. Nia patrino estas anarkio, kaj niaj fotoj estas bruaj 0,6-megapikselaj ĵipoj prenitaj sur rultabulo. Ĉirkaŭ tiam ni havas la unuan nerezisteblan deziron aspergi sur ilin antaŭfiksaĵojn por kaŝi la mizerecon de moveblaj matricoj. Ni ne neu nin mem.
Matan kaj Instagram
Kun la liberigo de Instagram, ĉiuj obsedis filtrilojn. Kiel iu, kiu reĝisoris la X-Pro II, Lo-Fi kaj Valencion por, kompreneble, esplorceloj, mi ankoraŭ memoras, ke ili konsistis el tri komponentoj:
- Koloraj agordoj (Nuanco, Saturado, Lumo, Kontrasto, Niveloj, ktp.) - simplaj ciferecaj koeficientoj, ekzakte kiel ajnaj antaŭdiroj kiujn fotistoj uzis ekde antikvaj tempoj.
- Ton-Mapoj estas vektoroj de valoroj, ĉiu el kiuj diris al ni: "La ruĝa koloro kun nuanco de 128 devus esti igita nuanco de 240."
- Superkovraĵo estas diafana bildo kun polvo, greno, vinjeto, kaj ĉio alia, kiu povas esti metita supre por ricevi la tute ne banalan efikon de malnova filmo. Ne ĉiam ĉeestis.
Modernaj filtriloj ne estas malproksime de ĉi tiu triopo, ili fariĝis nur iom pli kompleksaj en matematiko. Kun la apero de aparataj ombriloj kaj OpenCL sur saĝtelefonoj, ili estis rapide reverkitaj por la GPU, kaj ĉi tio estis konsiderata ege bonega. Por 2012, kompreneble. Hodiaŭ ĉiu studento povas fari la samon en CSS, kaj li ankoraŭ ne havos la ŝancon diplomiĝi.
Tamen, la progreso de filtriloj ne ĉesis hodiaŭ. La uloj de Dehanser, ekzemple, bonegas uzi neliniajn filtrilojn - anstataŭ proleta tonmapado, ili uzas pli kompleksajn neliniajn transformojn, kiuj, laŭ ili, malfermas multe pli da eblecoj.
Vi povas fari multajn aferojn per neliniaj transformoj, sed ili estas nekredeble kompleksaj, kaj ni homoj estas nekredeble stultaj. Tuj kiam temas pri neliniaj transformoj en scienco, ni preferas iri al nombraj metodoj kaj ŝtopi neŭralajn retojn ĉie, por ke ili verku ĉefverkojn por ni. Ĉi tie estis same.
Aŭtomatigo kaj revoj pri "ĉefverko" butono
Post kiam ĉiuj alkutimiĝis al filtriloj, ni komencis konstrui ilin rekte en fotilojn. Historio kaŝas, kiu fabrikanto estis la unua, sed nur por kompreni kiom longe ĝi estis - en iOS 5.0, kiu estis publikigita reen en 2011, jam ekzistis publika API por Aŭtomataj Plibonigaj Bildoj. Nur Jobs scias kiom longe ĝi estis uzata antaŭ malfermo al publiko.
La aŭtomatigo faris la saman aferon, kiun ĉiu el ni faras, kiam ili malfermas foton en la redaktilo - ĝi eltiris breĉojn en lumo kaj ombroj, aldonis saturiĝon, forigis ruĝajn okulojn kaj fiksis vizaĝkoloron. Uzantoj eĉ ne rimarkis, ke la "drame plibonigita fotilo" en la nova saĝtelefono estis nur la merito de kelkaj novaj ombriloj. Restis ankoraŭ kvin jaroj antaŭ la liberigo de la Google Pixel kaj la komenco de la komputika fotarto.
Hodiaŭ, la batalo por la "ĉefverko" butono moviĝis al la kampo de maŝina lernado. Ludis sufiĉe kun tonmapado, ĉiuj rapidis por trejni CNN-ojn kaj GAN-ojn por movi glitilojn anstataŭ la uzanto. Alivorte, de la eniga bildo, determinu aron de optimumaj parametroj, kiuj proksimigus ĉi tiun bildon al certa subjektiva kompreno pri "bona fotado". Realigita en la sama Pixelmator Pro kaj aliaj redaktistoj. Ĝi funkcias, kiel vi povas supozi, ne tre bone kaj ne ĉiam.
Stakado estas 90% de la sukceso de movaj fotiloj
Vera komputila fotarto komenciĝis per stakiĝo - tavoligante plurajn fotojn unu sur la alian. Ne estas problemo por inteligenta telefono klaki dekduon da kadroj en duona sekundo. Iliaj fotiloj ne havas malrapidajn mekanikajn partojn: la aperturo estas fiksita, kaj anstataŭ moviĝanta kurteno estas elektronika obturatoro. La procesoro simple ordonas al la matrico kiom da mikrosekundoj ĝi devus kapti sovaĝajn fotonojn, kaj ĝi legas la rezulton.
Teknike, la telefono povas fari fotojn je videorapideco, kaj video je foto rezolucio, sed ĉio dependas de la rapido de la buso kaj la procesoro. Tial ili ĉiam fiksas programlimojn.
Staking mem estas ĉe ni delonge. Eĉ avoj instalis kromaĵojn sur Photoshop 7.0 por kunmeti plurajn fotojn en okulfrapajn HDR aŭ kunkudri panoramon de 18000 × 600 pikseloj kaj... fakte, neniu iam eltrovis kion fari kun ili poste. Estis domaĝe, ke la tempoj estis riĉaj kaj sovaĝaj.
Nun ni fariĝis plenkreskuloj kaj nomas ĝin "epsilona fotado" - kiam, ŝanĝante unu el la fotilaj parametroj (ekspozicio, fokuso, pozicio) kaj kunmetante la rezultajn kadrojn, ni ricevas ion, kio ne povus esti kaptita en unu kadro. Sed ĉi tio estas termino por teoriistoj; en la praktiko, alia nomo enradikiĝis - palisado. Hodiaŭ, fakte, 90% de ĉiuj novigoj en moveblaj fotiloj baziĝas sur ĝi.
Io, pri kio multaj homoj ne pensas, sed gravas kompreni ĉion pri poŝtelefona kaj komputika fotado: la fotilo de moderna inteligenta telefono komencas foti tuj kiam vi malfermas ĝian apon. Kio estas logika, ĉar ŝi bezonas iel transdoni la bildon al la ekrano. Tamen, aldone al la ekrano, ĝi konservas alt-rezoluciajn kadrojn en sian propran buklon, kie ĝi konservas ilin dum kelkaj pliaj sekundoj.
Kiam vi premas la butonon "preni foton", ĝi efektive jam estis prenita, la fotilo simple prenas la lastan foton el la bufro.
Tiel funkcias ĉiu movebla fotilo hodiaŭ. Almenaŭ en ĉiuj flagŝipoj ne el la rubamasoj. Buffering permesas rimarki ne nur nul-malfruon, pri kiu fotistoj longe revis, sed eĉ negativan - kiam vi premas butonon, la inteligenta telefono rigardas en la pasintecon, malŝarĝas la lastajn 5-10 fotojn el la bufro kaj komencas freneze analizi. kaj algluu ilin. Ne plu atendi, ke la telefono klaku kadrojn por HDR aŭ nokta reĝimo - simple prenu ilin el la bufro, la uzanto eĉ ne scios.
Cetere, estas helpe de negativa obturatoro, ke Live Photo estas efektivigita en iPhones, kaj HTC havis ion similan en 2013 sub la stranga nomo Zoe.
Ekspona stakiĝo - HDR kaj kontraŭbatalado de briloŝanĝoj
Ĉu fotilsensiloj kapablas kapti la tutan gamon de brilo alirebla por niaj okuloj, estas malnova varma temo de debato. Iuj diras ne, ĉar la okulo kapablas vidi ĝis 25 f-haltojn, dum eĉ el supra plenkadra matrico oni povas akiri maksimume 14. Aliaj nomas la komparon malĝusta, ĉar la cerbo helpas la okulon aŭtomate alĝustigante. la pupilo kaj kompletigante la bildon per siaj neŭralaj retoj, kaj la tuja La dinamika gamo de la okulo fakte ne estas pli ol nur 10-14 f-haltoj. Ni lasu ĉi tiun debaton al la plej bonaj fotelaj pensuloj en Interreto.
La fakto restas: kiam vi pafas amikojn kontraŭ hela ĉielo sen HDR per iu ajn movebla fotilo, vi ricevas aŭ normalan ĉielon kaj nigrajn vizaĝojn de amikoj, aŭ bone desegnitajn amikojn, sed ĉielon brulbrulis.
La solvo estas delonge inventita - pligrandigi la brilan gamon per HDR (Alta dinamika gamo). Vi devas preni plurajn kadrojn je malsamaj obturatoroj kaj kunkudri ilin. Do ke unu estas "normala", la dua estas pli hela, la tria estas pli malhela. Ni prenas malhelajn lokojn el malpeza kadro, plenigas superekspoziciojn el malhela - profito. Restas nur solvi la problemon de aŭtomata krampo - kiom ŝanĝi la ekspozicion de ĉiu kadro por ne troi ĝin, sed nun duajara studento en teknika universitato povas pritrakti determini la averaĝan brilecon de bildo.
Sur la plej novaj iPhone, Pixel kaj Galaxy, HDR-reĝimo ĝenerale estas ŝaltita aŭtomate kiam simpla algoritmo ene de la fotilo determinas, ke vi pafas ion kun kontrasto en suna tago. Vi eĉ povas rimarki, kiel la telefono ŝanĝas la registran reĝimon al la bufro por konservi kadrojn ŝanĝitajn en ekspozicio - la fps en la fotilo falas, kaj la bildo mem fariĝas pli suka. La ŝanĝa momento estas klare videbla sur mia iPhone X kiam oni filmas ekstere. Rigardu pli detale vian saĝtelefonon ankaŭ venontfoje.
La malavantaĝo de HDR kun malkovra krampo estas ĝia nepenetrebla senhelpo en malbona lumigado. Eĉ kun la lumo de ĉambra lampo, la kadroj fariĝas tiel malhelaj ke la komputilo ne povas vicigi kaj kunkudri ilin. Por solvi la problemon kun lumo, en 2013 Google montris malsaman aliron al HDR en la tiam liberigita Nexus-saĝtelefono. Li uzis tempo-stakadon.
Tempostakado - longa malkovra simulado kaj tempopaso
Tempostakado permesas vin krei longan ekspozicion uzante serion da mallongaj. La pioniroj estis ŝatantoj de fotado de stelvojoj en la nokta ĉielo, kiuj trovis maloportune malfermi la ŝutron dum du horoj samtempe. Estis tiel malfacile kalkuli ĉiujn agordojn anticipe, kaj la plej eta skuado ruinigus la tutan kadron. Ili decidis malfermi la ŝutron nur dum kelkaj minutoj, sed multfoje, kaj poste iris hejmen kaj algluis la rezultajn kadrojn en Photoshop.
Montriĝas, ke la fotilo neniam efektive pafis je longa obturatoro, sed ni akiris la efikon de simuli ĝin aldonante plurajn kadrojn prenitajn en vico. Ekzistas amaso da programoj skribitaj por saĝtelefonoj kiuj uzas ĉi tiun lertaĵon dum longa tempo, sed ĉiuj ili ne estas bezonataj ĉar la funkcio estis aldonita al preskaŭ ĉiuj normaj fotiloj. Hodiaŭ, eĉ iPhone povas facile kunigi longan ekspozicion de Viva Foto.
Ni reiru al Guglo kun ĝia nokta HDR. Montriĝis, ke uzante tempokrampon vi povas efektivigi bonan HDR en la mallumo. La teknologio unue aperis en la Nexus 5 kaj estis nomita HDR+. La ceteraj Android-telefonoj ricevis ĝin kvazaŭ kiel donacon. La teknologio daŭre estas tiel populara, ke ĝi eĉ estas laŭdata en la prezento de la plej novaj Pikseloj.
HDR+ funkcias tute simple: determininte, ke vi pafas en la mallumo, la fotilo malŝarĝas la lastajn 8-15 RAW-fotojn el la bufro por supermeti ilin unu sur la alian. Tiel, la algoritmo kolektas pli da informoj pri la malhelaj areoj de la kadro por minimumigi bruon - pikselojn kie, ial, la fotilo ne povis kolekti ĉiujn informojn kaj misfunkciis.
Estas kvazaŭ se vi ne scius kiel aspektis kapibaro kaj vi petus kvin homojn priskribi ĝin, iliaj rakontoj estus proksimume la samaj, sed ĉiu mencius iun unikan detalon. Tiel vi kolektus pli da informoj ol nur peti unu. Estas same kun pikseloj.
Aldonado de kadroj prenitaj de unu punkto donas la saman falsan longan eksponan efikon kiel kun la steloj supre. La malkovro de dekoj da kadroj estas resumita, eraroj en unu estas minimumigitaj en aliaj. Imagu kiom da fojoj vi devus klaki la DSLR-obturatoron ĉiufoje por atingi ĉi tion.
Restis nur solvi la problemon de aŭtomata kolorkorektado - kadroj prenitaj en la mallumo kutime fariĝas flavaj aŭ verdaj, kaj ni iom volas la riĉecon de taglumo. En fruaj versioj de HDR+, ĉi tio estis solvita per simple tajlado de la agordoj, kiel en filtriloj al la Instagram. Tiam ili vokis neŭralaj retoj por helpi.
Jen kiel aperis Night Sight - la teknologio de "nokta fotado" en Pixel 2 kaj 3. En la priskribo oni diras: "Maŝinlernado teknikoj konstruitaj sur HDR+, kiuj igas Night Sight funkcii." En esenco, ĉi tio estas la aŭtomatigo de la kolora korekta etapo. La maŝino estis trejnita sur datumaro de "antaŭ" kaj "post" fotoj por fari unu belan el iu aro de malhelaj kurbaj fotoj.
Cetere, la datumaro fariĝis publike havebla. Eble la infanoj de Apple prenos ĝin kaj finfine instruos al siaj vitraj ŝoveliloj fari fotojn ĝuste en la mallumo.
Krome, Night Sight uzas la kalkulon de la movvektoro de objektoj en la kadro por normaligi la malklariĝon, kiu certe okazos kun longa obturatoro. Do, la inteligenta telefono povas preni klarajn partojn de aliaj kadroj kaj glui ilin.
Movada stakado - panoramo, superzoom kaj bruoredukto
Panoramo estas populara distro por loĝantoj de kamparaj areoj. La historio ankoraŭ ne scias pri iuj kazoj, en kiuj kolbasa foto interesus al iu ajn krom ĝia aŭtoro, sed ĝi ne povas esti ignorita - por multaj, ĉi tie komenciĝis unuavice stakado.
La unua utila maniero uzi panoramon estas akiri foton de pli alta rezolucio ol la fotilmatrico permesas kunkudrante plurajn kadrojn. Fotistoj delonge uzas malsaman programaron por tiel nomataj superrezoluciaj fotoj - kiam iomete ŝanĝitaj fotoj ŝajnas kompletigi unu la alian inter la pikseloj. Tiel vi povas akiri bildon de almenaŭ centoj da gigapikseloj, kio estas tre utila se vi bezonas presi ĝin sur reklamafiŝo de la grandeco de domo.
Alia pli interesa aliro estas Pixel Shifting. Kelkaj senspegulaj fotiloj kiel Sony kaj Olympus komencis subteni ĝin en 2014, sed ili ankoraŭ devis glui la rezulton permane. Tipaj grandaj fotilaj novigoj.
Smartphones sukcesis ĉi tie pro amuza kialo - kiam vi fotas, viaj manoj tremas. Ĉi tiu ŝajne problemo formis la bazon por la efektivigo de denaska superrezolucio sur saĝtelefonoj.
Por kompreni kiel ĉi tio funkcias, vi devas memori kiel la matrico de iu ajn fotilo estas strukturita. Ĉiu el ĝiaj pikseloj (fotodiodo) kapablas registri nur la intensecon de lumo - tio estas la nombro de alvenantaj fotonoj. Tamen, pikselo ne povas mezuri sian koloron (ondolongo). Por akiri RGB-bildon, ni ankaŭ devis aldoni lambastonojn ĉi tie - kovri la tutan matricon per krado de multkoloraj pecoj de vitro. Ĝia plej populara efektivigo estas nomita la Bayer-filtrilo kaj estas uzita en la plej multaj matricoj hodiaŭ. Aspektas kiel la bildo sube.
Rezultas, ke ĉiu pikselo de la matrico kaptas nur la R-, G- aŭ B-komponenton, ĉar la ceteraj fotonoj estas senkompate reflektitaj per la Bayer-filtrilo. Ĝi rekonas la mankantajn komponentojn malakre averaĝante la valorojn de najbaraj pikseloj.
Estas pli da verdaj ĉeloj en la Bayer-filtrilo - tio estis farita per analogio kun la homa okulo. Montriĝas, ke el 50 milionoj da pikseloj sur la matrico, verda kaptos 25 milionojn, ruĝan kaj bluan - po 12,5 milionojn. La resto estos averaĝita - ĉi tiu procezo nomiĝas debayerigo aŭ demosaicing, kaj ĉi tio estas tiel dika amuza lambastono sur kiu ĉio ripozas.
Fakte, ĉiu matrico havas sian propran ruzan patentitan demosaicing algoritmon, sed por la celoj de ĉi tiu rakonto ni neglektos ĉi tion.
Aliaj specoj de matricoj (kiel ekzemple Foveon) iel ne kaptis ankoraŭ. Kvankam iuj fabrikantoj provas uzi sensilojn sen Bayer-filtrilo por plibonigi akrecon kaj dinamikan gamon.
Kiam estas malmulte da lumo aŭ la detaloj de objekto estas tre etaj, ni perdas multajn informojn ĉar la Bayer-filtrilo malkaŝe fortranĉas fotonojn kun nedezirata ondolongo. Tial ili elpensis Pixel Shifting - movante la matricon je 1 pikselo supren-malsupren-dekstre-maldekstren por kapti ilin ĉiujn. En ĉi tiu kazo, la foto ne rezultas 4 fojojn pli granda, kiel ŝajnas, la procesoro simple uzas ĉi tiujn datumojn por pli precize registri la valoron de ĉiu pikselo. Ĝi averaĝas ne super siaj najbaroj, por tiel diri, sed super kvar valoroj de si mem.
La skuado de niaj manoj dum fotoj per telefono faras ĉi tiun procezon natura sekvo. En la plej novaj versioj de Google Pixel, ĉi tiu afero estas efektivigita kaj ŝaltas kiam ajn vi uzas zomon sur la telefono - ĝi nomiĝas Super Res Zoom (jes, mi ankaŭ ŝatas ilian senkompatan nomon). La ĉinoj ankaŭ kopiis ĝin en siajn laofonojn, kvankam ĝi rezultis iom pli malbona.
Supermeti iomete ŝanĝitajn fotojn unu sur la alian ebligas kolekti pli da informoj pri la koloro de ĉiu pikselo, kio signifas redukti bruon, pliigi akrecon kaj plialtigi rezolucion sen pliigi la fizikan nombron da megapikseloj de la matrico. Modernaj Android-flanŝipoj faras tion aŭtomate, sen ke iliaj uzantoj eĉ pensas pri tio.
Fokuso-stakado - ajna kampa profundo kaj refokuso en postproduktado
La metodo venas de makrofotado, kie malprofunda kampa profundo ĉiam estis problemo. Por ke la tuta objekto estu enfokusigita, vi devis preni plurajn kadrojn kun la fokuso moviĝanta tien kaj reen, kaj tiam kunkudri ilin en unu akran. La saman metodon ofte uzis pejzaĝfotistoj, igante la malfonon kaj fonon akraj kiel diareo.
Ĉio ĉi ankaŭ moviĝis al saĝtelefonoj, kvankam sen multe da ekzaltiĝo. En 2013, Nokia Lumia 1020 kun "Refocus App" estis publikigita, kaj en 2014, Samsung Galaxy S5 kun "Selective Focus" reĝimo. Ili funkciis laŭ la sama skemo: premante butonon, ili rapide faris 3 fotojn - unu kun "normala" fokuso, la dua kun la fokuso movita antaŭen kaj la tria kun la fokuso movita malantaŭen. La programo vicigis kadrojn kaj permesis al vi elekti unu el ili, kiu estis reklamita kiel "reala" fokusa kontrolo en postproduktado.
Ne estis plua prilaborado, ĉar eĉ ĉi tiu simpla hako sufiĉis por enŝovi alian najlon en la kovrilon de Lytro kaj ĝiaj samuloj per sia honesta refokuso. Cetere, ni parolu pri ili (transira majstro 80 lvl).
Komputilaj matricoj - malpezaj kampoj kaj plenoptiko
Kiel ni komprenis supre, niaj matricoj estas teruro sur lambastonoj. Ni ĵus kutimiĝis al ĝi kaj provas vivi kun ĝi. Ilia strukturo malmulte ŝanĝiĝis ekde la komenco de la tempo. Ni nur plibonigis la teknikan procezon - ni reduktis la distancon inter la pikseloj, batalis kontraŭ interferbruo, kaj aldonis specialajn pikselojn por faza detekto aŭtomata fokuso. Sed se vi prenas eĉ la plej multekostan DSLR kaj provos foti kurantan katon per ĝi en ĉambra lumigado - la kato, por paroli milde, venkos.
Ni delonge provas elpensi ion pli bonan. Multaj provoj kaj esplorado en ĉi tiu areo estas guglataj por "komputika sensilo" aŭ "ne-bayer-sensilo", kaj eĉ la supra ekzemplo de Pixel Shifting povas esti atribuita al provoj plibonigi matricojn per kalkuloj. Tamen la plej promesplenaj rakontoj en la lastaj dudek jaroj venis al ni ĝuste el la mondo de tiel nomataj plenoptikaj fotiloj.
Por ke vi ne ekdormu pro la antaŭĝojo de baldaŭaj kompleksaj vortoj, mi enĵetos internan, ke la fotilo de la plej nova Google Pixel estas nur "iomete" plenoptika. Nur du pikseloj, sed eĉ ĉi tio permesas al ĝi kalkuli la ĝustan optikan profundon de la kadro eĉ sen dua fotilo, kiel ĉiuj aliaj.
Plenoptics estas potenca armilo kiu ankoraŭ ne pafis. Jen ligo al unu el miaj plej ŝatataj lastatempaj. , de kie mi pruntis la ekzemplojn.
Plenoptic fotilo - baldaŭ venos
Inventite en 1994, kolektita ĉe Stanfordo en 2004. La unua konsumantfotilo, Lytro, estis publikigita en 2012. La VR-industrio nun aktive eksperimentas kun similaj teknologioj.
Plenoptika fotilo diferencas de konvencia fotilo en nur unu modifo - ĝia matrico estas kovrita per krado de lensoj, ĉiu el kiuj kovras plurajn realajn pikselojn. Io kiel ĉi tio:
Se vi ĝuste kalkulas la distancon de la krado al la matrico kaj la grandecon de la aperturo, la fina bildo havos klarajn aretojn de pikseloj - speco de mini-versioj de la originala bildo.
Rezultas, ke se vi prenas, ekzemple, unu centran pikselon el ĉiu areto kaj kungluas la bildon nur uzante ilin, ĝi ne diferencas de tio prenita per regula fotilo. Jes, ni iomete perdis en rezolucio, sed ni nur petos al Sony aldoni pli da megapikseloj en la novaj matricoj.
La amuzo nur komenciĝas. se vi prenas alian pikselon el ĉiu areto kaj kunkudras la bildon denove, vi ricevos normalan foton denove, nur kvazaŭ ĝi estus prenita kun movo de unu pikselo. Tiel, havante aretojn de 10 × 10 pikseloj, ni ricevos 100 bildojn de la objekto el "iomete" malsamaj punktoj.
Pli granda areto signifas pli da bildoj, sed pli malalta rezolucio. En la mondo de saĝtelefonoj kun 41-megapikselaj matricoj, kvankam ni povas iomete neglekti la rezolucion, estas limo al ĉio. Vi devas konservi ekvilibron.
Bone, ni kunvenis plenoptikan fotilon, do kion tio donas al ni?
Honesta refokuso
La trajto pri kiu ĉiuj ĵurnalistoj zumis en artikoloj pri Lytro estis la kapablo honeste alĝustigi fokuson en postproduktado. Per juste ni volas diri, ke ni ne uzas iujn ajn malmalklarajn algoritmojn, sed uzas ekskluzive la pikselojn ĉemane, elektante aŭ averaĝante ilin el aretoj en la bezonata ordo.
RAW fotado de plenoptika fotilo aspektas strange. Por eltiri la kutiman akran ĵipon el ĝi, vi unue devas kunmeti ĝin. Por fari tion, vi devas elekti ĉiun pikselon de la ĵipo el unu el la RAW-grupoj. Depende de kiel ni elektas ilin, la rezulto ŝanĝiĝos.
Ekzemple, ju pli la areto estas de la incidpunkto de la origina trabo, des pli malfokusa ĉi tiu trabo estas. Ĉar optiko. Por akiri fokus-ŝovitan bildon, ni nur bezonas elekti pikselojn je la dezirata distanco de la originala - ĉu pli proksime aŭ pli.
Estis pli malfacile ŝanĝi la fokuson al vi mem - pure fizike, estis malpli da tiaj pikseloj en la aretoj. Komence, la programistoj eĉ ne volis doni al la uzanto la kapablon fokusi per siaj manoj - la fotilo mem decidis tion en programaro. Uzantoj ne ŝatis ĉi tiun estontecon, do ili aldonis funkcion en pli posta firmvaro nomata "krea reĝimo", sed refokusigis en ĝi tre limigita ĝuste pro tio.
Profundmapo kaj 3D de unu fotilo
Unu el la plej simplaj operacioj en plenoptiko estas akiri profundmapon. Por fari tion, vi nur bezonas kolekti du malsamajn kadrojn kaj kalkuli kiom multe la objektoj en ili estas movitaj. Pli da ŝanĝo signifas pli for de la fotilo.
Google lastatempe aĉetis kaj mortigis Lytro, sed uzis ilian teknologion por ĝia VR kaj... por la Pixel-fotilo. Komencante kun Pixel 2, la fotilo iĝis "iomete" plenoptika unuafoje, kvankam kun aretoj de nur du pikseloj. Ĉi tio donis al Guglo la ŝancon ne instali duan fotilon, kiel ĉiuj aliaj uloj, sed kalkuli la profundmapon nur el unu foto.
La profundmapo estas konstruita uzante du kadrojn ŝanĝitajn je unu subpikselo. Ĉi tio sufiĉas por kalkuli binaran profundmapon kaj apartigi la malfonon de la fono kaj malklarigi ĉi-lastan en la nun moda bokeh. La rezulto de tia tavolo ankaŭ estas glatigita kaj "plibonigita" de neŭralaj retoj, kiuj estas trejnitaj por plibonigi profundajn mapojn (kaj ne malklarigi, kiel multaj homoj pensas).
La lertaĵo estas, ke ni ricevis plenoptikojn en saĝtelefonoj preskaŭ senpage. Ni jam metis lensojn sur ĉi tiujn etajn matricojn por iel pliigi la lumfluon. En la sekva Pixel, Google planas iri plu kaj kovri kvar fotodiodojn per lenso.
fonto: 3dnews.ru