Mae'r erthygl wreiddiol yn cael ei phostio ar y wefan a'i gyhoeddi ar 3DNews gyda chaniatâd yr awdur. Rydym yn darparu testun llawn yr erthygl, ac eithrio nifer enfawr o ddolenni - byddant yn ddefnyddiol i'r rhai sydd â diddordeb difrifol yn y pwnc ac a hoffai astudio agweddau damcaniaethol ffotograffiaeth gyfrifiadol yn fanylach, ond am un. cynulleidfa gyffredinol roeddem yn ystyried bod y deunydd hwn yn ddiangen.
Heddiw, nid yw un cyflwyniad ffôn clyfar wedi'i gwblhau heb lyfu ei gamera. Bob mis rydym yn clywed am lwyddiant nesaf camerâu symudol: mae Google yn dysgu Pixel i saethu yn y tywyllwch, Huawei i chwyddo fel ysbienddrych, mae Samsung yn mewnosod lidar, ac mae Apple yn gwneud corneli mwyaf crwn y byd. Ychydig iawn o leoedd lle mae arloesedd yn llifo mor gyflym y dyddiau hyn.
Ar yr un pryd, mae'n ymddangos bod y drychau yn marcio amser. Mae Sony yn flynyddol yn cawodydd matricsau newydd i bawb, ac mae gweithgynhyrchwyr yn diweddaru'r digid fersiwn diweddaraf yn ddiog ac yn parhau i ymlacio ac ysmygu ar y llinell ochr. Mae gen i DSLR $3000 ar fy nesg, ond pan dwi'n teithio, dwi'n cymryd fy iPhone. Pam?
Fel y dywedodd y clasur, es i ar-lein gyda'r cwestiwn hwn. Yno maen nhw’n trafod rhai “algorithmau” a “rhwydweithiau niwral”, heb unrhyw syniad sut yn union maen nhw’n effeithio ar ffotograffiaeth. Mae newyddiadurwyr yn darllen yn uchel nifer y megapixels, mae blogwyr yn llifio dadflychau taledig yn unsain, ac mae esthetes yn taenu eu hunain â “chanfyddiad synhwyrol o balet lliw y matrics.” Mae popeth fel arfer.
Roedd yn rhaid i mi eistedd i lawr, treulio hanner fy mywyd a darganfod y cyfan fy hun. Yn yr erthygl hon byddaf yn dweud wrthych beth ddysgais.
Beth yw ffotograffiaeth gyfrifiadol?
Ym mhobman, gan gynnwys Wicipedia, maen nhw'n rhoi rhywbeth fel y diffiniad hwn: ffotograffiaeth gyfrifiadol yw unrhyw dechneg dal a phrosesu delwedd sy'n defnyddio cyfrifiadura digidol yn lle trawsnewidiadau optegol. Mae popeth amdano yn dda, heblaw nad yw'n esbonio dim. Mae hyd yn oed autofocus yn addas ar ei gyfer, ond nid yw plenoptics, sydd eisoes wedi dod â llawer o bethau defnyddiol inni, yn ffitio. Mae amwysedd diffiniadau swyddogol fel pe bai’n awgrymu nad oes gennym unrhyw syniad am beth yr ydym yn sôn.
Mae arloeswr ffotograffiaeth gyfrifiadol, yr athro Stanford Marc Levoy (sydd bellach yn gyfrifol am y camera yn Google Pixel) yn rhoi diffiniad arall - set o ddulliau delweddu cyfrifiadurol sy'n gwella neu'n ehangu galluoedd ffotograffiaeth ddigidol, gan ddefnyddio'r hwn y ceir ffotograff rheolaidd. yn dechnegol ni ellid ei gymryd gyda'r camera hwn, camera yn y ffordd draddodiadol. Yn yr erthygl rwy'n cadw at hyn.
Felly, ffonau clyfar oedd ar fai am bopeth.
Nid oedd gan ffonau clyfar unrhyw ddewis ond rhoi genedigaeth i fath newydd o ffotograffiaeth: ffotograffiaeth gyfrifiadol.
Dylai eu matricsau bach swnllyd a lensys agorfa araf bach, yn unol â holl ddeddfau ffiseg, fod wedi dod â phoen a dioddefaint yn unig. Fe wnaethant hynny nes i'w datblygwyr ddarganfod sut i ddefnyddio'u cryfderau'n glyfar i oresgyn eu gwendidau - caeadau electronig cyflym, proseswyr pwerus a meddalwedd.
Digwyddodd y rhan fwyaf o'r ymchwil proffil uchel ym maes ffotograffiaeth gyfrifiadol rhwng 2005 a 2015, a ystyrir yn llythrennol ddoe mewn gwyddoniaeth. Ar hyn o bryd, o flaen ein llygaid ac yn ein pocedi, mae maes newydd o wybodaeth a thechnoleg yn datblygu nad yw erioed wedi bodoli o'r blaen.
Nid yw ffotograffiaeth gyfrifiadol yn ymwneud â hunluniau â niwro-bokeh yn unig. Ni fyddai'r ffotograff diweddar o dwll du wedi bod yn bosibl heb dechnegau ffotograffiaeth gyfrifiadol. I dynnu llun o'r fath gyda thelesgop rheolaidd, byddai'n rhaid i ni ei wneud yr un maint â'r Ddaear. Fodd bynnag, trwy gyfuno data o wyth telesgop radio ar wahanol bwyntiau ar ein pêl ac ysgrifennu ychydig o sgriptiau yn Python, cawsom y ffotograff cyntaf yn y byd o orwel y digwyddiad. Da ar gyfer hunluniau hefyd.
Dechrau: prosesu digidol
Gadewch i ni ddychmygu ein bod wedi dychwelyd 2007. Mae ein mam yn anarchiaeth, ac mae ein lluniau yn jeeps 0,6-megapixel swnllyd wedi'u cymryd ar fwrdd sgrialu. O gwmpas hynny mae gennym yr awydd anorchfygol cyntaf i daenellu rhagosodiadau arnynt er mwyn cuddio trueni matricsau symudol. Gadewch i ni beidio gwadu ein hunain.
Matan ac Instagram
Gyda rhyddhau Instagram, daeth pawb yn obsesiwn â hidlwyr. Fel rhywun a beiriannodd yr X-Pro II, Lo-Fi a Valencia, wrth gwrs, at ddibenion ymchwil, rwy'n dal i gofio eu bod yn cynnwys tair cydran:
- Gosodiadau lliw (Lliw, Dirlawnder, Ysgafnder, Cyferbyniad, Lefelau, ac ati) - cyfernodau digidol syml, yn union fel unrhyw ragosodiadau y mae ffotograffwyr wedi'u defnyddio ers yr hen amser.
- Mae Mapiau Tôn yn fectorau o werthoedd, a dywedodd pob un wrthym: “Dylid troi’r lliw coch gydag arlliw o 128 yn arlliw o 240.”
- Mae troshaen yn lun tryleu gyda llwch, grawn, vignette, a phopeth arall y gellir ei osod ar ei ben i gael effaith ddi-chwaeth hen ffilm. Nid oedd bob amser yn bresennol.
Nid yw hidlwyr modern ymhell o'r triawd hwn, dim ond ychydig yn fwy cymhleth y maent wedi dod mewn mathemateg. Gyda dyfodiad graddwyr caledwedd ac OpenCL ar ffonau smart, cawsant eu hailysgrifennu'n gyflym ar gyfer y GPU, ac ystyriwyd bod hyn yn wyllt o cŵl. Ar gyfer 2012, wrth gwrs. Heddiw, gall unrhyw fyfyriwr wneud yr un peth yn CSS, ac ni fydd yn dal i gael y cyfle i raddio.
Fodd bynnag, nid yw cynnydd hidlwyr wedi dod i ben heddiw. Mae'r dynion o Dehanser, er enghraifft, yn wych am ddefnyddio hidlwyr aflinol - yn lle mapio tôn proletarian, maen nhw'n defnyddio trawsnewidiadau aflinol mwy cymhleth, sydd, yn ôl nhw, yn agor llawer mwy o bosibiliadau.
Gallwch chi wneud llawer o bethau gyda thrawsnewidiadau aflinol, ond maen nhw'n hynod gymhleth, ac rydyn ni fel bodau dynol yn anhygoel o dwp. Cyn gynted ag y daw i drawsnewidiadau aflinol mewn gwyddoniaeth, mae'n well gennym fynd i ddulliau rhifiadol a rhwydweithiau niwral cram ym mhobman fel eu bod yn ysgrifennu campweithiau i ni. Yr un oedd yma.
Awtomatiaeth a breuddwydio am fotwm “campwaith”.
Ar ôl i bawb ddod i arfer â hidlwyr, dechreuon ni eu hadeiladu'n uniongyrchol i mewn i gamerâu. Mae hanes yn cuddio pa wneuthurwr oedd y cyntaf, ond dim ond i ddeall pa mor bell yn ôl ydoedd - yn iOS 5.0, a ryddhawyd yn ôl yn 2011, roedd eisoes API cyhoeddus ar gyfer Delweddau Gwella Auto. Dim ond Swyddi sy'n gwybod pa mor hir y cafodd ei ddefnyddio cyn agor i'r cyhoedd.
Gwnaeth yr awtomeiddio yr un peth ag y mae pob un ohonom yn ei wneud wrth agor llun yn y golygydd - tynnodd allan fylchau mewn golau a chysgodion, ychwanegu dirlawnder, tynnu llygaid coch a gwedd sefydlog. Nid oedd defnyddwyr hyd yn oed yn sylweddoli mai teilyngdod cwpl o arlliwwyr newydd yn unig oedd y “camera wedi'i wella'n ddramatig” yn y ffôn clyfar newydd. Roedd yna bum mlynedd ar ôl o hyd cyn rhyddhau Google Pixel a dechrau'r hype ffotograffiaeth gyfrifiadol.
Heddiw, mae’r frwydr am y botwm “campwaith” wedi symud i faes dysgu peirianyddol. Ar ôl chwarae digon gyda mapio tôn, rhuthrodd pawb i hyfforddi CNNs a GANs i symud llithryddion yn lle'r defnyddiwr. Mewn geiriau eraill, o'r ddelwedd mewnbwn, pennwch set o baramedrau gorau posibl a fyddai'n dod â'r ddelwedd hon yn nes at ddealltwriaeth oddrychol benodol o “ffotograffiaeth dda.” Wedi'i weithredu yn yr un Pixelmator Pro a golygyddion eraill. Mae'n gweithio, fel y gallech ddyfalu, ddim yn dda iawn ac nid bob amser.
Mae pentyrru yn 90% o lwyddiant camerâu symudol
Dechreuodd ffotograffiaeth gyfrifiadol wirioneddol gyda phentyrru - haenu ffotograffau lluosog ar ben ei gilydd. Nid yw'n broblem i ffôn clyfar glicio dwsin o fframiau mewn hanner eiliad. Nid oes gan eu camerâu unrhyw rannau mecanyddol araf: mae'r agorfa yn sefydlog, ac yn lle llen symudol mae caead electronig. Yn syml, mae'r prosesydd yn gorchymyn y matrics faint o ficroseconds y dylai ddal ffotonau gwyllt, ac mae'n darllen y canlyniad.
Yn dechnegol, gall y ffôn dynnu lluniau ar gyflymder fideo, a fideo ar ddatrysiad lluniau, ond mae'r cyfan yn dibynnu ar gyflymder y bws a'r prosesydd. Dyna pam eu bod bob amser yn gosod terfynau rhaglen.
Mae staking ei hun wedi bod gyda ni ers amser maith. Gosododd hyd yn oed teidiau ategion ar Photoshop 7.0 i gydosod nifer o ffotograffau i mewn i HDR trawiadol neu bwytho panorama o 18000 × 600 picsel a... a dweud y gwir, doedd neb byth yn gwybod beth i'w wneud â nhw nesaf. Trueni bod yr amseroedd yn gyfoethog a gwyllt.
Nawr rydyn ni wedi dod yn oedolion ac yn ei alw'n “ffotograffiaeth epsilon” - pan, trwy newid un o baramedrau'r camera (amlygiad, ffocws, lleoliad) a phwytho'r fframiau canlyniadol, rydyn ni'n cael rhywbeth na ellid ei ddal mewn un ffrâm. Ond term am ddamcaniaethwyr yw hwn; yn ymarferol, mae enw arall wedi gwreiddio - staking. Heddiw, mewn gwirionedd, mae 90% o'r holl ddatblygiadau arloesol mewn camerâu symudol yn seiliedig arno.
Rhywbeth nad yw llawer o bobl yn meddwl amdano, ond mae'n bwysig deall holl ffotograffiaeth symudol a chyfrifiadurol: mae'r camera ar ffôn clyfar modern yn dechrau tynnu lluniau cyn gynted ag y byddwch yn agor ei app. Sy'n rhesymegol, oherwydd mae angen iddi rywsut drosglwyddo'r ddelwedd i'r sgrin. Fodd bynnag, yn ogystal â'r sgrin, mae'n arbed fframiau cydraniad uchel yn ei glustogiad dolen ei hun, lle mae'n eu storio am ychydig eiliadau eraill.
Pan fyddwch chi'n pwyso'r botwm "tynnu llun", mae eisoes wedi'i dynnu, mae'r camera yn syml yn tynnu'r llun olaf o'r byffer.
Dyma sut mae unrhyw gamera symudol yn gweithio heddiw. O leiaf ym mhob cwmni blaenllaw nid o'r pentyrrau sbwriel. Mae byffro yn caniatáu ichi sylweddoli nid yn unig oedi caead sero, y mae ffotograffwyr wedi breuddwydio amdano ers amser maith, ond hyd yn oed yn negyddol - pan fyddwch chi'n pwyso botwm, mae'r ffôn clyfar yn edrych i'r gorffennol, yn dadlwytho'r 5-10 llun olaf o'r byffer ac yn dechrau dadansoddi'n wyllt. a phastwch nhw. Dim mwy o aros i'r ffôn glicio fframiau ar gyfer HDR neu fodd nos - tynnwch nhw o'r byffer, ni fydd y defnyddiwr hyd yn oed yn gwybod.
Gyda llaw, gyda chymorth oedi caead negyddol y mae Live Photo yn cael ei weithredu mewn iPhones, ac roedd gan HTC rywbeth tebyg yn ôl yn 2013 o dan yr enw rhyfedd Zoe.
Pentyrru amlygiad - HDR a brwydro yn erbyn newidiadau disgleirdeb
Mae p'un a yw synwyryddion camera yn gallu dal yr ystod gyfan o ddisgleirdeb sy'n hygyrch i'n llygaid yn hen bwnc llosg. Mae rhai yn dweud na, oherwydd bod y llygad yn gallu gweld hyd at 25 f-stops, tra hyd yn oed o fatrics ffrâm lawn uchaf gallwch gael uchafswm o 14. Mae eraill yn galw'r gymhariaeth yn anghywir, oherwydd mae'r ymennydd yn helpu'r llygad trwy addasu'n awtomatig y disgybl a chwblhau'r ddelwedd gyda'i rwydweithiau niwral, a'r amrantiad Nid yw amrediad deinamig y llygad mewn gwirionedd yn ddim mwy na dim ond 10-14 f-stop. Gadewch i ni adael y ddadl hon i'r meddylwyr cadair freichiau gorau ar y Rhyngrwyd.
Erys y ffaith: pan fyddwch chi'n saethu ffrindiau yn erbyn awyr lachar heb HDR ar unrhyw gamera symudol, rydych chi'n cael naill ai awyr arferol a wynebau du ffrindiau, neu ffrindiau wedi'u tynnu'n dda, ond awyr wedi'i llosgi i farwolaeth.
Mae'r ateb wedi'i ddyfeisio ers tro - i ehangu'r ystod disgleirdeb gan ddefnyddio HDR (Amrediad deinamig uchel). Mae angen i chi gymryd sawl ffrâm ar gyflymder caead gwahanol a'u pwytho at ei gilydd. Fel bod un yn “normal”, mae'r ail yn ysgafnach, mae'r trydydd yn dywyllach. Rydyn ni'n cymryd lleoedd tywyll o ffrâm ysgafn, yn llenwi gor-amlygiadau o un tywyll - elw. Y cyfan sydd ar ôl yw datrys problem bracedu awtomatig - faint i symud amlygiad pob ffrâm er mwyn peidio â gorwneud hi, ond nawr gall myfyriwr ail flwyddyn mewn prifysgol dechnegol drin pennu disgleirdeb cyfartalog llun.
Ar yr iPhone, Pixel a Galaxy diweddaraf, mae modd HDR yn cael ei droi ymlaen yn awtomatig yn gyffredinol pan fydd algorithm syml y tu mewn i'r camera yn penderfynu eich bod yn saethu rhywbeth â chyferbyniad ar ddiwrnod heulog. Gallwch hyd yn oed sylwi sut mae'r ffôn yn newid y modd recordio i'r byffer er mwyn arbed fframiau wedi'u symud mewn amlygiad - mae'r fps yn y camera yn disgyn, ac mae'r llun ei hun yn dod yn fwy suddlon. Mae'r foment newid i'w weld yn glir ar fy iPhone X wrth ffilmio yn yr awyr agored. Cymerwch olwg agosach ar eich ffôn clyfar y tro nesaf hefyd.
Anfantais HDR gyda bracedu datguddiad yw ei ddiymadferthedd anhreiddiadwy mewn goleuadau gwael. Hyd yn oed gyda golau lamp ystafell, mae'r fframiau'n troi allan mor dywyll fel na all y cyfrifiadur eu halinio a'u pwytho gyda'i gilydd. I ddatrys y broblem gyda golau, yn 2013 dangosodd Google ymagwedd wahanol at HDR yn y ffôn clyfar Nexus a ryddhawyd bryd hynny. Defnyddiodd pentyrru amser.
Pentyrru amser - efelychiad datguddiad hir a threigl amser
Mae pentyrru amser yn caniatáu ichi greu amlygiad hir gan ddefnyddio cyfres o rai byr. Roedd yr arloeswyr yn hoff o dynnu lluniau o lwybrau sêr yn awyr y nos, a oedd yn ei chael hi'n anghyfleus agor y caead am ddwy awr ar unwaith. Roedd mor anodd cyfrifo'r holl osodiadau ymlaen llaw, a byddai'r ysgwyd lleiaf yn difetha'r ffrâm gyfan. Fe wnaethant benderfynu agor y caead am ychydig funudau yn unig, ond sawl gwaith, ac yna aethant adref a gludo'r fframiau canlyniadol yn Photoshop.
Mae'n ymddangos nad oedd y camera erioed wedi saethu ar gyflymder caead hir, ond cawsom yr effaith o'i efelychu trwy adio sawl ffrâm a gymerwyd yn olynol. Mae llawer o apiau wedi'u hysgrifennu ar gyfer ffonau smart sy'n defnyddio'r tric hwn ers amser maith, ond nid oes angen pob un ohonynt ers i'r nodwedd gael ei hychwanegu at bron pob camera safonol. Heddiw, mae hyd yn oed iPhone yn gallu pwytho amlygiad hir o Ffotograff Byw yn hawdd.
Gadewch i ni fynd yn ôl i Google gyda'i HDR nos. Daeth i'r amlwg, gan ddefnyddio braced amser, y gallwch chi weithredu HDR da yn y tywyllwch. Ymddangosodd y dechnoleg gyntaf yn y Nexus 5 a chafodd ei galw HDR +. Roedd gweddill y ffonau Android yn ei dderbyn fel anrheg. Mae'r dechnoleg yn dal i fod mor boblogaidd fel ei fod hyd yn oed yn cael ei ganmol wrth gyflwyno'r Pixels diweddaraf.
Mae HDR + yn gweithio'n eithaf syml: ar ôl penderfynu eich bod yn saethu yn y tywyllwch, mae'r camera yn dadlwytho'r 8-15 llun RAW olaf o'r byffer er mwyn eu troshaenu ar ben ei gilydd. Felly, mae'r algorithm yn casglu mwy o wybodaeth am ardaloedd tywyll y ffrâm i leihau sŵn - picsel lle, am ryw reswm, nid oedd y camera yn gallu casglu'r holl wybodaeth ac aeth o'i le.
Mae fel pe na baech chi'n gwybod sut olwg oedd ar capybara a'ch bod wedi gofyn i bump o bobl ei ddisgrifio, byddai eu straeon fwy neu lai yr un peth, ond byddai pob un yn sôn am rai manylion unigryw. Fel hyn byddech chi'n casglu mwy o wybodaeth na dim ond gofyn un. Mae'r un peth gyda phicseli.
Mae ychwanegu fframiau a gymerwyd o un pwynt yn rhoi'r un effaith amlygiad hir ffug â'r sêr uchod. Crynhoir amlygiad dwsinau o fframiau, mae gwallau mewn un yn cael eu lleihau mewn eraill. Dychmygwch sawl gwaith y byddai'n rhaid i chi glicio ar y caead DSLR bob tro i gyflawni hyn.
Y cyfan oedd ar ôl oedd datrys y broblem o gywiro lliw awtomatig - mae fframiau a gymerwyd yn y tywyllwch fel arfer yn troi allan yn felyn neu'n wyrdd, ac rydym yn fath o eisiau cyfoeth golau dydd. Mewn fersiynau cynnar o HDR +, datryswyd hyn trwy newid y gosodiadau yn unig, fel mewn hidlwyr a la Instagram. Yna fe wnaethon nhw alw ar rwydweithiau niwral i helpu.
Dyma sut ymddangosodd Night Sight - technoleg “ffotograffiaeth nos” yn Pixel 2 a 3. Yn y disgrifiad maen nhw'n dweud: “Technegau dysgu peiriannau wedi'u hadeiladu ar ben HDR +, sy'n gwneud i Night Sight weithio.” Yn y bôn, dyma awtomeiddio'r cam cywiro lliw. Hyfforddwyd y peiriant ar set ddata o luniau “cyn” ac “ar ôl” er mwyn gwneud un hardd o unrhyw set o luniau cam tywyll.
Gyda llaw, roedd y set ddata ar gael i'r cyhoedd. Efallai y bydd y dynion o Apple yn ei gymryd ac yn olaf yn dysgu eu rhawiau gwydr i dynnu lluniau'n iawn yn y tywyllwch.
Yn ogystal, mae Night Sight yn defnyddio cyfrifiad fector symud gwrthrychau yn y ffrâm i normaleiddio'r aneglurder sy'n sicr o ddigwydd gyda chyflymder caead hir. Felly, gall y ffôn clyfar gymryd rhannau clir o fframiau eraill a'u gludo.
Pentyrru symudiadau - panorama, uwch-chwyddo a lleihau sŵn
Mae Panorama yn adloniant poblogaidd i drigolion ardaloedd gwledig. Nid yw hanes yn gwybod eto am unrhyw achosion lle byddai llun selsig o ddiddordeb i unrhyw un heblaw ei awdur, ond ni ellir ei anwybyddu - i lawer, dyma lle dechreuodd pentyrru yn y lle cyntaf.
Y ffordd ddefnyddiol gyntaf o ddefnyddio panorama yw cael ffotograff o gydraniad uwch nag y mae matrics y camera yn ei ganiatáu trwy bwytho sawl ffrâm at ei gilydd. Mae ffotograffwyr wedi bod yn defnyddio meddalwedd gwahanol ers tro ar gyfer ffotograffau cydraniad uwch fel y'u gelwir - pan ymddengys bod ffotograffau wedi'u symud ychydig yn ategu ei gilydd rhwng y picseli. Fel hyn gallwch chi gael delwedd o o leiaf gannoedd o gigapixels, sy'n ddefnyddiol iawn os oes angen i chi ei argraffu ar boster hysbysebu maint tŷ.
Dull arall, mwy diddorol yw Pixel Shifting. Dechreuodd rhai camerâu di-ddrych fel Sony ac Olympus ei gefnogi yn ôl yn 2014, ond roedd yn rhaid iddynt gludo'r canlyniad â llaw o hyd. Arloesedd camera mawr nodweddiadol.
Mae ffonau clyfar wedi llwyddo yma am reswm doniol - pan fyddwch chi'n tynnu llun, mae'ch dwylo'n ysgwyd. Roedd y broblem hon, i bob golwg, yn sail ar gyfer gweithredu datrysiad uwch brodorol ar ffonau smart.
I ddeall sut mae hyn yn gweithio, mae angen i chi gofio sut mae matrics unrhyw gamera wedi'i strwythuro. Mae pob un o'i bicseli (ffotodiode) yn gallu cofnodi dwyster y golau yn unig - hynny yw, nifer y ffotonau sy'n dod i mewn. Fodd bynnag, ni all picsel fesur ei liw (tonfedd). I gael llun RGB, roedd yn rhaid i ni ychwanegu baglau yma hefyd - gorchuddio'r matrics cyfan gyda grid o ddarnau o wydr amryliw. Gelwir ei weithrediad mwyaf poblogaidd yn hidlydd Bayer ac fe'i defnyddir yn y mwyafrif o fatricsau heddiw. Edrych fel y llun isod.
Mae'n ymddangos bod pob picsel o'r matrics yn dal y gydran R-, G- neu B yn unig, oherwydd bod y ffotonau sy'n weddill yn cael eu hadlewyrchu'n ddidrugaredd gan hidlydd Bayer. Mae'n cydnabod y cydrannau coll trwy gyfartalu gwerthoedd picseli cyfagos yn blwmp ac yn blaen.
Mae mwy o gelloedd gwyrdd yn hidlydd Bayer - gwnaed hyn trwy gyfatebiaeth â'r llygad dynol. Mae'n ymddangos bod allan o 50 miliwn picsel ar y matrics, bydd gwyrdd yn cipio 25 miliwn, coch a glas - 12,5 miliwn yr un Bydd y gweddill yn cael ei gyfartaledd - gelwir y broses hon yn debayerization neu demosaicing, ac mae hyn yn fath o fraster doniol crutch ar y mae popeth yn gorffwys.
Mewn gwirionedd, mae gan bob matrics ei algorithm demosaicing patent cyfrwys ei hun, ond at ddibenion y stori hon byddwn yn esgeuluso hyn.
Rhywsut nid yw mathau eraill o fatricsau (fel Foveon) wedi dal ymlaen eto. Er bod rhai gweithgynhyrchwyr yn ceisio defnyddio synwyryddion heb hidlydd Bayer i wella eglurder ac ystod ddeinamig.
Pan nad oes llawer o olau neu pan fo manylion gwrthrych yn fach iawn, rydym yn colli llawer o wybodaeth oherwydd bod hidlydd Bayer yn torri ffotonau i ffwrdd yn amlwg gyda thonfedd diangen. Dyna pam y daethant i fyny gyda Pixel Shifting - symud y matrics gan 1 picsel i fyny-lawr-dde-chwith i ddal nhw i gyd. Yn yr achos hwn, nid yw'r llun yn troi allan i fod 4 gwaith yn fwy, fel y gallai ymddangos, mae'r prosesydd yn syml yn defnyddio'r data hwn i gofnodi gwerth pob picsel yn fwy cywir. Mae'n cyfartaledd nid dros ei chymdogion, fel petai, ond dros bedwar gwerth ei hun.
Mae ysgwyd ein dwylo wrth dynnu lluniau ar y ffôn yn gwneud y broses hon yn ganlyniad naturiol. Yn y fersiynau diweddaraf o Google Pixel, mae'r peth hwn yn cael ei weithredu ac yn troi ymlaen pryd bynnag y byddwch chi'n defnyddio chwyddo ar y ffôn - fe'i gelwir yn Super Res Zoom (ie, rydw i hefyd yn hoffi eu henw didrugaredd). Copïodd y Tsieineaid ef i'w laophones hefyd, er iddo droi allan ychydig yn waeth.
Mae troshaenu ffotograffau wedi'u symud ychydig ar ben ei gilydd yn caniatáu ichi gasglu mwy o wybodaeth am liw pob picsel, sy'n golygu lleihau sŵn, cynyddu eglurder a chodi cydraniad heb gynyddu nifer ffisegol megapixels y matrics. Mae blaenllaw modern Android yn gwneud hyn yn awtomatig, heb i'w defnyddwyr hyd yn oed feddwl amdano.
Pentyrru ffocws - unrhyw ddyfnder maes ac ailganolbwyntio mewn ôl-gynhyrchu
Daw'r dull o ffotograffiaeth facro, lle mae dyfnder bas y cae bob amser wedi bod yn broblem. Er mwyn i'r gwrthrych cyfan fod mewn ffocws, roedd yn rhaid i chi gymryd sawl ffrâm gyda'r ffocws yn symud yn ôl ac ymlaen, ac yna eu pwytho at ei gilydd yn un miniog. Defnyddiwyd yr un dull yn aml gan ffotograffwyr tirwedd, gan wneud y blaendir a'r cefndir mor sydyn â dolur rhydd.
Mae hyn i gyd hefyd wedi symud i ffonau clyfar, er heb lawer o hype. Yn 2013, rhyddhawyd Nokia Lumia 1020 gyda “Refocus App”, ac yn 2014, Samsung Galaxy S5 gyda modd “Ffocws Dewisol”. Roedden nhw'n gweithio yn ôl yr un cynllun: trwy wasgu botwm, fe wnaethon nhw dynnu 3 llun yn gyflym - un gyda ffocws “normal”, yr ail gyda'r ffocws wedi'i symud ymlaen a'r trydydd gyda'r ffocws wedi'i symud yn ôl. Roedd y rhaglen yn cyd-fynd â fframiau ac yn caniatáu ichi ddewis un ohonyn nhw, a gafodd ei grybwyll fel rheolaeth ffocws “go iawn” mewn ôl-gynhyrchu.
Nid oedd unrhyw brosesu pellach, oherwydd roedd hyd yn oed yr hac syml hwn yn ddigon i yrru hoelen arall i mewn i gaead Lytro a'i chyfoedion gyda'u hailffocws gonest. Gyda llaw, gadewch i ni siarad amdanynt (meistr pontio 80 lvl).
Matricsau cyfrifiadol - meysydd ysgafn a phlopteg
Fel y deallasom uchod, mae ein matricsau yn arswyd ar faglau. Rydym newydd ddod i arfer ag ef ac yn ceisio byw ag ef. Nid yw eu strwythur wedi newid fawr ddim ers dechrau amser. Dim ond y broses dechnegol y gwnaethom ei gwella - fe wnaethom leihau'r pellter rhwng y picseli, ymladd yn erbyn sŵn ymyrraeth, ac ychwanegu picsel arbennig ar gyfer autofocus canfod cam. Ond os cymerwch hyd yn oed y DSLR drutaf a cheisio tynnu llun o gath sy'n rhedeg gyda hi mewn goleuadau ystafell - y gath, i'w rhoi'n ysgafn, fydd yn ennill.
Rydyn ni wedi bod yn ceisio dyfeisio rhywbeth gwell ers amser maith. Mae llawer o ymdrechion ac ymchwil yn y maes hwn yn cael eu googled ar gyfer “synhwyrydd cyfrifiadol” neu “synhwyrydd di-bae”, a gellir priodoli hyd yn oed yr enghraifft Pixel Shifting uchod i ymdrechion i wella matricsau gan ddefnyddio cyfrifiadau. Fodd bynnag, mae straeon mwyaf addawol yr ugain mlynedd diwethaf wedi dod atom yn union o fyd y camerâu plenoptic bondigrybwyll.
Fel na fyddwch chi'n cwympo i gysgu o'r disgwyliad o eiriau cymhleth sydd ar ddod, byddaf yn taflu mewnwr bod camera'r Google Pixel diweddaraf yn "ychydig" plenoptic. Dim ond dau bicseli, ond mae hyd yn oed hyn yn caniatáu iddo gyfrifo dyfnder optegol cywir y ffrâm hyd yn oed heb ail gamera, fel pawb arall.
Mae Plenoptics yn arf pwerus nad yw wedi tanio eto. Dyma linc i un o fy hoff rai diweddar. , o ble y benthyciais yr enghreifftiau.
Camera plenoptic - yn dod yn fuan
Wedi'i ddyfeisio ym 1994, a gasglwyd yn Stanford yn 2004. Rhyddhawyd y camera defnyddiwr cyntaf, Lytro, yn 2012. Mae'r diwydiant VR bellach yn arbrofi'n weithredol gyda thechnolegau tebyg.
Mae camera plenoptic yn wahanol i gamera confensiynol mewn un addasiad yn unig - mae ei fatrics wedi'i orchuddio â grid o lensys, ac mae pob un ohonynt yn gorchuddio sawl picsel go iawn. Rhywbeth fel hyn:
Os ydych chi'n cyfrifo'r pellter o'r grid i'r matrics yn gywir a maint yr agorfa, bydd gan y ddelwedd derfynol glystyrau clir o bicseli - math o fersiynau bach o'r ddelwedd wreiddiol.
Mae'n ymddangos, os cymerwch, dyweder, un picsel canolog o bob clwstwr a gludo'r ddelwedd at ei gilydd yn eu defnyddio yn unig, ni fydd yn wahanol i'r hyn a gymerir gyda chamera rheolaidd. Ydym, rydym wedi colli ychydig mewn datrysiad, ond byddwn yn gofyn i Sony ychwanegu mwy o megapixels yn y matricsau newydd.
Megis dechrau mae'r hwyl. os ydych chi'n cymryd picsel arall o bob clwstwr ac yn pwytho'r llun at ei gilydd eto, fe gewch chi ffotograff arferol eto, dim ond fel pe bai wedi'i dynnu gyda shifft o un picsel. Felly, gyda chlystyrau o 10 × 10 picsel, byddwn yn cael 100 delwedd o'r gwrthrych o "ychydig" o wahanol bwyntiau.
Mae maint clwstwr mwy yn golygu mwy o ddelweddau, ond cydraniad is. Ym myd ffonau smart gyda matricsau 41-megapixel, er y gallwn esgeuluso'r datrysiad ychydig, mae terfyn i bopeth. Mae'n rhaid i chi gadw cydbwysedd.
Iawn, rydyn ni wedi gosod camera plenoptic at ei gilydd, felly beth mae hynny'n ei roi i ni?
Ail-ffocysu gonest
Y nodwedd yr oedd yr holl newyddiadurwyr yn fwrlwm ohoni mewn erthyglau am Lytro oedd y gallu i addasu ffocws yn onest mewn ôl-gynhyrchu. Yn deg, rydym yn golygu nad ydym yn defnyddio unrhyw algorithmau dadblu, ond yn defnyddio'r picsel wrth law yn unig, gan eu dewis neu eu cyfartalu o glystyrau yn y drefn ofynnol.
Mae ffotograffiaeth RAW o gamera plenoptic yn edrych yn rhyfedd. I gael y jeep miniog arferol allan ohono, rhaid i chi ei gydosod yn gyntaf. I wneud hyn, mae angen i chi ddewis pob picsel o'r jeep o un o'r clystyrau RAW. Yn dibynnu ar sut rydyn ni'n eu dewis, bydd y canlyniad yn newid.
Er enghraifft, po bellaf yw'r clwstwr o bwynt mynychder y trawst gwreiddiol, y mwyaf allan o ffocws yw'r trawst hwn. Oherwydd opteg. I gael delwedd wedi'i symud â ffocws, does ond angen i ni ddewis picsel ar y pellter a ddymunir o'r un gwreiddiol - naill ai'n agosach neu ymhellach.
Roedd yn anoddach symud y ffocws tuag atoch chi'ch hun - yn gorfforol yn unig, roedd llai o bicseli o'r fath yn y clystyrau. Ar y dechrau, nid oedd y datblygwyr hyd yn oed eisiau rhoi'r gallu i'r defnyddiwr ganolbwyntio â'u dwylo - penderfynodd y camera ei hun hyn mewn meddalwedd. Nid oedd defnyddwyr yn hoffi'r dyfodol hwn, felly fe wnaethant ychwanegu nodwedd mewn firmware diweddarach o'r enw “modd creadigol,” ond gwnaethant ailffocysu ynddo yn gyfyngedig iawn am yr union reswm hwn.
Map dyfnder a 3D o un camera
Un o'r gweithrediadau symlaf mewn plenoptic yw cael map dyfnder. I wneud hyn, does ond angen i chi gasglu dwy ffrâm wahanol a chyfrifo faint mae'r gwrthrychau ynddynt yn cael eu symud. Mae mwy o sifft yn golygu ymhellach i ffwrdd o'r camera.
Yn ddiweddar prynodd a lladdodd Google Lytro, ond defnyddiodd eu technoleg ar gyfer ei VR a ... ar gyfer y camera Pixel. Gan ddechrau gyda Pixel 2, daeth y camera yn “ychydig” plenoptic am y tro cyntaf, er gyda chlystyrau o ddim ond dau bicseli. Rhoddodd hyn gyfle i Google beidio â gosod ail gamera, fel yr holl fechgyn eraill, ond i gyfrifo'r map dyfnder o un llun yn unig.
Mae'r map dyfnder yn cael ei adeiladu gan ddefnyddio dwy ffrâm wedi'u symud gan un is-bicsel. Mae hyn yn ddigon i gyfrifo map dyfnder deuaidd a gwahanu'r blaendir o'r cefndir a chymylu'r olaf yn y bokeh sydd bellach yn ffasiynol. Mae canlyniad haenau o'r fath hefyd yn cael ei lyfnhau a'i “wella” gan rwydweithiau niwral sydd wedi'u hyfforddi i wella mapiau dyfnder (ac nid yn aneglur, fel y mae llawer o bobl yn ei feddwl).
Y tric yw ein bod wedi cael plenoptics mewn ffonau clyfar bron yn rhad ac am ddim. Rydyn ni eisoes yn rhoi lensys ar y matricsau bach hyn er mwyn cynyddu'r fflwcs goleuol rywsut. Yn y Pixel nesaf, mae Google yn bwriadu mynd ymhellach a gorchuddio pedwar ffotodiod gyda lens.
Ffynhonnell: 3dnewyddion.ru