Հոդվածի բնօրինակը տեղադրված է կայքում եւ հեղինակի թույլտվությամբ հրապարակվել է 3DNews-ում։ Մենք տրամադրում ենք հոդվածի ամբողջական տեքստը, բացառությամբ հսկայական թվով հղումների, դրանք օգտակար կլինեն նրանց համար, ովքեր լրջորեն հետաքրքրված են թեմայով և կցանկանան ավելի խորությամբ ուսումնասիրել հաշվողական լուսանկարչության տեսական ասպեկտները, բայց ընդհանուր լսարան մենք այս նյութը համարում էինք ավելորդ:
Այսօր սմարթֆոնի ոչ մի պրեզենտացիա ամբողջական չէ առանց նրա տեսախցիկը լիզելու: Ամեն ամիս մենք լսում ենք շարժական տեսախցիկների հաջորդ հաջողության մասին. Google-ը Pixel-ին սովորեցնում է նկարահանել մթության մեջ, Huawei-ին՝ հեռադիտակի պես մեծացնել, Samsung-ը տեղադրել է lidar-ը, իսկ Apple-ը դարձնում է աշխարհի ամենակլոր անկյունները: Քիչ վայրեր կան, որտեղ այս օրերին նորարարությունն այդքան արագ է հոսում:
Միևնույն ժամանակ, հայելիները կարծես թե նշում են ժամանակը։ Sony-ն ամեն տարի բոլորին լցնում է նոր մատրիցներով, իսկ արտադրողները ծուլորեն թարմացնում են վերջին տարբերակի թվանշանը և շարունակում հանգստանալ և ծխել կողքից: Ես իմ գրասեղանին ունեմ 3000 դոլար արժողությամբ DSLR, բայց երբ ճանապարհորդում եմ, վերցնում եմ իմ iPhone-ը: Ինչո՞ւ։
Ինչպես ասաց դասականը, ես այս հարցով մտա համացանց. Այնտեղ նրանք քննարկում են որոշ «ալգորիթմներ» և «նեյրոնային ցանցեր»՝ առանց պատկերացնելու, թե դրանք կոնկրետ ինչպես են ազդում լուսանկարչության վրա։ Լրագրողները բարձրաձայն կարդում են մեգապիքսելների թիվը, բլոգերները միահամուռ սղոցում են վճարովի ապաբոքսերը, իսկ էսթետներն իրենց քսում են «մատրիցայի գունային գունապնակի զգայական ընկալմամբ»։ Ամեն ինչ սովորականի պես է։
Ես ստիպված էի նստել, ծախսել իմ կյանքի կեսը և ինքս պարզել այդ ամենը: Այս հոդվածում ես ձեզ կպատմեմ այն, ինչ սովորեցի:
Ի՞նչ է հաշվողական լուսանկարչությունը:
Ամենուր, ներառյալ Վիքիպեդիան, նրանք տալիս են այսպիսի սահմանում. հաշվողական լուսանկարչությունը պատկերի ֆիքսման և մշակման ցանկացած տեխնիկա է, որն օգտագործում է թվային հաշվարկներ՝ օպտիկական փոխակերպումների փոխարեն: Դրա մասին ամեն ինչ լավ է, բացի նրանից, որ դա ոչինչ չի բացատրում։ Նույնիսկ ավտոֆոկուսը հարմար է դրա համար, բայց պլենոպտիկան, որն արդեն մեզ շատ օգտակար բաներ է բերել, չի տեղավորվում։ Պաշտոնական սահմանումների անորոշությունը կարծես հուշում է, որ մենք պատկերացում չունենք, թե ինչի մասին է խոսքը։
Հաշվողական լուսանկարչության ռահվիրա, Սթենֆորդի պրոֆեսոր Մարկ Լևոյը (որն այժմ պատասխանատու է Google Pixel-ի տեսախցիկի համար) տալիս է մեկ այլ սահմանում. համակարգչային վիզուալիզացիայի մեթոդների մի շարք, որոնք բարելավում կամ ընդլայնում են թվային լուսանկարչության հնարավորությունները, որոնց միջոցով ստացվում է սովորական լուսանկար. Տեխնիկապես հնարավոր չէր այս տեսախցիկով լուսանկարել ավանդական եղանակով: Հոդվածում ես հավատարիմ եմ դրան.
Այնպես որ, ամեն ինչում մեղավոր էին սմարթֆոնները։
Սմարթֆոններն այլ ելք չունեին, քան ծնել լուսանկարչության նոր տեսակ՝ հաշվողական լուսանկարչություն:
Նրանց փոքրիկ աղմկոտ մատրիցներն ու փոքրիկ դանդաղ բացվածքով ոսպնյակները, ըստ ֆիզիկայի բոլոր օրենքների, պետք է բերեին միայն ցավ ու տառապանք։ Նրանք դա արեցին այնքան ժամանակ, մինչև իրենց մշակողները չհասկացան, թե ինչպես խելամտորեն օգտագործել իրենց ուժեղ կողմերը՝ հաղթահարելու իրենց թույլ կողմերը՝ արագ էլեկտրոնային կափարիչներ, հզոր պրոցեսորներ և ծրագրային ապահովում:
Հաշվողական լուսանկարչության ոլորտում բարձրակարգ հետազոտությունների մեծ մասը տեղի է ունեցել 2005-2015 թվականներին, ինչը գիտության մեջ համարվում է բառացիորեն երեկ: Հենց հիմա, մեր աչքի առաջ և մեր գրպանում, զարգանում է գիտելիքի և տեխնոլոգիայի նոր ոլորտ, որը նախկինում երբեք չի եղել:
Հաշվողական լուսանկարչությունը միայն նեյրո-բոկեով սելֆի չէ: Սև խոռոչի վերջին լուսանկարը հնարավոր չէր լինի առանց հաշվողական լուսանկարչության տեխնիկայի: Սովորական աստղադիտակով նման լուսանկար անելու համար մենք պետք է այն դարձնեինք Երկրի չափով։ Այնուամենայնիվ, միավորելով ութ ռադիոաստղադիտակների տվյալները մեր գնդակի տարբեր կետերում և գրելով մի քանի սցենար Python-ով, մենք ստացանք իրադարձությունների հորիզոնի աշխարհում առաջին լուսանկարը: Լավ է նաև սելֆիների համար:
Սկիզբ՝ թվային մշակում
Պատկերացնենք, որ վերադարձել ենք 2007թ. Մեր մայրը անարխիա է, և մեր լուսանկարները 0,6 մեգապիքսելանոց աղմկոտ ջիպեր են, որոնք արված են սքեյթբորդով: Այդ ժամանակ մենք առաջին անդիմադրելի ցանկությունն ունենք՝ նախադրյալներ շաղ տալ դրանց վրա, որպեսզի թաքցնենք շարժական մատրիցների խղճուկությունը: Եկեք չուրանանք ինքներս մեզ.
Մատան և Instagram
Instagram-ի թողարկմամբ բոլորը տարվել են ֆիլտրերով։ Որպես մեկը, ով հակադարձ նախագծել է X-Pro II-ը, Lo-Fi-ը և Valencia-ն, իհարկե, հետազոտական նպատակներով, ես դեռ հիշում եմ, որ դրանք բաղկացած էին երեք բաղադրիչներից.
- Գույնի կարգավորումներ (երանգ, հագեցվածություն, թեթևություն, հակադրություն, մակարդակներ և այլն) - պարզ թվային գործակիցներ, ճիշտ այնպես, ինչպես ցանկացած նախադրյալ, որը լուսանկարիչներն օգտագործել են հին ժամանակներից:
- Տոնային քարտեզները արժեքների վեկտորներ են, որոնցից յուրաքանչյուրը մեզ ասաց. «128 երանգով կարմիր գույնը պետք է վերածվի 240 երանգի»:
- Ծածկույթը կիսաթափանցիկ նկար է փոշով, հատիկով, վինետով և մնացած ամեն ինչով, որը կարելի է տեղադրել վերևում՝ հին ֆիլմի ամենևին էլ անսովոր էֆեկտը ստանալու համար: Միշտ չէ, որ ներկա է եղել.
Ժամանակակից զտիչները հեռու չեն այս եռյակից, դրանք միայն մի փոքր բարդացել են մաթեմատիկայի մեջ։ Սմարթֆոնների վրա ապարատային շեյդերների և OpenCL-ի հայտնվելով, դրանք արագորեն վերաշարադրվեցին GPU-ի համար, և դա համարվում էր շատ լավ: 2012-ի համար, իհարկե։ Այսօր ցանկացած ուսանող կարող է նույնը անել CSS-ում, և նա դեռ հնարավորություն չի ունենա ավարտելու:
Սակայն այսօր ֆիլտրերի առաջընթացը չի դադարել։ Դեհանսերի տղաները, օրինակ, հիանալի են օգտագործում ոչ գծային զտիչներ. պրոլետարական տոնային քարտեզագրման փոխարեն նրանք օգտագործում են ավելի բարդ ոչ գծային փոխակերպումներ, ինչը, ըստ նրանց, շատ ավելի մեծ հնարավորություններ է բացում:
Դուք կարող եք շատ բաներ անել ոչ գծային փոխակերպումներով, բայց դրանք աներևակայելի բարդ են, իսկ մենք՝ մարդիկ, անհավանական հիմար ենք: Հենց որ խոսքը գիտության մեջ ոչ գծային փոխակերպումների մասին է, մենք նախընտրում ենք գնալ թվային մեթոդների և ամենուր խցկել նեյրոնային ցանցերը, որպեսզի նրանք մեզ համար գլուխգործոցներ գրեն։ Այստեղ էլ այդպես էր։
Ավտոմատացում և երազում է «գլուխգործոց» կոճակի մասին
Երբ բոլորը ընտելացան ֆիլտրերին, մենք սկսեցինք դրանք կառուցել անմիջապես տեսախցիկների մեջ: Պատմությունը թաքցնում է, թե որ արտադրողն է եղել առաջինը, բայց միայն հասկանալու համար, թե որքան վաղուց էր դա՝ iOS 5.0-ում, որը թողարկվել էր դեռևս 2011 թվականին, արդեն կար Auto Enhancing Images-ի հանրային API: Միայն Ջոբսը գիտի, թե որքան ժամանակ է այն օգտագործվել մինչև հանրության համար բացվելը:
Ավտոմատացումն արեց նույն բանը, ինչ անում է մեզանից յուրաքանչյուրը խմբագրիչում լուսանկար բացելիս՝ վերացրեց լույսի և ստվերների բացերը, ավելացրեց հագեցվածությունը, վերացրեց կարմիր աչքերը և ամրացրեց դեմքի գույնը: Օգտատերերը չէին էլ գիտակցում, որ նոր սմարթֆոնի «կտրուկ բարելավված տեսախցիկը» ընդամենը մի քանի նոր շեյդերների արժանիքն էր: Դեռ հինգ տարի մնաց մինչև Google Pixel-ի թողարկումը և հաշվողական լուսանկարչության աղմուկի սկիզբը:
Այսօր «գլուխգործոց» կոճակի համար պայքարը տեղափոխվել է մեքենայական ուսուցման ոլորտ։ Բավականաչափ խաղալով տոնային քարտեզագրման հետ՝ բոլորը շտապեցին վարժեցնել CNN-ներին և GAN-ներին՝ օգտվողի փոխարեն սահիկներ տեղափոխելու համար: Այլ կերպ ասած, մուտքագրված պատկերից որոշեք օպտիմալ պարամետրերի մի շարք, որոնք այս պատկերը կմոտեցնեն «լավ լուսանկարչության» որոշակի սուբյեկտիվ ըմբռնմանը: Իրականացված է նույն Pixelmator Pro-ում և այլ խմբագրիչներում: Այն աշխատում է, ինչպես կարող եք կռահել, ոչ այնքան լավ և ոչ միշտ:
Stacking-ը բջջային տեսախցիկների հաջողության 90%-ն է
Ճշմարիտ հաշվողական լուսանկարչությունը սկսվեց շարելով՝ մի քանի լուսանկարներ իրար վրա դնելով: Սմարթֆոնի համար խնդիր չէ կես վայրկյանում մեկ տասնյակ կադր սեղմելը: Նրանց տեսախցիկները դանդաղ մեխանիկական մասեր չունեն. բացվածքը ֆիքսված է, իսկ շարժվող վարագույրի փոխարեն տեղադրված է էլեկտրոնային կափարիչ։ Պրոցեսորը պարզապես հրաման է տալիս մատրիցին, թե քանի միկրովայրկյան պետք է բռնի վայրի ֆոտոնները, և այն կարդում է արդյունքը:
Տեխնիկապես հեռախոսը կարող է լուսանկարել վիդեո արագությամբ, իսկ տեսագրել՝ լուսանկարի լուծաչափով, բայց ամեն ինչ կախված է ավտոբուսի և պրոցեսորի արագությունից։ Դրա համար միշտ ծրագրային սահմանափակումներ են դնում։
Ինքը՝ խաղադրույքը, մեզ հետ է եղել վաղուց։ Նույնիսկ պապիկները Photoshop 7.0-ում տեղադրեցին պլագիններ՝ մի քանի լուսանկարներ հավաքելու աչք շոյող HDR-ում կամ համադրելու 18000 × 600 պիքսել պանորամա և... իրականում ոչ ոք երբեք չի հասկացել, թե ինչ անել դրանց հետ: Ափսոս, որ ժամանակները հարուստ էին ու վայրի։
Այժմ մենք չափահաս ենք դարձել և այն անվանում ենք «էպսիլոնային լուսանկարչություն». երբ, փոխելով տեսախցիկի պարամետրերից մեկը (էքսպոզիցիան, ֆոկուս, դիրք) և կարելով ստացված շրջանակները, ստանում ենք մի բան, որը հնարավոր չէ նկարել մեկ կադրում: Բայց սա տեսաբանների տերմին է, գործնականում մեկ այլ անուն է արմատավորվել՝ խաղադրույք: Այսօր, փաստորեն, շարժական տեսախցիկների բոլոր նորարարությունների 90%-ը հիմնված է դրա վրա։
Մի բան, որի մասին շատերը չեն մտածում, բայց կարևոր է հասկանալ ամբողջ շարժական և համակարգչային լուսանկարչությունը. ժամանակակից սմարթֆոնի տեսախցիկը սկսում է լուսանկարել հենց որ բացում եք դրա հավելվածը: Ինչը տրամաբանական է, քանի որ նա պետք է ինչ-որ կերպ պատկերը փոխանցի էկրանին: Այնուամենայնիվ, էկրանից բացի, այն պահպանում է բարձր լուծաչափի շրջանակները իր սեփական հանգույցի բուֆերում, որտեղ դրանք պահում է ևս մի քանի վայրկյան:
Երբ սեղմում եք «Լուսանկարել» կոճակը, այն իրականում արդեն արված է, տեսախցիկը պարզապես վերջին լուսանկարն է վերցնում բուֆերից:
Այսօր այսպես է աշխատում ցանկացած շարժական տեսախցիկ։ Առնվազն բոլոր դրոշակակիրներում՝ ոչ աղբակույտերից։ Բուֆերացումը թույլ է տալիս գիտակցել ոչ միայն զրոյական կափարիչի հետաձգումը, որի մասին լուսանկարիչները վաղուց երազել են, այլ նույնիսկ բացասական. երբ սեղմում եք կոճակը, սմարթֆոնը նայում է անցյալին, բեռնաթափում է վերջին 5-10 լուսանկարները բուֆերից և սկսում խելագարորեն վերլուծել: և կպցրեք դրանք: Այլևս չպետք է սպասել, որ հեռախոսը սեղմի շրջանակները HDR կամ գիշերային ռեժիմի համար. պարզապես վերցրեք դրանք բուֆերից, օգտատերը նույնիսկ չի իմանա:
Ի դեպ, նեգատիվ կափարիչի հետաձգման շնորհիվ է, որ Live Photo-ն ներդրվում է iPhone-ներում, և HTC-ն նման բան ուներ դեռ 2013-ին՝ Zoe տարօրինակ անունով։
Էքսպոզիցիաների կուտակում – HDR և պայծառության փոփոխությունների դեմ պայքար
Արդյո՞ք տեսախցիկի սենսորները ի վիճակի են ֆիքսելու մեր աչքին հասանելի պայծառության ողջ տիրույթը, բանավեճի հին թեժ թեմա է: Ոմանք ասում են՝ ոչ, քանի որ աչքն ի վիճակի է տեսնել մինչև 25 ֆ-ստոպ, մինչդեռ նույնիսկ վերին ամբողջական կադրի մատրիցից կարող եք ստանալ առավելագույնը 14: Ոմանք համեմատությունը սխալ են անվանում, քանի որ ուղեղն օգնում է աչքին՝ ավտոմատ կերպով կարգավորվելով։ Աչքի դինամիկ միջակայքը իրականում ոչ ավելին է, քան ընդամենը 10-14 ֆ-ստոպ: Այս բանավեճը թողնենք համացանցի լավագույն բազկաթոռ մտածողներին։
Փաստը մնում է փաստ. երբ ցանկացած շարժական տեսախցիկով նկարահանում եք ընկերներին պայծառ երկնքի դեմ՝ առանց HDR-ի, դուք ստանում եք կա՛մ սովորական երկինք և ընկերների սև դեմքեր, կա՛մ լավ նկարված ընկերներ, բայց մինչև մահ այրված երկինք:
Լուծումը վաղուց է հորինված՝ ընդլայնել պայծառության տիրույթը՝ օգտագործելով HDR (Բարձր դինամիկ տիրույթ): Դուք պետք է մի քանի շրջանակ վերցնեք կափարիչի տարբեր արագությամբ և դրանք իրար կարեք: Այնպես որ, մեկը «նորմալ» է, երկրորդը՝ ավելի բաց, երրորդը՝ ավելի մուգ։ Թեթև շրջանակից վերցնում ենք մութ տեղեր, մուգ շրջանակից լցնում ենք գերցուցումներ՝ շահույթ։ Մնում է միայն լուծել ավտոմատ փակագծման խնդիրը՝ որքանով տեղափոխել յուրաքանչյուր շրջանակի բացահայտումը, որպեսզի չչափազանցվի, բայց այժմ տեխնիկական համալսարանի երկրորդ կուրսի ուսանողը կարող է որոշել նկարի միջին պայծառությունը:
Վերջին iPhone-ում, Pixel-ում և Galaxy-ում HDR ռեժիմը սովորաբար ավտոմատ կերպով միանում է, երբ տեսախցիկի ներսում պարզ ալգորիթմը որոշում է, որ արևոտ օրը ինչ-որ կոնտրաստով ինչ-որ բան եք նկարում: Դուք նույնիսկ կարող եք նկատել, թե ինչպես է հեռախոսը միացնում ձայնագրման ռեժիմը դեպի բուֆեր, որպեսզի պահպանի բացահայտման մեջ տեղաշարժված կադրերը. տեսախցիկի fps-ն ընկնում է, և նկարն ինքնին դառնում է ավելի հյութալի: Միացման պահը հստակ տեսանելի է իմ iPhone X-ում դրսում նկարահանելիս: Հաջորդ անգամ նույնպես ուշադիր նայեք ձեր սմարթֆոնին:
HDR-ի թերությունը լուսային բրակետի հետ կապված նրա անթափանց անօգնականությունն է վատ լուսավորության պայմաններում: Նույնիսկ սենյակի լամպի լույսի ներքո շրջանակներն այնքան մուգ են դառնում, որ համակարգիչը չի կարողանում դրանք հավասարեցնել և կարել: Լույսի հետ կապված խնդիրը լուծելու համար 2013 թվականին Google-ը այլ մոտեցում ցուցաբերեց HDR-ի նկատմամբ այն ժամանակ թողարկված Nexus սմարթֆոնում։ Նա օգտագործում էր ժամանակի կուտակում:
Time stacking - երկար բացահայտման մոդելավորում և ժամանակի ընդհատում
Time stacking-ը թույլ է տալիս երկար բացահայտում ստեղծել՝ օգտագործելով մի շարք կարճ: Ռահվիրաները գիշերային երկնքում աստղերի հետքեր նկարելու սիրահարներն էին, ովքեր անհարմար էին գտնում բացել կափարիչը միանգամից երկու ժամ: Այնքան դժվար էր նախապես հաշվարկել բոլոր կարգավորումները, և ամենափոքր ցնցումը կփչացներ ամբողջ կադրը: Նրանք որոշեցին բացել կափարիչը միայն մի քանի րոպեով, բայց շատ անգամ, իսկ հետո գնացին տուն և ստացված շրջանակները կպցրին Photoshop-ում։
Պարզվում է, որ տեսախցիկը իրականում երբեք չի նկարել կափարիչի մեծ արագությամբ, բայց մենք ստացել ենք այն նմանակելու էֆեկտը՝ անընդմեջ նկարահանված մի քանի կադրեր ավելացնելով: Սմարթֆոնների համար գրված մի շարք հավելվածներ կան, որոնք երկար ժամանակ օգտագործում են այս հնարքը, սակայն դրանք բոլորն էլ պետք չեն, քանի որ ֆունկցիան ավելացվել է գրեթե բոլոր ստանդարտ տեսախցիկներին: Այսօր նույնիսկ iPhone-ը կարող է հեշտությամբ համատեղել Live Photo-ի երկար լուսաբանումը:
Եկեք վերադառնանք Google-ին իր գիշերային HDR-ով: Պարզվեց, որ օգտագործելով ժամանակի բրակետը, դուք կարող եք լավ HDR իրականացնել մթության մեջ: Տեխնոլոգիան առաջին անգամ հայտնվել է Nexus 5-ում և ստացել է HDR+ անվանումը: Մնացած Android հեռախոսներն այն ստացել են որպես նվեր։ Տեխնոլոգիան դեռ այնքան տարածված է, որ նույնիսկ գովաբանվում է վերջին Pixels-ի շնորհանդեսում:
HDR+-ն աշխատում է միանգամայն պարզ. որոշելով, որ դուք նկարում եք մթության մեջ, տեսախցիկը բեռնաթափում է վերջին 8-15 RAW լուսանկարները բուֆերից՝ դրանք միմյանց վրա դնելու համար: Այսպիսով, ալգորիթմը հավաքում է ավելի շատ տեղեկատվություն կադրի մութ հատվածների մասին՝ աղմուկը նվազագույնի հասցնելու համար՝ պիքսելներ, որտեղ, ինչ-ինչ պատճառներով, տեսախցիկը չի կարողացել հավաքել ամբողջ տեղեկատվությունը և սխալ է գործել:
Կարծես եթե դուք չգիտեիք, թե ինչ տեսք ունի կապիբարան և խնդրեիք հինգ հոգու նկարագրել այն, նրանց պատմությունները մոտավորապես նույնը կլինեին, բայց յուրաքանչյուրը կնշեր յուրահատուկ մանրամասներ: Այս կերպ դուք ավելի շատ տեղեկատվություն կհավաքեիք, քան պարզապես մեկը խնդրելը: Նույնը փիքսելների դեպքում է:
Մեկ կետից վերցված շրջանակներ ավելացնելը տալիս է նույն կեղծ երկար ազդեցության էֆեկտը, ինչ վերևում գտնվող աստղերի դեպքում: Տասնյակ կադրերի բացահայտումն ամփոփված է, մեկում սխալները նվազագույնի են հասցվում մյուսներում: Պատկերացրեք, թե քանի անգամ պետք է ամեն անգամ սեղմեք DSLR կափարիչը՝ դրան հասնելու համար:
Մնում էր լուծել գունային ավտոմատ շտկման խնդիրը. մթության մեջ արված շրջանակները սովորաբար դեղին կամ կանաչ են դառնում, և մենք մի տեսակ ուզում ենք ցերեկային լույսի հարստություն: HDR+-ի վաղ տարբերակներում դա լուծվում էր պարզապես կարգավորումները շտկելով, ինչպես Instagram-ի ֆիլտրերում: Հետո նրանք օգնության կանչեցին նեյրոնային ցանցերին։
Ահա թե ինչպես է հայտնվել Night Sight-ը` Pixel 2-ում և 3-ում «գիշերային լուսանկարչության» տեխնոլոգիա: Նկարագրության մեջ ասվում է. Ըստ էության, սա գունային շտկման փուլի ավտոմատացումն է։ Մեքենան վերապատրաստվել է «նախքան» և «հետո» լուսանկարների տվյալների բազայի վրա, որպեսզի մուգ ծուռ լուսանկարների ցանկացած հավաքածուից ստեղծվի գեղեցիկ մեկը:
Ի դեպ, տվյալների բազան հասանելի է դարձել հանրությանը: Միգուցե Apple-ի տղաները վերցնեն ու վերջապես իրենց ապակե բահերին սովորեցնեն մթության մեջ ճիշտ նկարել։
Բացի այդ, Night Sight-ը օգտագործում է կադրում գտնվող օբյեկտների շարժման վեկտորի հաշվարկը, որպեսզի նորմալացնի մշուշումը, որը, անկասկած, առաջանում է կափարիչի երկար արագությամբ: Այսպիսով, սմարթֆոնը կարող է այլ շրջանակներից թափանցիկ մասեր վերցնել և սոսնձել։
Շարժման կուտակում - համայնապատկեր, սուպերզոմ և աղմուկի նվազեցում
Համայնապատկերը սիրված զվարճանք է գյուղական բնակավայրերի բնակիչների համար: Պատմությունը դեռևս չգիտի որևէ դեպք, երբ երշիկի լուսանկարը կհետաքրքրի որևէ մեկին, բացի իր հեղինակից, բայց այն չի կարելի անտեսել. շատերի համար հենց այստեղից սկսվեց կուտակումը:
Համայնապատկեր օգտագործելու առաջին օգտակար միջոցը ավելի բարձր լուծաչափով լուսանկար ստանալն է, քան թույլ է տալիս տեսախցիկի մատրիցը՝ մի քանի կադրեր իրար կարելով: Լուսանկարիչները երկար ժամանակ տարբեր ծրագրեր են օգտագործում այսպես կոչված սուպեր լուծման լուսանկարների համար, երբ մի փոքր տեղաշարժված լուսանկարները կարծես լրացնում են միմյանց պիքսելների միջև: Այս կերպ Դուք կարող եք ստանալ առնվազն հարյուրավոր գիգապիկսելների պատկեր, ինչը շատ օգտակար է, եթե անհրաժեշտ է այն տպել տան չափսի գովազդային պաստառի վրա։
Մեկ այլ, ավելի հետաքրքիր մոտեցում է Pixel Shifting-ը: Որոշ առանց հայելի տեսախցիկներ, ինչպիսիք են Sony-ն և Olympus-ը, սկսեցին աջակցել այն դեռևս 2014 թվականին, բայց նրանք դեռ պետք է ձեռքով սոսնձեին արդյունքը: Տիպիկ մեծ տեսախցիկի նորամուծություններ:
Սմարթֆոններն այստեղ հաջողության են հասել մի զվարճալի պատճառով՝ երբ լուսանկարում ես, ձեռքերդ դողում են։ Այս թվացյալ խնդիրը հիմք է հանդիսացել սմարթֆոնների վրա հայրենի սուպեր լուծման ներդրման համար։
Հասկանալու համար, թե ինչպես է դա աշխատում, դուք պետք է հիշեք, թե ինչպես է կառուցված ցանկացած տեսախցիկի մատրիցը: Նրա յուրաքանչյուր պիքսել (ֆոտոդիոդ) ի վիճակի է գրանցել միայն լույսի ինտենսիվությունը, այսինքն՝ մուտքային ֆոտոնների քանակը։ Այնուամենայնիվ, պիքսելը չի կարող չափել իր գույնը (ալիքի երկարությունը): RGB պատկեր ստանալու համար այստեղ էլ պետք է հենակներ ավելացնեինք՝ ամբողջ մատրիցը ծածկել բազմագույն ապակու կտորների ցանցով։ Դրա ամենահայտնի իրականացումը կոչվում է Bayer ֆիլտր և այսօր օգտագործվում է մատրիցների մեծ մասում: Կարծես ստորև ներկայացված նկարին:
Պարզվում է, որ մատրիցայի յուրաքանչյուր պիքսել բռնում է միայն R-, G- կամ B բաղադրիչը, քանի որ մնացած ֆոտոններն անխնա արտացոլվում են Bayer ֆիլտրով։ Այն ճանաչում է բացակայող բաղադրիչները` կոպիտ կերպով միջինացնելով հարևան պիքսելների արժեքները:
Բայերի ֆիլտրում ավելի շատ կանաչ բջիջներ կան. դա արվել է մարդու աչքի անալոգիայի միջոցով: Պարզվում է, որ մատրիցայի 50 միլիոն պիքսելից կանաչը կգրավի 25 միլիոնը, կարմիրն ու կապույտը` յուրաքանչյուրը 12,5 միլիոն: Մնացածը միջինացված կլինի. որտեղ ամեն ինչ հանգստանում է:
Իրականում, յուրաքանչյուր մատրիցա ունի իր խորամանկ արտոնագրված ապամոնտաժման ալգորիթմը, բայց այս պատմության նպատակների համար մենք անտեսելու ենք դա:
Մատրիցների այլ տեսակներ (օրինակ՝ Foveon) ինչ-որ կերպ դեռևս չեն բռնել: Չնայած որոշ արտադրողներ փորձում են օգտագործել սենսորներ առանց Bayer ֆիլտրի, որպեսզի բարելավեն հստակությունը և դինամիկ տիրույթը:
Երբ լույսը քիչ է կամ օբյեկտի մանրամասները շատ փոքր են, մենք կորցնում ենք շատ տեղեկատվություն, քանի որ Bayer ֆիլտրը բացահայտորեն կտրում է անցանկալի ալիքի երկարությամբ ֆոտոնները: Ահա թե ինչու նրանք եկան Pixel Shifting-ը. մատրիցը տեղափոխելով 1 պիքսելով վեր-ներքև-աջ-ձախ՝ բոլորին բռնելու համար: Այս դեպքում լուսանկարը 4 անգամ ավելի մեծ չի ստացվում, ինչպես կարող է թվալ, պրոցեսորը պարզապես օգտագործում է այս տվյալները՝ յուրաքանչյուր պիքսելի արժեքը ավելի ճշգրիտ գրանցելու համար։ Այն միջինը գերազանցում է ոչ թե իր հարևաններին, այսպես ասած, այլ իր չորս արժեքներին:
Հեռախոսով լուսանկարելիս մեր ձեռքերի դողն այս գործընթացը բնական հետևանք է դարձնում։ Google Pixel-ի վերջին տարբերակներում այս բանն իրականացվում է և միանում է, երբ դուք օգտագործում եք հեռախոսի խոշորացում, այն կոչվում է Super Res Zoom (այո, ինձ նույնպես դուր է գալիս նրանց անխնա անվանումը): Չինացիներն էլ դա պատճենեցին իրենց լաոֆոնների մեջ, թեև մի փոքր ավելի վատ ստացվեց։
Մի փոքր տեղաշարժված լուսանկարները միմյանց վրա դնելը թույլ է տալիս հավաքել ավելի շատ տեղեկատվություն յուրաքանչյուր պիքսելի գույնի մասին, ինչը նշանակում է նվազեցնել աղմուկը, ավելացնել հստակությունը և բարձրացնել լուծաչափը՝ առանց մատրիցայի մեգապիքսելների ֆիզիկական քանակի ավելացման: Ժամանակակից Android-ի ֆլագմանները դա անում են ավտոմատ կերպով՝ առանց նրանց օգտատերերի մասին մտածելու։
Focus stacking – դաշտի ցանկացած խորություն և վերակենտրոնացում հետարտադրական փուլում
Մեթոդը գալիս է մակրո լուսանկարչությունից, որտեղ դաշտի մակերեսային խորությունը միշտ խնդիր է եղել: Որպեսզի ամբողջ օբյեկտը ուշադրության կենտրոնում լինի, դուք պետք է վերցնեիք մի քանի կադրեր, որոնց ֆոկուսը շարժվում էր ետ ու առաջ, այնուհետև դրանք իրար միացնելով մեկ սուր շրջանակի մեջ: Նույն մեթոդը հաճախ օգտագործվում էր լանդշաֆտային լուսանկարիչների կողմից՝ առաջին պլանն ու հետին պլանը դարձնելով լուծի պես սուր:
Այս ամենը տեղափոխվել է նաև սմարթֆոններ, թեև առանց մեծ աղմուկի։ 2013 թվականին թողարկվել է Nokia Lumia 1020-ը՝ «Refocus App»-ով, իսկ 2014-ին՝ Samsung Galaxy S5-ը՝ «Selective Focus» ռեժիմով։ Նրանք աշխատում էին նույն սխեմայով. սեղմելով կոճակը, նրանք արագ արեցին 3 լուսանկար՝ մեկը «նորմալ» ֆոկուսով, երկրորդը՝ առաջ շարժված, երրորդը՝ հետ։ Ծրագիրը հավասարեցրեց շրջանակները և թույլ տվեց ձեզ ընտրել դրանցից մեկը, որը հետարտադրական ժամանակ գովազդվում էր որպես «իրական» ֆոկուսի վերահսկում:
Հետագա վերամշակում չկար, քանի որ նույնիսկ այս հասարակ հաքը բավական էր՝ ևս մեկ մեխ խփելու Lytro-ի և նրա հասակակիցների կափարիչի մեջ՝ իրենց ազնիվ վերակենտրոնացումով: Ի դեպ, եկեք խոսենք դրանց մասին (անցումային վարպետ 80 lvl):
Հաշվարկային մատրիցներ՝ լուսային դաշտեր և պլենոպտիկա
Ինչպես վերևում հասկացանք, մեր մատրիցաները սարսափ են հենակներով: Մենք պարզապես վարժվել ենք դրան և փորձում ենք դրանով ապրել։ Նրանց կառուցվածքը ժամանակի սկզբից քիչ է փոխվել: Մենք միայն բարելավեցինք տեխնիկական գործընթացը. մենք կրճատեցինք պիքսելների միջև հեռավորությունը, պայքարեցինք միջամտության աղմուկի դեմ և ավելացրինք հատուկ պիքսելներ փուլային հայտնաբերման ավտոմատ ֆոկուսի համար: Բայց եթե վերցնեք նույնիսկ ամենաթանկ DSLR-ը և փորձեք դրանով լուսանկարել վազող կատվին՝ սենյակի լուսավորության ներքո, ապա կատուն, մեղմ ասած, կհաղթի:
Մենք երկար ժամանակ փորձում էինք ավելի լավ բան հորինել։ Այս ոլորտում բազմաթիվ փորձեր և հետազոտություններ փնտրվում են Google-ում «հաշվարկային սենսոր» կամ «ոչ բեյեր սենսոր» գտնելու համար, և նույնիսկ վերը նշված Pixel Shifting օրինակը կարող է վերագրվել հաշվարկների միջոցով մատրիցները բարելավելու փորձերին: Այնուամենայնիվ, վերջին քսան տարիների ամենահեռանկարային պատմությունները մեզ են հասել հենց այսպես կոչված պլեոպտիկ տեսախցիկների աշխարհից:
Որպեսզի չքնեք մոտալուտ բարդ բառերի ակնկալիքից, ես ինսայդեր կներկայացնեմ, որ վերջին Google Pixel-ի տեսախցիկը պարզապես «թեթևակի» լիակատար է: Ընդամենը երկու պիքսել, բայց նույնիսկ դա թույլ է տալիս հաշվարկել կադրի ճիշտ օպտիկական խորությունը նույնիսկ առանց երկրորդ տեսախցիկի, ինչպես բոլորը:
Plenoptics-ը հզոր զենք է, որը դեռ չի կրակել: Ահա իմ վերջին սիրելիներից մեկի հղումը: , որտեղից վերցրել եմ օրինակները։
Plenoptic տեսախցիկ - շուտով
Ստեղծվել է 1994 թվականին, հավաքվել է Սթենֆորդում 2004 թվականին։ Առաջին սպառողական տեսախցիկը` Lytro-ն, թողարկվել է 2012 թվականին: VR արդյունաբերությունն այժմ ակտիվորեն փորձարկում է նմանատիպ տեխնոլոգիաներ:
Պլենոպտիկ տեսախցիկը սովորական տեսախցիկից տարբերվում է միայն մեկ ձևափոխմամբ՝ դրա մատրիցը ծածկված է ոսպնյակների ցանցով, որոնցից յուրաքանչյուրը ծածկում է մի քանի իրական պիքսել: Նման մի բան.
Եթե ճիշտ եք հաշվարկում ցանցից մինչև մատրիցա հեռավորությունը և բացվածքի չափը, ապա վերջնական պատկերը կունենա պիքսելների հստակ կլաստերներ՝ սկզբնական պատկերի մինի-տարբերակներ:
Ստացվում է, որ եթե յուրաքանչյուր կլաստերից վերցնես, ասենք, մեկ կենտրոնական պիքսել և միայն դրանց միջոցով պատկերը սոսնձես, ապա այն ոչնչով չի տարբերվի սովորական տեսախցիկով արվածից։ Այո, մենք մի փոքր կորցրել ենք լուծաչափը, բայց մենք պարզապես կխնդրենք Sony-ին ավելացնել ավելի շատ մեգապիքսելներ նոր մատրիցներում:
Զվարճանքը դեռ նոր է սկսվում: եթե յուրաքանչյուր կլաստերից վերցնեք ևս մեկ պիքսել և նորից կարեք նկարը, ապա նորից նորմալ լուսանկար կստանաք, միայն թե այն արված լինի մեկ պիքսելի տեղաշարժով: Այսպիսով, ունենալով 10 × 10 պիքսելների կլաստերներ, մենք կստանանք օբյեկտի 100 պատկեր «մի փոքր» տարբեր կետերից:
Կլաստերի ավելի մեծ չափը նշանակում է ավելի շատ պատկերներ, բայց ավելի ցածր լուծում: 41 մեգապիքսել մատրիցաներով սմարթֆոնների աշխարհում, թեև կարող ենք մի փոքր անտեսել լուծաչափը, ամեն ինչի սահման կա։ Պետք է հավասարակշռություն պահպանել։
Լավ, մենք հավաքել ենք պլեոպտիկ տեսախցիկ, ուրեմն ի՞նչ է դա մեզ տալիս:
Ազնիվ վերակենտրոնացում
Այն առանձնահատկությունը, որի մասին բոլոր լրագրողները խոսում էին Lytro-ի մասին հոդվածներում, այն էր, որ կարողությունն ազնվորեն կարգավորել ուշադրությունը հետարտադրության ժամանակ: Արդար ասելով մենք նկատի ունենք, որ մենք չենք օգտագործում լղոզման ալգորիթմներ, այլ օգտագործում ենք բացառապես ձեռքի տակ գտնվող պիքսելները՝ ընտրելով կամ միջինացնելով դրանք կլաստերներից պահանջվող հերթականությամբ:
Plenoptic տեսախցիկից RAW լուսանկարումը տարօրինակ է թվում: Նրա միջից սովորական սուր ջիպը հանելու համար նախ պետք է այն հավաքել։ Դա անելու համար անհրաժեշտ է ընտրել ջիպի յուրաքանչյուր պիքսել RAW կլաստերներից մեկից: Կախված նրանից, թե ինչպես կընտրենք դրանք, արդյունքը կփոխվի։
Օրինակ, որքան հեռու է կլաստերը սկզբնական ճառագայթի անկման կետից, այնքան ավելի հեռու է այս ճառագայթը: Քանի որ օպտիկա. Ֆոկուսով փոխված պատկեր ստանալու համար մենք պարզապես պետք է ընտրենք պիքսելներ բնօրինակից ցանկալի հեռավորության վրա՝ ավելի մոտ կամ ավելի հեռու:
Ավելի դժվար էր ուշադրությունը տեղափոխել դեպի քեզ՝ զուտ ֆիզիկապես, կլաստերներում նման պիքսելներն ավելի քիչ էին: Սկզբում մշակողները նույնիսկ չէին ուզում օգտատիրոջը ձեռքերով կենտրոնանալու հնարավորություն տալ. տեսախցիկը ինքն է որոշել դա ծրագրային ապահովման մեջ: Օգտատերերին դուր չեկավ այս ապագան, ուստի նրանք ավելացրին մի առանձնահատկություն ավելի ուշ որոնվածում, որը կոչվում էր «ստեղծագործական ռեժիմ», բայց դրա վրա կենտրոնացումը խիստ սահմանափակվեց հենց այս պատճառով:
Խորության քարտեզ և 3D մեկ տեսախցիկից
Պլենոպտիկայի ամենապարզ գործողություններից մեկը խորության քարտեզի ձեռքբերումն է: Դա անելու համար պարզապես անհրաժեշտ է հավաքել երկու տարբեր շրջանակներ և հաշվարկել, թե դրանցում գտնվող առարկաները որքան են տեղաշարժված: Ավելի շատ տեղաշարժ նշանակում է տեսախցիկից ավելի հեռու:
Google-ը վերջերս գնեց և սպանեց Lytro-ին, բայց օգտագործեց նրանց տեխնոլոգիան իր VR-ի և... Pixel տեսախցիկի համար: Pixel 2-ից սկսած՝ տեսախցիկը առաջին անգամ դարձավ «թեթևակի» պլեոպտիկ, թեև ընդամենը երկու պիքսելից բաղկացած կլաստերներով: Սա Google-ին հնարավորություն տվեց ոչ թե տեղադրել երկրորդ տեսախցիկը, ինչպես մյուս բոլոր տղաները, այլ հաշվարկել խորության քարտեզը բացառապես մեկ լուսանկարից։
Խորության քարտեզը կառուցված է մեկ ենթապիքսելով տեղափոխված երկու շրջանակի միջոցով: Սա միանգամայն բավարար է երկուական խորության քարտեզը հաշվարկելու և առաջին պլանը ֆոնից առանձնացնելու և վերջինս այժմ մոդայիկ բոկեհում լղոզելու համար։ Նման շերտավորման արդյունքը հարթվում և «բարելավվում» է նաև նեյրոնային ցանցերի միջոցով, որոնք վարժված են բարելավելու խորության քարտեզները (և ոչ թե լղոզելու, ինչպես շատերն են կարծում):
Խաբեությունն այն է, որ մենք սմարթֆոններում գրեթե անվճար ստացանք plenoptics: Մենք արդեն ոսպնյակներ ենք տեղադրել այս փոքրիկ մատրիցների վրա, որպեսզի ինչ-որ կերպ մեծացնենք լուսավոր հոսքը: Հաջորդ Pixel-ում Google-ը նախատեսում է ավելի հեռուն գնալ և չորս ֆոտոդիոդներ ծածկել ոսպնյակով:
Source: 3dnews.ru