नयाँ लेख: कम्प्यूटेशनल फोटोग्राफी

मूल लेख वेबसाइटमा पोस्ट गरिएको छ Vastrik.ru र लेखकको अनुमतिमा 3DNews मा प्रकाशित। हामी लेखको पूर्ण पाठ प्रदान गर्दछौं, लिंकहरूको ठूलो संख्याको अपवादको साथ - ती विषयहरूमा गम्भीर चासो राख्नेहरूका लागि उपयोगी हुनेछन् र कम्प्युटेशनल फोटोग्राफीको सैद्धान्तिक पक्षहरूलाई थप गहिराइमा अध्ययन गर्न चाहन्छन्, तर एकका लागि। सामान्य श्रोतालाई हामीले यो सामाग्री अनावश्यक ठान्यौं।  

आज, एक स्मार्टफोन प्रस्तुति यसको क्यामेरा चाट बिना पूरा हुँदैन। हरेक महिना हामी मोबाइल क्यामेराको अर्को सफलताको बारेमा सुन्छौं: Google ले Pixel लाई अँध्यारोमा शूट गर्न, Huawei ले दूरबीन जस्तै जुम गर्न सिकाउँछ, Samsung ले lidar घुसाउँछ, र Apple ले संसारको सबैभन्दा गोलो कुना बनाउँछ। त्यहाँ केहि ठाउँहरू छन् जहाँ आजकल नवप्रवर्तन यति छिटो प्रवाहित हुन्छ।

एकै समयमा, ऐनाले समय चिन्ह लगाउँदैछ। Sony ले वार्षिक रूपमा नयाँ म्याट्रिक्सहरू सहित सबैलाई नुहाउने गर्दछ, र निर्माताहरूले अल्छी रूपमा नवीनतम संस्करणको अंक अपडेट गर्छन् र आराम गर्न र साइडलाइनमा धुम्रपान गर्न जारी राख्छन्। मसँग मेरो डेस्कमा $3000 DSLR छ, तर जब म यात्रा गर्छु, म मेरो आईफोन लिन्छु। किन?

क्लासिकले भनेझैं, म यो प्रश्नको साथ अनलाइन गएँ। त्यहाँ तिनीहरूले फोटोग्राफीलाई कसरी प्रभाव पार्छ भन्ने कुनै पनि जानकारी बिना नै केही "एल्गोरिदमहरू" र "न्यूरल नेटवर्कहरू" बारे छलफल गर्छन्। पत्रकारहरूले ठूलो स्वरमा मेगापिक्सेलको सङ्ख्या पढिरहेका छन्, ब्लगरहरूले एकसाथ सशुल्क अनबक्सिङहरू हेरिरहेका छन्, र सौन्दर्यविद्हरूले आफूलाई "म्याट्रिक्सको रङ प्यालेटको कामुक धारणा" संग गाँसिरहेका छन्। सबै सामान्य जस्तै छ।

मैले बसेर आफ्नो आधा जीवन बिताउनु पर्यो र सबै कुरा आफैं पत्ता लगाउनुपर्‍यो। यस लेखमा मैले सिकेको कुरा बताउनेछु।

⇡#कम्प्यूटेशनल फोटोग्राफी के हो?

विकिपिडिया सहित जताततै, तिनीहरूले यस्तो परिभाषा दिन्छन्: कम्प्युटेशनल फोटोग्राफी कुनै पनि छवि क्याप्चर र प्रशोधन प्रविधि हो जसले अप्टिकल रूपान्तरणको सट्टा डिजिटल कम्प्युटिङ प्रयोग गर्दछ। यसको बारेमा सबै कुरा राम्रो छ, बाहेक यसले केहि व्याख्या गर्दैन। अटोफोकस पनि यसको लागि उपयुक्त छ, तर plenoptics, जसले पहिले नै हामीलाई धेरै उपयोगी चीजहरू ल्याएको छ, फिट छैन। आधिकारिक परिभाषाहरूको अस्पष्टताले संकेत गरेको देखिन्छ कि हामी के कुरा गर्दैछौं भन्ने हामीलाई थाहा छैन।

कम्प्युटेशनल फोटोग्राफीका अग्रगामी, स्ट्यानफोर्ड प्रोफेसर मार्क लेभोय (जो अहिले गुगल पिक्सेलमा क्यामेराको लागि जिम्मेवार छन्) ले अर्को परिभाषा दिन्छ - कम्प्युटर भिजुअलाइजेशन विधिहरूको सेट जसले डिजिटल फोटोग्राफीको क्षमताहरूलाई सुधार वा विस्तार गर्दछ, जसको प्रयोग गरेर नियमित फोटो प्राप्त गरिन्छ। प्राविधिक रूपमा यो क्यामेराले परम्परागत रूपमा लिन सकिँदैन। लेखमा म यसलाई पालन गर्छु।

त्यसोभए, स्मार्टफोन सबै कुराको लागि दोष थियो।

नयाँ प्रकारको फोटोग्राफीलाई जन्म दिन स्मार्टफोनसँग कुनै विकल्प थिएन: कम्प्युटेशनल फोटोग्राफी।

भौतिकशास्त्रका सबै नियमहरू अनुसार तिनीहरूको सानो आवाजको म्याट्रिक्स र सानो ढिलो-एपर्चर लेन्सहरूले पीडा र पीडा मात्र ल्याएको हुनुपर्छ। उनीहरूले त्यसो गरे जबसम्म उनीहरूका विकासकर्ताहरूले आफ्ना कमजोरीहरू - द्रुत इलेक्ट्रोनिक शटरहरू, शक्तिशाली प्रोसेसरहरू र सफ्टवेयरहरू हटाउनका लागि आफ्नो शक्तिहरू चलाखीपूर्वक प्रयोग गर्ने भनेर पत्ता लगाएनन्।

कम्प्युटेशनल फोटोग्राफीको क्षेत्रमा धेरै जसो उच्च-प्रोफाइल अनुसन्धानहरू 2005 र 2015 को बीचमा भएको थियो, जुन विज्ञानमा शाब्दिक रूपमा हिजो मानिन्छ। अहिले, हाम्रो आँखा अगाडि र हाम्रो जेबमा, ज्ञान र प्रविधिको नयाँ क्षेत्र विकास भइरहेको छ जुन पहिले कहिल्यै अवस्थित थिएन।

कम्प्युटेसनल फोटोग्राफी भनेको न्यूरो-बोकेहसँगको सेल्फी मात्र होइन। ब्ल्याक होलको भर्खरको फोटो कम्प्युटेशनल फोटोग्राफी प्रविधि बिना सम्भव थिएन। यस्तो तस्बिर नियमित टेलिस्कोपबाट लिनको लागि हामीले यसलाई पृथ्वीको आकारको बनाउनु पर्छ। यद्यपि, हाम्रो बलमा विभिन्न बिन्दुहरूमा आठ रेडियो टेलिस्कोपहरूबाट डेटा संयोजन गरेर र पाइथनमा केही लिपिहरू लेखेर, हामीले घटना क्षितिजको विश्वको पहिलो फोटो प्राप्त गर्यौं। सेल्फीको लागि पनि राम्रो।

⇡#सुरु: डिजिटल प्रशोधन

हामी 2007 फर्कियौं भनेर कल्पना गरौं। हाम्रो आमा अराजकता हो, र हाम्रा फोटोहरू स्केटबोर्डमा लिइएको 0,6-मेगापिक्सेल जीपहरू शोरमा छन्। त्यसोभए हामीसँग मोबाइल म्याट्रिक्सको दुष्टता लुकाउनको लागि तिनीहरूमा प्रिसेटहरू छर्कने पहिलो अपरिहार्य इच्छा छ। आफैलाई इन्कार नगरौं।

⇡#Matan र Instagram

इन्स्टाग्रामको रिलीजको साथ, सबैजना फिल्टरहरूको साथ पागल भए। X-Pro II, Lo-Fi र भ्यालेन्सियालाई रिभर्स-इन्जिनियर गर्ने व्यक्तिको रूपमा, निस्सन्देह, अनुसन्धान उद्देश्यका लागि, मलाई अझै पनि याद छ कि तिनीहरूले तीनवटा कम्पोनेन्टहरू समावेश गरेका थिए:

• रङ सेटिङहरू (ह्यू, सेचुरेसन, लाइटनेस, कन्ट्रास्ट, स्तरहरू, आदि) - सरल डिजिटल गुणांकहरू, ठ्याक्कै कुनै पनि पूर्वसेटहरू जस्तै जुन फोटोग्राफरहरूले पुरातन समयदेखि प्रयोग गर्दै आएका छन्।
• टोन म्यापिङहरू मानहरूको भेक्टरहरू हुन्, जसमध्ये प्रत्येकले हामीलाई भन्यो: "१२८ को टिन्ट भएको रातो रङलाई २४० को टिन्टमा परिणत गर्नुपर्छ।"
• ओभरले भनेको धूलो, दाना, भिग्नेट, र पुरानो फिल्मको कुनै पनि सामान्य प्रभाव प्राप्त गर्न शीर्षमा राख्न सकिने सबै चीजहरू सहितको पारदर्शी चित्र हो। सधैं उपस्थित हुनुहुन्नथ्यो।   

आधुनिक फिल्टरहरू यस तीनोबाट टाढा छैनन्, तिनीहरू केवल गणितमा अलि बढी जटिल भएका छन्। स्मार्टफोनहरूमा हार्डवेयर शेडरहरू र OpenCL को आगमनको साथ, तिनीहरू द्रुत रूपमा GPU को लागि पुन: लेखिएका थिए, र यो जंगली रूपमा राम्रो मानिन्थ्यो। 2012 को लागि, अवश्य। आज, कुनै पनि विद्यार्थीले CSS मा पनि गर्न सक्छन्, र उसले अझै पनि स्नातक गर्ने मौका पाउनेछैन।

यद्यपि, फिल्टरहरूको प्रगति आज रोकिएको छैन। उदाहरणका लागि, देहानसेरका केटाहरू, ननलाइनर फिल्टरहरू प्रयोग गर्नमा उत्कृष्ट छन् - सर्वहारा टोन म्यापिङको सट्टा, तिनीहरूले थप जटिल गैररेखीय रूपान्तरणहरू प्रयोग गर्छन्, जसले तिनीहरूका अनुसार धेरै सम्भावनाहरू खोल्छ।

तपाईं ननलाइनर रूपान्तरणको साथ धेरै चीजहरू गर्न सक्नुहुन्छ, तर तिनीहरू अविश्वसनीय रूपमा जटिल छन्, र हामी मानवहरू अविश्वसनीय रूपमा मूर्ख छौं। विज्ञानमा ननलाइनर रूपान्तरणको कुरा आउने बित्तिकै, हामी संख्यात्मक विधिहरूमा जान रुचाउँछौं र जताततै न्यूरल नेटवर्कहरू क्र्याम गर्न चाहन्छौं ताकि तिनीहरूले हाम्रो लागि उत्कृष्ट कृतिहरू लेख्छन्। यहाँ पनि त्यस्तै थियो।

⇡#स्वचालन र "मास्टरपीस" बटनको सपनाहरू

एकपटक सबैजना फिल्टरहरू प्रयोग गर्न थालेपछि, हामीले तिनीहरूलाई सीधा क्यामेरामा निर्माण गर्न थाल्यौं। इतिहासले लुकाउँछ कि कुन निर्माता पहिलो थियो, तर यो कति लामो थियो भनेर बुझ्नको लागि - आईओएस 5.0 मा, जुन 2011 मा फिर्ता जारी गरिएको थियो, त्यहाँ पहिले नै स्वत: सुधार छविहरूको लागि सार्वजनिक API थियो। जनताका लागि खोल्नु अघि यो कति लामो समयसम्म प्रयोगमा थियो भनेर Jobs लाई मात्र थाहा छ।

स्वचालनले सम्पादकमा तस्बिर खोल्दा हामी मध्ये प्रत्येकले गर्ने समान काम गर्‍यो - यसले प्रकाश र छायाँमा खाली ठाउँहरू तान्यो, संतृप्ति थप्यो, रातो आँखाहरू र निश्चित रंग हटायो। प्रयोगकर्ताहरूले नयाँ स्मार्टफोनमा "नाटकीय रूपमा सुधारिएको क्यामेरा" केही नयाँ शेडरहरूको योग्यता मात्र हो भनेर महसुस गरेनन्। गुगल पिक्सेलको रिलिज र कम्प्युटेशनल फोटोग्राफी हाइपको सुरुवात हुन अझै पाँच वर्ष बाँकी थियो।

आज, "मास्टरपीस" बटनको लागि लडाई मेसिन लर्निङको क्षेत्रमा सरेको छ। टोन म्यापिङको साथ पर्याप्त खेलिसकेपछि, सबैले प्रयोगकर्ताको सट्टा स्लाइडरहरू सार्न CNN र GAN लाई तालिम दिन हतार गरे। अर्को शब्दमा, इनपुट छविबाट, इष्टतम प्यारामिटरहरूको सेट निर्धारण गर्नुहोस् जसले यो छविलाई "राम्रो फोटोग्राफी" को एक निश्चित व्यक्तिपरक समझको नजिक ल्याउनेछ। उही Pixelmator Pro र अन्य सम्पादकहरूमा लागू गरियो। यसले काम गर्छ, तपाईले अनुमान गर्न सक्नुहुन्छ, धेरै राम्रो छैन र सधैं होइन। 

⇡#स्ट्याकिंग मोबाइल क्यामेराको सफलताको 90% हो

साँचो कम्प्युटेशनल फोटोग्राफी स्ट्याकिंगको साथ सुरु भयो - एक अर्काको माथि धेरै फोटोहरू तह लगाउने। स्मार्टफोनको लागि आधा सेकेन्डमा एक दर्जन फ्रेमहरू क्लिक गर्न समस्या छैन। तिनीहरूको क्यामेरामा कुनै ढिलो मेकानिकल भागहरू छैनन्: एपर्चर निश्चित छ, र चलिरहेको पर्दाको सट्टा त्यहाँ एक इलेक्ट्रोनिक शटर छ। प्रोसेसरले म्याट्रिक्सलाई कति माइक्रोसेकेन्डमा जंगली फोटोनहरू समात्नु पर्छ भनेर आदेश दिन्छ, र यसले नतिजा पढ्छ।

प्राविधिक रूपमा, फोनले भिडियो गतिमा फोटो लिन सक्छ, र फोटो रिजोलुसनमा भिडियो, तर यो सबै बस र प्रोसेसरको गतिमा निर्भर गर्दछ। त्यसकारण तिनीहरूले सधैं कार्यक्रम सीमाहरू सेट गर्छन्।

स्टक आफैं हामीसँग लामो समयदेखि छ। हजुरबुबाहरूले पनि फोटोशप 7.0 मा प्लगइनहरू स्थापना गर्नका लागि धेरै तस्विरहरूलाई आकर्षक HDR मा जम्मा गर्न वा 18000 × 600 पिक्सेलको पनोरमालाई एकसाथ स्टिच गर्न र... वास्तवमा, तिनीहरूसँग अब के गर्ने भनेर कसैले पनि सोचेका थिएनन्। यो समय धनी र जंगली थियो कि दु: ख थियो।

अब हामी वयस्क भइसकेका छौं र यसलाई "एप्सिलन फोटोग्राफी" भन्छौं - जब, क्यामेरा प्यारामिटरहरू (एक्सपोजर, फोकस, स्थिति) परिवर्तन गरेर र नतिजा फ्रेमहरू सँगै स्टिच गर्दा, हामीले एउटा फ्रेममा कैद गर्न नसकिने चीज प्राप्त गर्छौं। तर यो सिद्धान्तवादीहरूको लागि एक शब्द हो; व्यवहारमा, अर्को नामले जरा लिएको छ - स्टेकिंग। आज, वास्तवमा, मोबाइल क्यामेरामा सबै आविष्कारहरूको 90% यसमा आधारित छन्।

धेरै मानिसहरूले सोच्दैनन्, तर सबै मोबाइल र कम्प्युटिङ फोटोग्राफी बुझ्न महत्त्वपूर्ण छ: आधुनिक स्मार्टफोनको क्यामेराले आफ्नो एप खोल्ने बित्तिकै फोटोहरू लिन थाल्छ। जुन तार्किक छ, किनभने उनले कुनै न कुनै रूपमा छविलाई स्क्रिनमा स्थानान्तरण गर्न आवश्यक छ। यद्यपि, स्क्रिनको अतिरिक्त, यसले उच्च-रिजोल्युसन फ्रेमहरूलाई आफ्नै लूप बफरमा बचत गर्छ, जहाँ यसले तिनीहरूलाई केही सेकेन्डको लागि भण्डारण गर्छ।

जब तपाइँ "फोटो लिनुहोस्" बटन थिच्नुहुन्छ, यो वास्तवमा पहिले नै लिइसकेको छ, क्यामेराले बफरबाट अन्तिम फोटो मात्र लिन्छ।

आज कुनै पनि मोबाइल क्यामेराले यसरी काम गर्दछ। कम्तिमा सबै फ्ल्यागशिपहरूमा रद्दीटोकरीको थुप्रोबाट होइन। बफरिङले तपाईंलाई शून्य शटर ल्याग मात्र महसुस गर्न अनुमति दिन्छ, जुन फोटोग्राफरहरूले लामो समयदेखि सपना देखेका छन्, तर नकारात्मक पनि - जब तपाइँ बटन थिच्नुहुन्छ, स्मार्टफोनले विगतमा हेर्छ, बफरबाट अन्तिम 5-10 तस्बिरहरू अनलोड गर्दछ र पागलपन विश्लेषण गर्न थाल्छ। र तिनीहरूलाई टाँस्नुहोस्। HDR वा रात्रि मोडका लागि फ्रेमहरू क्लिक गर्न फोनको लागि पर्खनु पर्दैन - केवल तिनीहरूलाई बफरबाट लिनुहोस्, प्रयोगकर्तालाई थाहा पनि हुँदैन।

वैसे, यो नेगेटिभ शटर ल्यागको मद्दतले आईफोनहरूमा लाइभ फोटो लागू गरिएको छ, र एचटीसीले 2013 मा अनौठो नाम Zoe अन्तर्गत केहि समान थियो।

⇡#एक्सपोजर स्ट्याकिंग - HDR र उज्यालो परिवर्तनहरू लड्ने

क्यामेरा सेन्सरहरूले हाम्रो आँखामा पहुँचयोग्य उज्यालोको सम्पूर्ण दायरा खिच्न सक्षम छन् कि छैनन् भन्ने बहसको पुरानो विषय हो। कतिपयले होइन भन्छन्, किनभने आँखाले २५ f-स्टपहरूसम्म हेर्न सक्षम हुन्छ, जबकि शीर्ष पूर्ण-फ्रेम म्याट्रिक्सबाट पनि तपाईंले अधिकतम 25 प्राप्त गर्न सक्नुहुन्छ। अरूले तुलनालाई गलत भन्छन्, किनभने मस्तिष्कले स्वचालित रूपमा समायोजन गरेर आँखालाई मद्दत गर्दछ। प्युपिल र यसको न्यूरल नेटवर्कको साथ छवि पूरा गर्दै, र तत्काल आँखाको गतिशील दायरा वास्तवमा 14-10 f-स्टपहरू भन्दा बढी होइन। यो बहस इन्टरनेटमा सर्वश्रेष्ठ आर्मचेयर विचारकहरूलाई छोडौं।

तथ्य यो रहन्छ: जब तपाइँ कुनै पनि मोबाइल क्यामेरामा HDR बिना उज्यालो आकाशमा साथीहरूलाई शूट गर्नुहुन्छ, तपाइँ या त सामान्य आकाश र साथीहरूको कालो अनुहार, वा राम्ररी कोरिएका साथीहरू पाउनुहुनेछ, तर आकाश मृत्युको लागि जलेको छ।

समाधान लामो समयदेखि आविष्कार गरिएको छ - HDR (उच्च गतिशील दायरा) को प्रयोग गरेर चमक दायरा विस्तार गर्न। तपाईंले विभिन्न शटर गतिमा धेरै फ्रेमहरू लिन आवश्यक छ र तिनीहरूलाई सँगै स्टिच गर्नुहोस्। त्यसोभए एउटा "सामान्य" छ, दोस्रो हल्का छ, तेस्रो गाढा छ। हामी हल्का फ्रेमबाट अँध्यारो ठाउँहरू लिन्छौं, अँध्यारोबाट ओभरएक्सपोजरहरू भर्छौं - लाभ। बाँकी सबै स्वचालित कोष्ठक को समस्या को समाधान गर्न को लागी छ - प्रत्येक फ्रेम को एक्सपोजर को कति सार्न को लागी यो अधिक नहोस्, तर अब एक प्राविधिक विश्वविद्यालय मा दोस्रो बर्ष को विद्यार्थी एक तस्वीर को औसत चमक निर्धारण गर्न ह्यान्डल गर्न सक्छ।

पछिल्लो iPhone, Pixel र Galaxy मा, HDR मोड सामान्यतया स्वचालित रूपमा सक्रिय हुन्छ जब क्यामेरा भित्रको साधारण एल्गोरिदमले तपाइँ घमाइलो दिनमा कन्ट्रास्टको साथ केहि शूट गर्दै हुनुहुन्छ भनेर निर्धारण गर्दछ। तपाईंले यो पनि याद गर्न सक्नुहुन्छ कि फोनले कसरी बफरमा रेकर्डिङ मोड स्विच गर्छ ताकि फ्रेमहरू एक्सपोजरमा सार्न सकिन्छ - क्यामेरामा fps झर्छ, र तस्विर आफै रसदार हुन्छ। बाहिर फिल्म गर्दा मेरो iPhone X मा स्विच गर्ने क्षण स्पष्ट रूपमा देखिन्छ। अर्को पटक पनि आफ्नो स्मार्टफोनलाई नजिकबाट हेर्नुहोस्।

एक्सपोजर ब्र्याकेटिङको साथ HDR को बेफाइदा खराब प्रकाशमा यसको अभेद्य असहायता हो। कोठाको बत्तीको उज्यालोले गर्दा पनि, फ्रेमहरू यति अँध्यारो हुन्छन् कि कम्प्युटरले तिनीहरूलाई पङ्क्तिबद्ध गर्न र सिलाई गर्न सक्दैन। प्रकाशको साथ समस्या समाधान गर्न, 2013 मा Google ले तत्कालीन रिलिज नेक्सस स्मार्टफोनमा HDR मा फरक दृष्टिकोण देखायो। उनले टाइम स्ट्याकिङ प्रयोग गरे।

⇡#टाइम स्ट्याकिङ - लामो एक्सपोजर सिमुलेशन र टाइम लेप्स

समय स्ट्याकिंगले तपाईंलाई छोटोहरूको श्रृंखला प्रयोग गरेर लामो एक्सपोजर सिर्जना गर्न अनुमति दिन्छ। अग्रगामीहरू रातको आकाशमा तारा ट्रेलहरूको फोटो खिच्ने प्रशंसक थिए, जसले एकै पटक दुई घण्टा शटर खोल्न असुविधाजनक पाए। सबै सेटिङहरू अग्रिम गणना गर्न धेरै गाह्रो थियो, र थोरै हल्लाएर सम्पूर्ण फ्रेम बर्बाद हुनेछ। तिनीहरूले केही मिनेटको लागि मात्र शटर खोल्ने निर्णय गरे, तर धेरै पटक, र त्यसपछि घर गए र फोटोशपमा परिणाम फ्रेमहरू टाँस्यो।

यो बाहिर जान्छ कि क्यामेराले वास्तवमा कहिल्यै लामो शटर गतिमा शूट गरेको छैन, तर हामीले पङ्क्तिमा लिइएका धेरै फ्रेमहरू थपेर यसलाई सिमुलेट गर्ने प्रभाव पायौं। त्यहाँ स्मार्टफोनका लागि लेखिएका धेरै एपहरू छन् जसले लामो समयसम्म यो ट्रिक प्रयोग गर्दछ, तर ती सबै आवश्यक पर्दैन किनकि यो सुविधा लगभग सबै मानक क्यामेराहरूमा थपिएको थियो। आज, आईफोनले पनि लाइभ फोटोबाट लामो एक्सपोजर सजिलैसँग सिलाई गर्न सक्छ।

यसको रातको HDR मार्फत Google मा फर्कौं। यो बाहिर भयो कि समय कोष्ठक प्रयोग गरेर तपाईं अँध्यारोमा राम्रो HDR लागू गर्न सक्नुहुन्छ। प्रविधि पहिलो पटक Nexus 5 मा देखा पर्‍यो र HDR+ भनिन्थ्यो। बाँकी एन्ड्रोइड फोनहरूले यसलाई उपहारको रूपमा प्राप्त गरे। यो प्रविधि अझै पनि यति लोकप्रिय छ कि नवीनतम पिक्सेलको प्रस्तुतिमा पनि यसको प्रशंसा गरिन्छ।

HDR+ ले एकदम सरल रूपमा काम गर्छ: तपाईंले अँध्यारोमा सुटिङ गरिरहनुभएको छ भनी निर्धारण गरिसकेपछि, क्यामेराले बफरबाट अन्तिम ८-१५ RAW तस्बिरहरूलाई एकअर्काको माथि ओभरले गर्नका लागि अनलोड गर्छ। यसरी, एल्गोरिदमले शोर कम गर्न फ्रेमको अँध्यारो क्षेत्रहरूको बारेमा थप जानकारी सङ्कलन गर्दछ - पिक्सेल जहाँ, कुनै कारणले, क्यामेराले सबै जानकारी सङ्कलन गर्न असमर्थ थियो र गलत भयो।

यो जस्तो छ यदि तपाईंलाई थाहा छैन कि क्यापीबारा कस्तो देखिन्छ र तपाईंले पाँच जना व्यक्तिहरूलाई यसको वर्णन गर्न भन्नुभयो भने, तिनीहरूका कथाहरू लगभग उस्तै हुनेछन्, तर प्रत्येकले केही विशिष्ट विवरणहरू उल्लेख गर्नेछ। यस तरिकाले तपाईले सोध्नु भन्दा बढी जानकारी जम्मा गर्नुहुनेछ। यो पिक्सेल संग समान छ।

एक बिन्दुबाट लिइएको फ्रेमहरू थप्दा माथिका ताराहरूमा जस्तै नक्कली लामो एक्सपोजर प्रभाव दिन्छ। दर्जनौं फ्रेमहरूको एक्सपोजरलाई संक्षेप गरिएको छ, एउटामा त्रुटिहरू अरूमा कम गरिएका छन्। यो प्राप्त गर्नको लागि तपाईले प्रत्येक पटक DSLR शटरमा कति पटक क्लिक गर्नु पर्छ कल्पना गर्नुहोस्।

सबै बाँकी रह्यो स्वचालित रंग सुधारको समस्या समाधान गर्न - अँध्यारोमा लिइएका फ्रेमहरू सामान्यतया पहेंलो वा हरियो हुन्छ, र हामी दिनको उज्यालोको समृद्धि चाहन्छौं। HDR+ को प्रारम्भिक संस्करणहरूमा, यो केवल सेटिङ्हरू ट्वीक गरेर हल गरिएको थियो, जस्तै ला इन्स्टाग्राम फिल्टरहरूमा। त्यसपछि तिनीहरूले मद्दतको लागि तंत्रिका नेटवर्कहरूलाई बोलाए।

नाइट साईट यसरी देखा पर्‍यो - Pixel 2 र 3 मा "रातको फोटोग्राफी" को प्रविधि। वर्णनमा तिनीहरू भन्छन्: "HDR+ को शीर्षमा बनाइएको मेसिन लर्निङ प्रविधिहरू, जसले नाइट साईट काम गर्छ।" संक्षेपमा, यो रङ सुधार चरणको स्वचालन हो। मेसिनलाई "पहिले" र "पछि" तस्बिरहरूको डेटासेटमा प्रशिक्षित गरिएको थियो जुन अँध्यारो कुटे फोटोहरूको सेटबाट एउटा सुन्दर बनाउनको लागि।

वैसे, डाटासेट सार्वजनिक रूपमा उपलब्ध गराइयो। हुनसक्छ एप्पलका केटाहरूले यसलाई लिनेछन् र अन्तमा तिनीहरूको गिलास बेलचाहरूलाई अँध्यारोमा राम्ररी तस्विरहरू लिन सिकाउनेछन्।

थप रूपमा, नाइट साइटले लामो शटर गतिमा हुने निश्चित रूपमा ब्लरलाई सामान्य बनाउन फ्रेममा वस्तुहरूको गति भेक्टरको गणना प्रयोग गर्दछ। त्यसोभए, स्मार्टफोनले अन्य फ्रेमहरूबाट स्पष्ट भागहरू लिन र तिनीहरूलाई टाँस्न सक्छ।

⇡#मोशन स्ट्याकिङ - पनोरमा, सुपरजुम र आवाज घटाउने

पनोरमा ग्रामीण क्षेत्रका बासिन्दाहरूको लागि लोकप्रिय मनोरञ्जन हो। इतिहासलाई अहिलेसम्म कुनै पनि केसहरू थाहा छैन जसमा ससेज फोटो यसको लेखक बाहेक अरू कसैको लागि चासोको विषय हुनेछ, तर यसलाई बेवास्ता गर्न सकिँदैन - धेरैका लागि, स्ट्याकिंग पहिलो स्थानमा सुरु भएको थियो।

पनोरमा प्रयोग गर्ने पहिलो उपयोगी तरिका क्यामेरा म्याट्रिक्सले धेरै फ्रेमहरू सँगै सिलाई अनुमति दिन्छ भन्दा उच्च रिजोल्युसनको फोटो प्राप्त गर्नु हो। फोटोग्राफरहरूले लामो समयदेखि तथाकथित सुपर-रिजोल्युसन तस्बिरहरूका लागि विभिन्न सफ्टवेयरहरू प्रयोग गर्दै आएका छन् - जब थोरै स्थानान्तरण गरिएका तस्बिरहरू पिक्सेलहरू बीच एक अर्काको पूरक देखिन्छन्। यस तरिकाले तपाईले कम्तिमा सयौं गीगापिक्सेलको छवि प्राप्त गर्न सक्नुहुन्छ, जुन धेरै उपयोगी छ यदि तपाईलाई घरको आकारको विज्ञापन पोस्टरमा छाप्न आवश्यक छ।

अर्को, थप रोचक दृष्टिकोण पिक्सेल शिफ्टिङ हो। सोनी र ओलम्पस जस्ता केही मिररलेस क्यामेराहरूले 2014 मा यसलाई समर्थन गर्न थाले, तर तिनीहरूले अझै पनि परिणाम हातले टाँस्नु परेको थियो। विशिष्ट ठूला क्यामेरा नवाचारहरू।

स्मार्टफोनले यहाँ एउटा रमाइलो कारणको लागि सफल भएको छ - जब तपाइँ फोटो लिनुहुन्छ, तपाइँको हात हल्लिन्छ। यो देखिने समस्याले स्मार्टफोनमा नेटिभ सुपर रिजोलुसनको कार्यान्वयनको लागि आधार बनाएको छ।

यो कसरी काम गर्दछ भनेर बुझ्नको लागि, तपाईंले कुनै पनि क्यामेराको म्याट्रिक्स कसरी संरचित छ भनेर सम्झनु आवश्यक छ। यसको प्रत्येक पिक्सेल (फोटोडियोड) मात्र प्रकाशको तीव्रता रेकर्ड गर्न सक्षम छ - त्यो, आगमन फोटोनको संख्या। यद्यपि, पिक्सेलले आफ्नो रंग (तरंग लम्बाइ) मापन गर्न सक्दैन। RGB तस्विर प्राप्त गर्नको लागि, हामीले यहाँ पनि बैसाखी थप्नुपर्ने थियो - सिसाको बहु-रंगको टुक्राको ग्रिडले सम्पूर्ण म्याट्रिक्स कभर गर्नुहोस्। यसको सबैभन्दा लोकप्रिय कार्यान्वयन बायर फिल्टर भनिन्छ र आज धेरै matrices मा प्रयोग गरिन्छ। तलको चित्र जस्तो देखिन्छ।

यो बाहिर जान्छ कि म्याट्रिक्सको प्रत्येक पिक्सेलले R-, G- वा B-कम्पोनेन्ट मात्र समात्छ, किनभने बाँकी फोटनहरू बेयर फिल्टरद्वारा निर्दयी रूपमा प्रतिबिम्बित हुन्छन्। यसले छिमेकी पिक्सेलको मानहरू स्पष्ट रूपमा औसत गरेर हराएको घटकहरू पहिचान गर्दछ।

बेयर फिल्टरमा थप हरियो कोशिकाहरू छन् - यो मानव आँखासँग समानताद्वारा गरिएको थियो। यो बाहिर जान्छ कि म्याट्रिक्समा 50 मिलियन पिक्सेलहरू मध्ये, हरियोले 25 मिलियन, रातो र नीलो - प्रत्येक 12,5 मिलियनलाई औसत गरिनेछ - यो प्रक्रियालाई debayerization वा demosaicing भनिन्छ, र यो यस्तो फ्याट फनी क्रच हो। जहाँ सबै कुरा आराम हुन्छ।

वास्तवमा, प्रत्येक म्याट्रिक्सको आफ्नै चालाक पेटेंट डेमोसेसिङ एल्गोरिथ्म छ, तर यस कथाको उद्देश्यका लागि हामी यसलाई बेवास्ता गर्नेछौं।

अन्य प्रकारका म्याट्रिकहरू (जस्तै Foveon) कुनै न कुनै रूपमा अझै पक्रिएका छैनन्। यद्यपि केही निर्माताहरूले तीव्रता र गतिशील दायरा सुधार गर्न बायर फिल्टर बिना सेन्सरहरू प्रयोग गर्ने प्रयास गरिरहेका छन्।

जब त्यहाँ थोरै प्रकाश हुन्छ वा वस्तुको विवरण धेरै सानो हुन्छ, हामीले धेरै जानकारी गुमाउँछौं किनभने बायर फिल्टरले अनावश्यक तरंग लम्बाइको साथ फोटानहरूलाई स्पष्ट रूपमा काट्छ। त्यसैले तिनीहरू पिक्सेल शिफ्टिङको साथ आएका छन् - ती सबैलाई समात्नको लागि म्याट्रिक्सलाई १ पिक्सेल माथि-तल-दायाँ-बायाँ सिफ्ट गर्दै। यस अवस्थामा, फोटो 1 गुणा ठूलो हुन सक्दैन, जस्तो लाग्न सक्छ, प्रोसेसरले प्रत्येक पिक्सेलको मूल्यलाई अझ सही रूपमा रेकर्ड गर्न यो डाटा प्रयोग गर्दछ। यो आफ्नो छिमेकीहरू भन्दा माथि औसत छैन, त्यसैले बोल्ने, तर आफैंको चार मूल्यहरू भन्दा बढी।

फोनमा फोटो खिच्दा हाम्रो हात मिलाउनु यो प्रक्रियालाई प्राकृतिक परिणाम बनाउँछ। गुगल पिक्सेलको पछिल्लो संस्करणहरूमा, यो कुरा लागू हुन्छ र तपाईंले फोनमा जुम प्रयोग गर्दा सक्रिय हुन्छ - यसलाई सुपर रेस जुम भनिन्छ (हो, मलाई तिनीहरूको निर्दयी नामकरण पनि मन पर्छ)। चिनियाँहरूले पनि यसलाई आफ्नो लाओफोनहरूमा प्रतिलिपि गरे, यद्यपि यो अलि खराब भयो।

एकअर्काको माथि अलिकति स्थानान्तरण गरिएका तस्बिरहरू ओभरले गर्दा तपाईंलाई प्रत्येक पिक्सेलको रङको बारेमा थप जानकारी सङ्कलन गर्न अनुमति दिन्छ, जसको अर्थ म्याट्रिक्सको मेगापिक्सेलको भौतिक संख्या नबढाई आवाज घटाउने, तीक्ष्णता बढाउने र रिजोल्युसन बढाउने हो। आधुनिक एन्ड्रोइड फ्ल्यागशिपहरूले यो स्वचालित रूपमा गर्छ, तिनीहरूका प्रयोगकर्ताहरूले यसको बारेमा सोचेको पनि बिना।

⇡#फोकस स्ट्याकिंग - फिल्डको कुनै पनि गहिराइ र पोस्ट-उत्पादनमा पुन: फोकस

विधि म्याक्रो फोटोग्राफीबाट आउँछ, जहाँ फिल्डको उथले गहिराई सधैं समस्या भएको छ। पूरै वस्तु फोकसमा छ भनी सुनिश्चित गर्न, तपाईंले फोकसलाई अगाडि र पछाडि सार्दै धेरै फ्रेमहरू लिनुपर्थ्यो, र त्यसपछि तिनीहरूलाई एकै धारमा स्टिच गर्नुहोस्। उही विधि प्रायः परिदृश्य फोटोग्राफरहरू द्वारा प्रयोग गरिएको थियो, अग्रभूमि र पृष्ठभूमिलाई दस्त जस्तै तेज बनाउन।

यो सबै स्मार्टफोनमा पनि सरेको छ, यद्यपि धेरै प्रचार बिना। 2013 मा, नोकिया लुमिया 1020 “रिफोकस एप” र 2014 मा “सेलेक्टिव फोकस” मोडको साथ Samsung Galaxy S5 जारी गरिएको थियो। तिनीहरूले एउटै योजना अनुसार काम गरे: एक बटन थिचेर, तिनीहरूले तुरुन्तै 3 फोटोहरू खिचे - एउटा "सामान्य" फोकसको साथ, दोस्रो फोकस अगाडि सारियो र तेस्रो फोकसको साथ पछाडि सारियो। कार्यक्रमले फ्रेमहरू पङ्क्तिबद्ध गर्यो र तपाईंलाई ती मध्ये एउटा चयन गर्न अनुमति दियो, जुन पोस्ट-उत्पादनमा "वास्तविक" फोकस नियन्त्रणको रूपमा टाउट गरिएको थियो।

त्यहाँ कुनै थप प्रशोधन थिएन, किनकि यो साधारण ह्याक पनि Lytro र यसका साथीहरूको इमानदार पुन: फोकसको साथ अर्को कील चलाउन पर्याप्त थियो। खैर, तिनीहरूको बारेमा कुरा गरौं (संक्रमण मास्टर 80 lvl)।

⇡#कम्प्यूटेशनल म्याट्रिक्स - प्रकाश क्षेत्र र plenoptics

हामीले माथि बुझेझैं, हाम्रा म्याट्रिकहरू बैसाखीहरूमा डरलाग्दो छन्। हामी भर्खरै यसको बानी परेका छौं र यससँग बाँच्न खोजिरहेका छौं। तिनीहरूको संरचना समयको सुरुदेखि थोरै परिवर्तन भएको छ। हामीले प्राविधिक प्रक्रिया मात्र सुधार गर्यौं - हामीले पिक्सेलहरू बीचको दूरी घटायौं, हस्तक्षेप आवाजको विरुद्ध लड्यौं, र चरण पत्ता लगाउने अटोफोकसका लागि विशेष पिक्सेलहरू थप्यौं। तर यदि तपाईंले सबैभन्दा महँगो DSLR पनि लिनुभयो र कोठाको प्रकाशमा दौडिरहेको बिरालोको फोटो खिच्ने प्रयास गर्नुभयो भने - बिरालो, यसलाई हल्का रूपमा भन्नुपर्दा, जित्नेछ।

हामीले लामो समयदेखि केही राम्रो आविष्कार गर्ने प्रयास गरिरहेका छौं। यस क्षेत्रमा धेरै प्रयासहरू र अनुसन्धानहरू "कम्प्युटेशनल सेन्सर" वा "नन-बायर सेन्सर" को लागि गुगल गरिएका छन्, र माथिको पिक्सेल सिफ्टिङ उदाहरणलाई पनि गणना प्रयोग गरेर म्याट्रिक्स सुधार गर्ने प्रयासहरूमा श्रेय दिन सकिन्छ। यद्यपि, पछिल्लो बीस वर्षमा सबैभन्दा आशाजनक कथाहरू तथाकथित प्लेनोप्टिक क्यामेराहरूको संसारबाट ठ्याक्कै हामीलाई आएका छन्।

ताकि तपाईं आसन्न जटिल शब्दहरूको प्रत्याशाबाट निदाउनुहुन्न, म एक भित्री कुरामा फ्याँक्नेछु कि पछिल्लो गुगल पिक्सेलको क्यामेरा केवल "थोरै" प्लेनोप्टिक छ। केवल दुई पिक्सेल, तर यसले पनि यसलाई फ्रेमको सही अप्टिकल गहिराइ गणना गर्न अनुमति दिन्छ दोस्रो क्यामेरा बिना नै, अरू सबैजस्तै।

Plenoptics एक शक्तिशाली हतियार हो जुन अहिलेसम्म फायर गरिएको छैन। यहाँ मेरो मनपर्ने भर्खरको एक लिङ्क हो। प्लेनोप्टिक क्यामेराको क्षमता र तिनीहरूसँग हाम्रो भविष्यको बारेमा लेखहरू, जहाँबाट मैले उदाहरणहरू लिएँ।

⇡#

Plenoptic क्यामेरा - चाँडै आउँदैछ

1994 मा आविष्कार गरिएको, 2004 मा स्ट्यानफोर्डमा एकत्रित। पहिलो उपभोक्ता क्यामेरा, Lytro, 2012 मा जारी गरिएको थियो। VR उद्योगले अब सक्रिय रूपमा समान प्रविधिहरू प्रयोग गरिरहेको छ।

एक plenoptic क्यामेरा केवल एक परिमार्जन मा एक पारंपरिक क्यामेरा देखि फरक छ - यसको म्याट्रिक्स लेन्स को ग्रिड संग कभर गरिएको छ, जस मध्ये प्रत्येक धेरै वास्तविक पिक्सेल कभर गर्दछ। यस्तो केहि:

यदि तपाईंले ग्रिडबाट म्याट्रिक्सको दूरी र एपर्चरको साइजलाई सही रूपमा गणना गर्नुभयो भने, अन्तिम छविमा पिक्सेलको स्पष्ट क्लस्टरहरू हुनेछन् - मूल छविको मिनी-संस्करणहरूको क्रमबद्ध।

यदि तपाईंले प्रत्येक क्लस्टरबाट एउटा केन्द्रीय पिक्सेल लिनुभयो र तिनीहरूलाई प्रयोग गरेर मात्र छविलाई टाँस्नु भयो भने, यो नियमित क्यामेराबाट लिइएको भन्दा फरक हुने छैन। हो, हामीले रिजोल्युसनमा थोरै गुमाएका छौं, तर हामी सोनीलाई नयाँ म्याट्रिक्सहरूमा थप मेगापिक्सेलहरू थप्न सोध्नेछौं।

रमाइलो मात्र शुरुवात हो। यदि तपाईंले प्रत्येक क्लस्टरबाट अर्को पिक्सेल लिनुभयो र तस्विरलाई फेरि एकसाथ स्टिच गर्नुभयो भने, तपाईंले फेरि सामान्य तस्बिर पाउनुहुनेछ, केवल एक पिक्सेलको सिफ्टमा लिइएको जस्तै। यसरी, 10 × 10 पिक्सेलको क्लस्टर भएको, हामीले "थोरै" फरक बिन्दुहरूबाट वस्तुको 100 छविहरू प्राप्त गर्नेछौं।

ठूलो क्लस्टर साइजको अर्थ धेरै छविहरू, तर कम रिजोल्युसन हो। 41-मेगापिक्सेल म्याट्रिक्सको साथ स्मार्टफोनको संसारमा, यद्यपि हामी रिजोलुसनलाई थोरै बेवास्ता गर्न सक्छौं, त्यहाँ सबै कुराको सीमा हुन्छ। सन्तुलन कायम राख्नुपर्छ ।

ठीक छ, हामीले एउटा प्लेनोप्टिक क्यामेरा जम्मा गरेका छौं, त्यसोभए यसले हामीलाई के दिन्छ?

इमानदार रिफोकस

लिट्रोको बारेमा लेखहरूमा सबै पत्रकारहरूले गुनगुनाउने विशेषता भनेको पोस्ट-प्रोडक्शनमा इमानदारीपूर्वक फोकस समायोजन गर्ने क्षमता थियो। निष्पक्ष रूपमा हाम्रो मतलब यो हो कि हामीले कुनै पनि डिब्लरिङ एल्गोरिदमहरू प्रयोग गर्दैनौं, तर विशेष रूपमा हातमा पिक्सेलहरू प्रयोग गर्छौं, तिनीहरूलाई आवश्यक क्रममा क्लस्टरहरूबाट चयन वा औसत गर्दै।

प्लेनोप्टिक क्यामेराबाट RAW फोटोग्राफी अनौठो देखिन्छ। सामान्य तीखो जीप बाहिर निकाल्न, तपाईंले पहिले यसलाई जम्मा गर्नुपर्छ। यो गर्नको लागि, तपाईंले RAW क्लस्टरहरू मध्ये एकबाट जीपको प्रत्येक पिक्सेल चयन गर्न आवश्यक छ। हामीले तिनीहरूलाई कसरी छनौट गर्छौं भन्ने आधारमा, परिणाम परिवर्तन हुनेछ।

उदाहरणका लागि, मूल बीमको घटनाको बिन्दुबाट क्लस्टर जति अगाडि छ, यो बीम त्यति नै फोकसको बाहिर छ। किनभने अप्टिक्स। फोकस-सिफ्ट गरिएको छवि प्राप्त गर्न, हामीले मूल छविबाट इच्छित दूरीमा पिक्सेलहरू चयन गर्न आवश्यक छ - कि त नजिक वा अगाडि।

 

यो आफैंमा फोकस सार्न गाह्रो थियो - विशुद्ध शारीरिक रूपमा, क्लस्टरहरूमा यस्ता कम पिक्सेलहरू थिए। सुरुमा, विकासकर्ताहरूले प्रयोगकर्तालाई आफ्नो हातले फोकस गर्ने क्षमता पनि दिन चाहेनन् — क्यामेराले नै सफ्टवेयरमा यो निर्णय गर्यो। प्रयोगकर्ताहरूले यो भविष्य मन पराउँदैनन्, त्यसैले तिनीहरूले पछिको फर्मवेयरमा "क्रिएटिभ मोड" भनिने एउटा सुविधा थपे, तर वास्तवमा यस कारणले गर्दा यसमा धेरै सीमित रिफोकस गरे।

एउटा क्यामेराबाट गहिराई नक्सा र 3D   

Plenoptics मा एक सरल अपरेशन एक गहिराई नक्सा प्राप्त छ। यो गर्नको लागि, तपाईंले भर्खर दुई फरक फ्रेमहरू सङ्कलन गर्न आवश्यक छ र गणना गर्न आवश्यक छ कि कति वस्तुहरू सारियो। थप शिफ्ट भनेको क्यामेराबाट टाढा हुनु हो।

गुगलले भर्खरै Lytro किनेको र मार्यो, तर तिनीहरूको प्रविधि यसको VR र... Pixel क्यामेराको लागि प्रयोग गर्‍यो। Pixel 2 बाट सुरु गरेर, क्यामेरा पहिलो पटक "थोरै" plenoptic भयो, यद्यपि केवल दुई पिक्सेलको क्लस्टरहरूसँग। यसले गुगललाई अन्य केटाहरू जस्तै दोस्रो क्यामेरा स्थापना नगर्ने तर एउटा तस्बिरबाट मात्रै गहिराइ नक्सा गणना गर्ने अवसर प्रदान गर्‍यो।

गहिराई नक्सा एक उपपिक्सेल द्वारा सार्न दुई फ्रेम प्रयोग गरेर बनाइएको छ। यो बाइनरी गहिराई नक्सा गणना गर्न र पृष्ठभूमिबाट अग्रभूमि अलग गर्न र पछिल्लोलाई अब फेसनबल बोकेहमा ब्लर गर्न पर्याप्त छ। त्यस्ता लेयरिङको नतिजा पनि न्यूरल नेटवर्कहरूद्वारा सुचारु हुन्छ र "सुधारिएको" हुन्छ जुन गहिराइ नक्साहरू सुधार गर्न प्रशिक्षित हुन्छन् (र धेरै मानिसहरूले सोचेको रूपमा धमिलो होइन)।

चाल यो हो कि हामीले स्मार्टफोनमा लगभग नि:शुल्क प्लेनोप्टिक्स पायौं। हामीले पहिले नै यी साना म्याट्रिक्सहरूमा लेन्सहरू राखेका छौं ताकि कुनै न कुनै रूपमा चमकदार प्रवाह बढाउनको लागि। अर्को पिक्सेलमा, Google ले लेन्सको साथ चार फोटोडियोडहरू कभर गर्ने योजना बनाएको छ।

स्रोत: 3dnews.ru