नया लेख: कम्प्यूटेशनल फ़ोटोग्राफ़ी

मूल लेख वेबसाइट पर पोस्ट किया गया है Vastrik.ru और लेखक की अनुमति से 3DNews पर प्रकाशित किया गया। बड़ी संख्या में लिंक को छोड़कर, हम लेख का पूरा पाठ प्रदान करते हैं - वे उन लोगों के लिए उपयोगी होंगे जो विषय में गंभीरता से रुचि रखते हैं और कम्प्यूटेशनल फोटोग्राफी के सैद्धांतिक पहलुओं का अधिक गहराई से अध्ययन करना चाहते हैं, लेकिन एक के लिए सामान्य दर्शकों ने इस सामग्री को अनावश्यक माना।  

आज, कोई भी स्मार्टफोन प्रेजेंटेशन उसके कैमरे को चाटे बिना पूरा नहीं होता है। हर महीने हम मोबाइल कैमरों की अगली सफलता के बारे में सुनते हैं: Google पिक्सेल को अंधेरे में शूट करना सिखाता है, Huawei दूरबीन की तरह ज़ूम करना सिखाता है, सैमसंग लिडार डालता है, और Apple दुनिया के सबसे गोल कोने बनाता है। ऐसे कुछ स्थान हैं जहां इन दिनों नवाचार इतनी तेजी से प्रवाहित होता है।

साथ ही दर्पण समय का अंकन करते प्रतीत होते हैं। सोनी हर साल सभी को नए मैट्रिसेस प्रदान करता है, और निर्माता आलस्य से नवीनतम संस्करण अंक को अपडेट करते हैं और किनारे पर आराम करना और धूम्रपान करना जारी रखते हैं। मेरे डेस्क पर $3000 का डीएसएलआर है, लेकिन जब मैं यात्रा करता हूं, तो मैं अपना आईफोन ले जाता हूं। क्यों?

जैसा कि क्लासिक ने कहा, मैं इस प्रश्न के साथ ऑनलाइन गया था। वहां वे कुछ "एल्गोरिदम" और "तंत्रिका नेटवर्क" पर चर्चा करते हैं, बिना यह जाने कि वे फोटोग्राफी को कैसे प्रभावित करते हैं। पत्रकार जोर-जोर से मेगापिक्सेल की संख्या पढ़ रहे हैं, ब्लॉगर एक साथ भुगतान किए गए अनबॉक्सिंग को देख रहे हैं, और सौंदर्यशास्त्री "मैट्रिक्स के रंग पैलेट की कामुक धारणा" के साथ खुद को प्रभावित कर रहे हैं। सब कुछ हमेशा की तरह है.

मुझे बैठना पड़ा, अपना आधा जीवन व्यतीत करना पड़ा और सब कुछ स्वयं ही समझना पड़ा। इस लेख में मैं आपको बताऊंगा कि मैंने क्या सीखा।

⇡#कम्प्यूटेशनल फोटोग्राफी क्या है?

विकिपीडिया सहित हर जगह, वे कुछ इस तरह की परिभाषा देते हैं: कम्प्यूटेशनल फोटोग्राफी कोई भी छवि कैप्चर और प्रसंस्करण तकनीक है जो ऑप्टिकल परिवर्तनों के बजाय डिजिटल कंप्यूटिंग का उपयोग करती है। इसके बारे में सब कुछ अच्छा है, सिवाय इसके कि यह कुछ भी स्पष्ट नहीं करता है। यहां तक ​​कि ऑटोफोकस भी इसके लिए उपयुक्त है, लेकिन प्लेनोप्टिक्स, जो पहले से ही हमारे लिए बहुत सारी उपयोगी चीजें ला चुका है, फिट नहीं बैठता। आधिकारिक परिभाषाओं की अस्पष्टता यह संकेत देती प्रतीत होती है कि हमें पता ही नहीं है कि हम किस बारे में बात कर रहे हैं।

कम्प्यूटेशनल फोटोग्राफी के अग्रणी, स्टैनफोर्ड के प्रोफेसर मार्क लेवॉय (जो अब Google Pixel में कैमरे के लिए जिम्मेदार हैं) एक और परिभाषा देते हैं - कंप्यूटर विज़ुअलाइज़ेशन विधियों का एक सेट जो डिजिटल फोटोग्राफी की क्षमताओं में सुधार या विस्तार करता है, जिसके उपयोग से एक नियमित तस्वीर प्राप्त की जाती है तकनीकी रूप से इस कैमरे से पारंपरिक तरीके से कैमरा नहीं लिया जा सका। लेख में मैं इसका पालन करता हूं।

तो, हर चीज के लिए स्मार्टफोन को दोषी ठहराया गया।

स्मार्टफोन के पास एक नई तरह की फोटोग्राफी को जन्म देने के अलावा कोई विकल्प नहीं था: कम्प्यूटेशनल फोटोग्राफी।

भौतिकी के सभी नियमों के अनुसार, उनके छोटे शोर वाले मैट्रिक्स और छोटे धीमे एपर्चर लेंस, केवल दर्द और पीड़ा लाने वाले थे। उन्होंने ऐसा तब तक किया जब तक कि उनके डेवलपर्स को यह पता नहीं चल गया कि अपनी कमजोरियों - तेज इलेक्ट्रॉनिक शटर, शक्तिशाली प्रोसेसर और सॉफ्टवेयर - को दूर करने के लिए अपनी ताकत का चतुराई से उपयोग कैसे किया जाए।

कम्प्यूटेशनल फोटोग्राफी के क्षेत्र में अधिकांश हाई-प्रोफाइल शोध 2005 और 2015 के बीच हुए, जिसे विज्ञान में वस्तुतः कल माना जाता है। अभी, हमारी आंखों के सामने और हमारी जेब में, ज्ञान और प्रौद्योगिकी का एक नया क्षेत्र विकसित हो रहा है जो पहले कभी अस्तित्व में नहीं था।

कम्प्यूटेशनल फोटोग्राफी केवल न्यूरो-बोकेह वाली सेल्फी के बारे में नहीं है। ब्लैक होल की हालिया तस्वीर कम्प्यूटेशनल फोटोग्राफी तकनीकों के बिना संभव नहीं होती। नियमित दूरबीन से ऐसी तस्वीर लेने के लिए हमें इसे पृथ्वी के आकार का बनाना होगा। हालाँकि, हमारी गेंद पर विभिन्न बिंदुओं पर आठ रेडियो दूरबीनों से डेटा को मिलाकर और पायथन में कुछ स्क्रिप्ट लिखकर, हमने घटना क्षितिज की दुनिया की पहली तस्वीर प्राप्त की। सेल्फी के लिए भी अच्छा है.

⇡#प्रारंभ: डिजिटल प्रोसेसिंग

आइए कल्पना करें कि हम 2007 में लौट आए। हमारी माँ अराजकतावादी है, और हमारी तस्वीरें स्केटबोर्ड पर ली गई शोर मचाने वाली 0,6-मेगापिक्सेल जीप हैं। उस समय हमारे मन में मोबाइल मैट्रिस की ख़राब स्थिति को छिपाने के लिए उन पर प्रीसेट छिड़कने की पहली अदम्य इच्छा होती है। आइए अपने आप को नकारें नहीं।

⇡#मटन और इंस्टाग्राम

इंस्टाग्राम की रिलीज़ के साथ, हर कोई फ़िल्टर का दीवाना हो गया। एक ऐसे व्यक्ति के रूप में जिसने निश्चित रूप से अनुसंधान उद्देश्यों के लिए एक्स-प्रो II, लो-फाई और वेलेंसिया को रिवर्स-इंजीनियर किया, मुझे अभी भी याद है कि उनमें तीन घटक शामिल थे:

• रंग सेटिंग्स (रंग, संतृप्ति, हल्कापन, कंट्रास्ट, स्तर, आदि) - सरल डिजिटल गुणांक, बिल्कुल किसी भी प्रीसेट की तरह जो फोटोग्राफर प्राचीन काल से उपयोग करते रहे हैं।
• टोन मैपिंग मूल्यों के वेक्टर हैं, जिनमें से प्रत्येक ने हमें बताया: "128 के टिंट वाले लाल रंग को 240 के टिंट में बदल दिया जाना चाहिए।"
• ओवरले एक पारभासी तस्वीर है जिसमें धूल, कण, विग्नेट और बाकी सभी चीजें होती हैं जिन्हें किसी पुरानी फिल्म का बिल्कुल भी साधारण प्रभाव प्राप्त करने के लिए शीर्ष पर रखा जा सकता है। हमेशा मौजूद नहीं था.   

आधुनिक फ़िल्टर इस तिकड़ी से बहुत दूर नहीं हैं, वे केवल गणित में थोड़े अधिक जटिल हो गए हैं। स्मार्टफ़ोन पर हार्डवेयर शेडर्स और ओपनसीएल के आगमन के साथ, उन्हें तुरंत GPU के लिए फिर से लिखा गया, और इसे बेहद अच्छा माना गया। बेशक, 2012 के लिए। आज, कोई भी छात्र सीएसएस में ऐसा कर सकता है, और फिर भी उसे स्नातक होने का मौका नहीं मिलेगा।

हालाँकि, फ़िल्टर की प्रगति आज भी नहीं रुकी है। उदाहरण के लिए, देहानसर के लोग नॉनलाइनियर फिल्टर का उपयोग करने में बहुत अच्छे हैं - सर्वहारा टोन मैपिंग के बजाय, वे अधिक जटिल नॉनलाइनर ट्रांसफॉर्मेशन का उपयोग करते हैं, जो उनके अनुसार, बहुत अधिक संभावनाएं खोलता है।

आप अरेखीय परिवर्तनों के साथ बहुत सी चीजें कर सकते हैं, लेकिन वे अविश्वसनीय रूप से जटिल हैं, और हम इंसान अविश्वसनीय रूप से मूर्ख हैं। जैसे ही विज्ञान में अरेखीय परिवर्तनों की बात आती है, हम संख्यात्मक तरीकों पर जाना पसंद करते हैं और हर जगह तंत्रिका नेटवर्क को रटना पसंद करते हैं ताकि वे हमारे लिए उत्कृष्ट कृतियाँ लिखें। यहाँ भी वैसा ही था.

⇡#स्वचालन और "उत्कृष्ट कृति" बटन के सपने

एक बार जब सभी को फ़िल्टर की आदत हो गई, तो हमने उन्हें सीधे कैमरे में बनाना शुरू कर दिया। इतिहास छुपाता है कि कौन सा निर्माता पहला था, लेकिन यह समझने के लिए कि यह कितने समय पहले था - iOS 5.0 में, जिसे 2011 में रिलीज़ किया गया था, ऑटो एन्हांसिंग इमेज के लिए पहले से ही एक सार्वजनिक एपीआई थी। केवल जॉब्स ही जानते हैं कि जनता के लिए खोलने से पहले यह कितने समय तक उपयोग में था।

स्वचालन ने वही काम किया जो हममें से प्रत्येक संपादक में एक फोटो खोलते समय करता है - इसने प्रकाश और छाया में अंतराल को दूर किया, संतृप्ति को जोड़ा, लाल आँखें हटा दीं और रंग को ठीक किया। उपयोगकर्ताओं को यह एहसास भी नहीं हुआ कि नए स्मार्टफोन में "नाटकीय रूप से बेहतर कैमरा" केवल कुछ नए शेडर्स की योग्यता थी। Google Pixel की रिलीज़ और कम्प्यूटेशनल फ़ोटोग्राफ़ी प्रचार शुरू होने में अभी भी पाँच साल बाकी थे।

आज, "मास्टरपीस" बटन की लड़ाई मशीन लर्निंग के क्षेत्र में चली गई है। टोन मैपिंग के साथ पर्याप्त खेलने के बाद, हर कोई उपयोगकर्ता के बजाय स्लाइडर्स को स्थानांतरित करने के लिए सीएनएन और जीएएन को प्रशिक्षित करने के लिए दौड़ पड़ा। दूसरे शब्दों में, इनपुट छवि से, इष्टतम मापदंडों का एक सेट निर्धारित करें जो इस छवि को "अच्छी फोटोग्राफी" की एक निश्चित व्यक्तिपरक समझ के करीब लाएगा। उसी Pixelmator Pro और अन्य संपादकों में कार्यान्वित किया गया। यह काम करता है, जैसा कि आप अनुमान लगा सकते हैं, बहुत अच्छी तरह से नहीं और हमेशा नहीं। 

⇡#मोबाइल कैमरे की सफलता का 90% हिस्सा स्टैकिंग है

सच्ची कम्प्यूटेशनल फोटोग्राफी की शुरुआत कई तस्वीरों को एक-दूसरे के ऊपर रखने से हुई। स्मार्टफोन के लिए आधे सेकंड में एक दर्जन फ्रेम क्लिक करना कोई समस्या नहीं है। उनके कैमरों में कोई धीमा यांत्रिक भाग नहीं होता है: एपर्चर निश्चित होता है, और चलते पर्दे के बजाय एक इलेक्ट्रॉनिक शटर होता है। प्रोसेसर बस मैट्रिक्स को आदेश देता है कि उसे कितने माइक्रोसेकंड में जंगली फोटॉनों को पकड़ना चाहिए, और यह परिणाम पढ़ता है।

तकनीकी रूप से, फ़ोन वीडियो गति पर फ़ोटो ले सकता है, और फ़ोटो रिज़ॉल्यूशन पर वीडियो ले सकता है, लेकिन यह सब बस और प्रोसेसर की गति पर निर्भर करता है। इसीलिए वे हमेशा कार्यक्रम की सीमाएँ निर्धारित करते हैं।

स्टेकिंग अपने आप में लंबे समय से हमारे साथ है। यहां तक ​​कि दादा-दादी ने भी कई तस्वीरों को आकर्षक एचडीआर में इकट्ठा करने या 7.0 × 18000 पिक्सल के पैनोरमा को एक साथ जोड़ने के लिए फ़ोटोशॉप 600 पर प्लगइन्स इंस्टॉल किए और... वास्तव में, किसी को भी कभी पता नहीं चला कि उनके साथ आगे क्या करना है। यह अफ़सोस की बात थी कि समय समृद्ध और जंगली था।

अब हम वयस्क हो गए हैं और इसे "एप्सिलॉन फ़ोटोग्राफ़ी" कहते हैं - जब, कैमरे के किसी एक पैरामीटर (एक्सपोज़र, फ़ोकस, स्थिति) को बदलकर और परिणामी फ़्रेमों को एक साथ जोड़कर, हमें कुछ ऐसा मिलता है जिसे एक फ़्रेम में कैप्चर नहीं किया जा सकता है। लेकिन यह सिद्धांतकारों के लिए एक शब्द है; व्यवहार में, एक और नाम ने जड़ें जमा ली हैं - स्टेकिंग। आज, वास्तव में, मोबाइल कैमरों में सभी नवाचारों का 90% इसी पर आधारित है।

कुछ ऐसा जिसके बारे में बहुत से लोग नहीं सोचते हैं, लेकिन मोबाइल और कंप्यूटिंग फोटोग्राफी को समझने के लिए यह महत्वपूर्ण है: जैसे ही आप इसका ऐप खोलते हैं, आधुनिक स्मार्टफोन का कैमरा तस्वीरें लेना शुरू कर देता है। जो तर्कसंगत है, क्योंकि उसे किसी तरह छवि को स्क्रीन पर स्थानांतरित करने की आवश्यकता है। हालाँकि, स्क्रीन के अलावा, यह उच्च-रिज़ॉल्यूशन फ़्रेमों को अपने लूप बफर में सहेजता है, जहां यह उन्हें कुछ और सेकंड के लिए संग्रहीत करता है।

जब आप "फ़ोटो लें" बटन दबाते हैं, तो यह वास्तव में पहले ही लिया जा चुका होता है, कैमरा बस बफ़र से अंतिम फ़ोटो लेता है।

आज कोई भी मोबाइल कैमरा इसी तरह काम करता है। कम से कम सभी फ़्लैगशिप में कूड़े के ढेर से नहीं। बफ़रिंग आपको न केवल शून्य शटर लैग का एहसास करने की अनुमति देती है, जिसका फोटोग्राफरों ने लंबे समय से सपना देखा है, बल्कि नकारात्मक भी - जब आप एक बटन दबाते हैं, तो स्मार्टफोन अतीत में दिखता है, बफर से अंतिम 5-10 तस्वीरें उतारता है और उन्मत्त रूप से विश्लेषण करना शुरू कर देता है। और उन्हें चिपकाएँ. अब एचडीआर या नाइट मोड के लिए फ्रेम क्लिक करने के लिए फोन का इंतजार नहीं करना पड़ेगा - बस उन्हें बफर से ले लें, उपयोगकर्ता को पता भी नहीं चलेगा।

वैसे, यह नकारात्मक शटर लैग की मदद से है कि लाइव फोटो को आईफ़ोन में लागू किया गया है, और एचटीसी ने 2013 में अजीब नाम ज़ो के तहत कुछ ऐसा ही किया था।

⇡#एक्सपोज़र स्टैकिंग - एचडीआर और चमक परिवर्तन का मुकाबला करना

क्या कैमरा सेंसर हमारी आंखों के लिए सुलभ चमक की पूरी श्रृंखला को कैप्चर करने में सक्षम हैं, यह बहस का एक पुराना गर्म विषय है। कुछ लोग नहीं कहते हैं, क्योंकि आंख 25 एफ-स्टॉप तक देखने में सक्षम है, जबकि एक शीर्ष पूर्ण-फ्रेम मैट्रिक्स से भी आप अधिकतम 14 प्राप्त कर सकते हैं। अन्य तुलना को गलत कहते हैं, क्योंकि मस्तिष्क स्वचालित रूप से समायोजित करके आंख की मदद करता है पुतली और अपने तंत्रिका नेटवर्क के साथ छवि को पूरा करना, और आंख की तत्काल गतिशील सीमा वास्तव में केवल 10-14 एफ-स्टॉप से ​​​​अधिक नहीं है। आइए इस बहस को इंटरनेट पर सर्वश्रेष्ठ आर्मचेयर विचारकों पर छोड़ दें।

तथ्य यह है: जब आप किसी भी मोबाइल कैमरे पर एचडीआर के बिना उज्ज्वल आकाश के खिलाफ दोस्तों को शूट करते हैं, तो आपको या तो एक सामान्य आकाश और दोस्तों के काले चेहरे, या अच्छी तरह से चित्रित दोस्त मिलते हैं, लेकिन एक झुलसा हुआ आकाश मिलता है।

समाधान का आविष्कार लंबे समय से किया गया है - एचडीआर (उच्च गतिशील रेंज) का उपयोग करके चमक रेंज का विस्तार करने के लिए। आपको अलग-अलग शटर गति पर कई फ़्रेम लेने होंगे और उन्हें एक साथ सिलना होगा। तो वह एक "सामान्य" है, दूसरा हल्का है, तीसरा गहरा है। हम एक हल्के फ्रेम से अंधेरी जगहें लेते हैं, एक अंधेरे फ्रेम से ओवरएक्सपोज़र भरते हैं - लाभ। जो कुछ बचा है वह स्वचालित ब्रैकेटिंग की समस्या को हल करना है - प्रत्येक फ्रेम के एक्सपोज़र को कितना स्थानांतरित करना है ताकि इसे ज़्यादा न करें, लेकिन अब एक तकनीकी विश्वविद्यालय में दूसरे वर्ष का छात्र एक तस्वीर की औसत चमक निर्धारित करने का काम संभाल सकता है।

नवीनतम iPhone, Pixel और Galaxy पर, HDR मोड आमतौर पर स्वचालित रूप से चालू हो जाता है जब कैमरे के अंदर एक सरल एल्गोरिदम यह निर्धारित करता है कि आप धूप वाले दिन में कंट्रास्ट के साथ कुछ शूट कर रहे हैं। आप यह भी देख सकते हैं कि एक्सपोज़र में स्थानांतरित फ़्रेमों को बचाने के लिए फोन रिकॉर्डिंग मोड को बफर में कैसे स्विच करता है - कैमरे में एफपीएस कम हो जाता है, और तस्वीर स्वयं अधिक रसदार हो जाती है। बाहर फिल्मांकन करते समय मेरे iPhone X पर स्विचिंग पल स्पष्ट रूप से दिखाई देता है। अगली बार भी अपने स्मार्टफोन पर करीब से नजर डालें।

एक्सपोज़र ब्रैकेटिंग के साथ एचडीआर का नुकसान खराब रोशनी में इसकी अभेद्य असहायता है। यहां तक ​​कि कमरे के लैंप की रोशनी में भी, फ्रेम इतने गहरे हो जाते हैं कि कंप्यूटर उन्हें संरेखित या एक साथ जोड़ नहीं पाता है। प्रकाश की समस्या को हल करने के लिए, 2013 में Google ने तत्कालीन जारी नेक्सस स्मार्टफोन में एचडीआर के लिए एक अलग दृष्टिकोण दिखाया। उन्होंने टाइम स्टैकिंग का उपयोग किया।

⇡#टाइम स्टैकिंग - लंबा एक्सपोज़र सिमुलेशन और टाइम लैप्स

टाइम स्टैकिंग आपको छोटे एक्सपोज़र की श्रृंखला का उपयोग करके एक लंबा एक्सपोज़र बनाने की अनुमति देता है। अग्रणी रात के आकाश में तारों के निशानों की तस्वीरें खींचने के प्रशंसक थे, जिन्हें एक साथ दो घंटे के लिए शटर खोलना असुविधाजनक लगा। सभी सेटिंग्स की पहले से गणना करना बहुत कठिन था, और थोड़ा सा झटका पूरे फ्रेम को बर्बाद कर देता था। उन्होंने शटर को केवल कुछ मिनटों के लिए, बल्कि कई बार खोलने का निर्णय लिया, और फिर घर जाकर परिणामी फ़्रेमों को फ़ोटोशॉप में चिपका दिया।

यह पता चला कि कैमरे ने वास्तव में कभी भी लंबी शटर गति पर शॉट नहीं लिया, लेकिन हमें एक पंक्ति में लिए गए कई फ़्रेमों को जोड़कर इसे अनुकरण करने का प्रभाव मिला। स्मार्टफ़ोन के लिए बहुत सारे ऐप्स लिखे गए हैं जो लंबे समय से इस ट्रिक का उपयोग करते हैं, लेकिन उन सभी की आवश्यकता नहीं है क्योंकि यह सुविधा लगभग सभी मानक कैमरों में जोड़ दी गई है। आज, यहां तक ​​कि एक iPhone भी लाइव फोटो के लंबे एक्सपोज़र को आसानी से एक साथ जोड़ सकता है।

आइए रात्रिकालीन एचडीआर के साथ Google पर वापस जाएं। यह पता चला कि टाइम ब्रैकेटिंग का उपयोग करके आप अंधेरे में अच्छा एचडीआर लागू कर सकते हैं। यह तकनीक सबसे पहले Nexus 5 में दिखाई दी और इसे HDR+ कहा गया। बाकी एंड्रॉइड फोन को यह मानो उपहार के रूप में मिला। प्रौद्योगिकी अभी भी इतनी लोकप्रिय है कि नवीनतम पिक्सेल की प्रस्तुति में भी इसकी प्रशंसा की जाती है।

एचडीआर+ काफी सरलता से काम करता है: यह निर्धारित करने के बाद कि आप अंधेरे में शूटिंग कर रहे हैं, कैमरा उन्हें एक-दूसरे के ऊपर ओवरले करने के लिए बफर से अंतिम 8-15 रॉ तस्वीरें उतारता है। इस प्रकार, एल्गोरिदम शोर को कम करने के लिए फ्रेम के अंधेरे क्षेत्रों के बारे में अधिक जानकारी एकत्र करता है - पिक्सेल जहां, किसी कारण से, कैमरा सभी जानकारी एकत्र करने में असमर्थ था और गलत हो गया।

यह ऐसा है जैसे कि यदि आप नहीं जानते कि कैपिबारा कैसा दिखता है और आपने पांच लोगों से इसका वर्णन करने के लिए कहा, तो उनकी कहानियाँ लगभग एक जैसी होंगी, लेकिन प्रत्येक ने कुछ अद्वितीय विवरण का उल्लेख किया होगा। इस तरह आप केवल एक बार पूछने से अधिक जानकारी एकत्र कर लेंगे। पिक्सेल के साथ भी ऐसा ही है.

एक बिंदु से लिए गए फ़्रेमों को जोड़ने से उपरोक्त सितारों के समान ही नकली लंबा एक्सपोज़र प्रभाव प्राप्त होता है। दर्जनों फ़्रेमों के एक्सपोज़र को संक्षेप में प्रस्तुत किया गया है, एक में त्रुटियाँ अन्य में कम से कम की गई हैं। कल्पना कीजिए कि इसे हासिल करने के लिए आपको हर बार कितनी बार डीएसएलआर शटर पर क्लिक करना होगा।

जो कुछ बचा था वह स्वचालित रंग सुधार की समस्या को हल करना था - अंधेरे में लिए गए फ्रेम आमतौर पर पूरी तरह से पीले या हरे रंग के हो जाते हैं, और हम दिन के उजाले की समृद्धि चाहते हैं। एचडीआर+ के शुरुआती संस्करणों में, इसे केवल सेटिंग्स में बदलाव करके हल किया गया था, जैसा कि फिल्टर ए ला इंस्टाग्राम में होता है। फिर उन्होंने मदद के लिए तंत्रिका नेटवर्क को बुलाया।

इस तरह नाइट साइट दिखाई दी - पिक्सेल 2 और 3 में "नाइट फोटोग्राफी" की तकनीक। विवरण में वे कहते हैं: "एचडीआर + के शीर्ष पर निर्मित मशीन लर्निंग तकनीक, जो नाइट साइट को काम करती है।" संक्षेप में, यह रंग सुधार चरण का स्वचालन है। गहरे टेढ़े-मेढ़े फ़ोटो के किसी भी सेट से एक सुंदर फ़ोटो बनाने के लिए मशीन को "पहले" और "बाद" फ़ोटो के डेटासेट पर प्रशिक्षित किया गया था।

वैसे, डेटासेट सार्वजनिक रूप से उपलब्ध कराया गया था। शायद Apple के लोग इसे ले लेंगे और अंततः अपने ग्लास फावड़ियों को अंधेरे में ठीक से तस्वीरें लेना सिखा देंगे।

इसके अलावा, नाइट साइट लंबे शटर गति के साथ होने वाले धुंधलेपन को सामान्य करने के लिए फ्रेम में वस्तुओं के मोशन वेक्टर की गणना का उपयोग करता है। तो, स्मार्टफोन अन्य फ़्रेमों से स्पष्ट हिस्से ले सकता है और उन्हें चिपका सकता है।

⇡#मोशन स्टैकिंग - पैनोरमा, सुपरज़ूम और शोर में कमी

पैनोरमा ग्रामीण क्षेत्रों के निवासियों के लिए एक लोकप्रिय मनोरंजन है। इतिहास अभी तक ऐसे किसी भी मामले को नहीं जानता है जिसमें सॉसेज फोटो उसके लेखक के अलावा किसी और के लिए दिलचस्प हो, लेकिन इसे नजरअंदाज नहीं किया जा सकता है - कई लोगों के लिए, यहीं से पहली बार स्टैकिंग शुरू हुई।

पैनोरमा का उपयोग करने का पहला उपयोगी तरीका कई फ़्रेमों को एक साथ जोड़कर कैमरा मैट्रिक्स की अनुमति से अधिक रिज़ॉल्यूशन की तस्वीर प्राप्त करना है। फ़ोटोग्राफ़र लंबे समय से तथाकथित सुपर-रिज़ॉल्यूशन तस्वीरों के लिए अलग-अलग सॉफ़्टवेयर का उपयोग कर रहे हैं - जब थोड़ी सी स्थानांतरित तस्वीरें पिक्सेल के बीच एक-दूसरे की पूरक लगती हैं। इस तरह आप कम से कम सैकड़ों गीगापिक्सेल की एक छवि प्राप्त कर सकते हैं, जो बहुत उपयोगी है यदि आपको इसे एक घर के आकार के विज्ञापन पोस्टर पर मुद्रित करने की आवश्यकता है।

एक और, अधिक दिलचस्प तरीका है पिक्सेल शिफ्टिंग। सोनी और ओलंपस जैसे कुछ मिररलेस कैमरों ने 2014 में इसका समर्थन करना शुरू कर दिया था, लेकिन उन्हें अभी भी परिणाम को हाथ से चिपकाना पड़ा। विशिष्ट बड़े कैमरा नवाचार।

स्मार्टफ़ोन यहाँ एक मज़ेदार कारण से सफल हुए हैं - जब आप फ़ोटो लेते हैं, तो आपके हाथ कांपते हैं। इस प्रतीत होने वाली समस्या ने स्मार्टफ़ोन पर मूल सुपर रिज़ॉल्यूशन के कार्यान्वयन का आधार बनाया।

यह कैसे काम करता है यह समझने के लिए, आपको यह याद रखना होगा कि किसी भी कैमरे का मैट्रिक्स कैसे संरचित होता है। इसका प्रत्येक पिक्सेल (फोटोडायोड) केवल प्रकाश की तीव्रता - यानी आने वाले फोटॉनों की संख्या - को रिकॉर्ड करने में सक्षम है। हालाँकि, एक पिक्सेल अपना रंग (तरंगदैर्घ्य) नहीं माप सकता। एक आरजीबी चित्र प्राप्त करने के लिए, हमें यहां बैसाखी भी जोड़नी पड़ी - पूरे मैट्रिक्स को कांच के बहु-रंगीन टुकड़ों के ग्रिड के साथ कवर करना पड़ा। इसके सबसे लोकप्रिय कार्यान्वयन को बायर फ़िल्टर कहा जाता है और आज अधिकांश मैट्रिसेस में इसका उपयोग किया जाता है। नीचे दी गई तस्वीर जैसा दिखता है।

यह पता चलता है कि मैट्रिक्स का प्रत्येक पिक्सेल केवल आर-, जी- या बी-घटक को पकड़ता है, क्योंकि शेष फोटॉन निर्दयतापूर्वक बायर फ़िल्टर द्वारा प्रतिबिंबित होते हैं। यह पड़ोसी पिक्सेल के मूल्यों को स्पष्ट रूप से औसत करके लापता घटकों को पहचानता है।

बायर फ़िल्टर में अधिक हरी कोशिकाएँ हैं - यह मानव आँख के अनुरूप किया गया था। यह पता चला है कि मैट्रिक्स पर 50 मिलियन पिक्सल में से, हरा 25 मिलियन, लाल और नीला - 12,5 मिलियन प्रत्येक को कैप्चर करेगा। बाकी को औसत किया जाएगा - इस प्रक्रिया को डिबायराइजेशन या डेमोसैसिंग कहा जाता है, और यह एक ऐसी मोटी अजीब बैसाखी है जिस पर सब कुछ विश्राम करता है।

वास्तव में, प्रत्येक मैट्रिक्स का अपना चालाक पेटेंट डिमोसैसिंग एल्गोरिदम होता है, लेकिन इस कहानी के प्रयोजनों के लिए हम इसकी उपेक्षा करेंगे।

अन्य प्रकार के मैट्रिसेस (जैसे कि फोवोन) किसी तरह अभी तक पकड़ में नहीं आए हैं। हालाँकि कुछ निर्माता तीक्ष्णता और गतिशील रेंज में सुधार के लिए बायर फ़िल्टर के बिना सेंसर का उपयोग करने का प्रयास कर रहे हैं।

जब कम रोशनी होती है या किसी वस्तु का विवरण बहुत छोटा होता है, तो हम बहुत सारी जानकारी खो देते हैं क्योंकि बायर फ़िल्टर अवांछित तरंग दैर्ध्य वाले फोटॉन को स्पष्ट रूप से काट देता है। यही कारण है कि वे पिक्सेल शिफ्टिंग के साथ आए - उन सभी को पकड़ने के लिए मैट्रिक्स को 1 पिक्सेल ऊपर-नीचे-दाएं-बाएं स्थानांतरित करना। इस मामले में, फोटो 4 गुना बड़ा नहीं निकलता है, जैसा कि प्रतीत हो सकता है, प्रोसेसर बस इस डेटा का उपयोग प्रत्येक पिक्सेल के मूल्य को अधिक सटीक रूप से रिकॉर्ड करने के लिए करता है। ऐसा कहने के लिए, इसका औसत अपने पड़ोसियों से नहीं, बल्कि स्वयं के चार मूल्यों से अधिक है।

फ़ोन पर फ़ोटो लेते समय हमारे हाथों का हिलना इस प्रक्रिया को एक स्वाभाविक परिणाम बना देता है। Google Pixel के नवीनतम संस्करणों में, यह चीज़ लागू होती है और जब भी आप फ़ोन पर ज़ूम का उपयोग करते हैं तो चालू हो जाता है - इसे सुपर रेस ज़ूम कहा जाता है (हाँ, मुझे उनका निर्दयी नामकरण भी पसंद है)। चीनियों ने भी इसे अपने लाओफ़ोन में कॉपी किया, हालाँकि यह थोड़ा ख़राब निकला।

थोड़ी स्थानांतरित तस्वीरों को एक दूसरे के ऊपर ओवरले करने से आप प्रत्येक पिक्सेल के रंग के बारे में अधिक जानकारी एकत्र कर सकते हैं, जिसका अर्थ है शोर को कम करना, तीक्ष्णता बढ़ाना और मैट्रिक्स के मेगापिक्सेल की भौतिक संख्या को बढ़ाए बिना रिज़ॉल्यूशन बढ़ाना। आधुनिक एंड्रॉइड फ़्लैगशिप स्वचालित रूप से ऐसा करते हैं, अपने उपयोगकर्ताओं के बारे में सोचे बिना भी।

⇡#फोकस स्टैकिंग - फ़ील्ड की कोई भी गहराई और पोस्ट-प्रोडक्शन में रीफोकस

यह विधि मैक्रो फोटोग्राफी से आती है, जहां क्षेत्र की उथली गहराई हमेशा एक समस्या रही है। पूरे ऑब्जेक्ट को फोकस में रखने के लिए, आपको फोकस को आगे-पीछे करते हुए कई फ्रेम लेने होंगे, और फिर उन्हें एक साथ एक शार्प फ्रेम में सिलना होगा। लैंडस्केप फ़ोटोग्राफ़रों द्वारा अक्सर इसी विधि का उपयोग किया जाता था, जिससे अग्रभूमि और पृष्ठभूमि डायरिया की तरह तेज़ हो जाती थी।

यह सब स्मार्टफ़ोन पर भी आ गया है, हालाँकि बहुत अधिक प्रचार के बिना। 2013 में, "रीफोकस ऐप" के साथ नोकिया लूमिया 1020 जारी किया गया था, और 2014 में, "सेलेक्टिव फोकस" मोड के साथ सैमसंग गैलेक्सी एस5 जारी किया गया था। उन्होंने उसी योजना के अनुसार काम किया: एक बटन दबाकर, उन्होंने जल्दी से 3 तस्वीरें लीं - एक "सामान्य" फोकस के साथ, दूसरा फोकस आगे की ओर और तीसरा फोकस पीछे की ओर स्थानांतरित हो गया। प्रोग्राम ने फ़्रेमों को संरेखित किया और आपको उनमें से एक का चयन करने की अनुमति दी, जिसे पोस्ट-प्रोडक्शन में "वास्तविक" फोकस नियंत्रण के रूप में बताया गया था।

आगे कोई प्रक्रिया नहीं हुई, क्योंकि यह साधारण हैक भी उनके ईमानदार रीफोकस के साथ लिटरो और उसके साथियों के ढक्कन में एक और कील ठोकने के लिए पर्याप्त था। वैसे, आइए उनके बारे में बात करें (ट्रांज़िशन मास्टर 80 एलवीएल)।

⇡#कम्प्यूटेशनल मैट्रिक्स - प्रकाश क्षेत्र और प्लेनोप्टिक्स

जैसा कि हमने ऊपर समझा, हमारे मैट्रिक्स बैसाखी पर डरावने हैं। हमें बस इसकी आदत हो गई है और हम इसके साथ जीने की कोशिश कर रहे हैं। समय की शुरुआत से उनकी संरचना में थोड़ा बदलाव आया है। हमने केवल तकनीकी प्रक्रिया में सुधार किया है - हमने पिक्सल के बीच की दूरी कम की है, हस्तक्षेप शोर के खिलाफ लड़ाई लड़ी है, और चरण पहचान ऑटोफोकस के लिए विशेष पिक्सल जोड़े हैं। लेकिन अगर आप सबसे महंगा डीएसएलआर भी लेते हैं और कमरे की रोशनी में उसके साथ दौड़ती हुई बिल्ली की तस्वीर लेने की कोशिश करते हैं - तो, ​​इसे हल्के ढंग से कहें तो, बिल्ली जीत जाएगी।

हम लंबे समय से कुछ बेहतर आविष्कार करने का प्रयास कर रहे हैं। इस क्षेत्र में बहुत सारे प्रयास और शोध "कम्प्यूटेशनल सेंसर" या "नॉन-बेयर सेंसर" के लिए गूगल पर खोजे गए हैं, और यहां तक ​​कि उपरोक्त पिक्सेल शिफ्टिंग उदाहरण को गणनाओं का उपयोग करके मैट्रिक्स में सुधार करने के प्रयासों के लिए जिम्मेदार ठहराया जा सकता है। हालाँकि, पिछले बीस वर्षों में सबसे आशाजनक कहानियाँ तथाकथित प्लेनऑप्टिक कैमरों की दुनिया से हमारे पास आई हैं।

ताकि आप आसन्न जटिल शब्दों की प्रत्याशा से सो न जाएं, मैं एक अंदरूनी सूत्र बताऊंगा कि नवीनतम Google Pixel का कैमरा बस "थोड़ा सा" प्लेनऑप्टिक है। केवल दो पिक्सेल, लेकिन यह इसे अन्य सभी की तरह, दूसरे कैमरे के बिना भी फ्रेम की सही ऑप्टिकल गहराई की गणना करने की अनुमति देता है।

प्लेनऑप्टिक्स एक शक्तिशाली हथियार है जिसे अभी तक फायर नहीं किया गया है। यहां मेरे हाल के पसंदीदा में से एक का लिंक दिया गया है। प्लेनऑप्टिक कैमरों की क्षमताओं और उनके साथ हमारे भविष्य के बारे में लेख, जहां से मैंने उदाहरण उधार लिए थे।

⇡#

प्लेनऑप्टिक कैमरा - जल्द ही आ रहा है

1994 में आविष्कार किया गया, 2004 में स्टैनफोर्ड में एकत्र किया गया। पहला उपभोक्ता कैमरा, लिट्रो, 2012 में जारी किया गया था। वीआर उद्योग अब इसी तरह की प्रौद्योगिकियों के साथ सक्रिय रूप से प्रयोग कर रहा है।

एक प्लेनऑप्टिक कैमरा पारंपरिक कैमरे से केवल एक संशोधन में भिन्न होता है - इसका मैट्रिक्स लेंस के ग्रिड से ढका होता है, जिनमें से प्रत्येक कई वास्तविक पिक्सेल को कवर करता है। कुछ इस तरह:

यदि आप ग्रिड से मैट्रिक्स तक की दूरी और एपर्चर के आकार की सही गणना करते हैं, तो अंतिम छवि में पिक्सेल के स्पष्ट समूह होंगे - मूल छवि के लघु-संस्करण की तरह।

यह पता चला है कि यदि आप प्रत्येक क्लस्टर से एक केंद्रीय पिक्सेल लेते हैं और केवल उनका उपयोग करके छवि को एक साथ चिपकाते हैं, तो यह नियमित कैमरे से ली गई छवि से अलग नहीं होगी। हाँ, हम रिज़ॉल्यूशन में थोड़ा खो गए हैं, लेकिन हम सोनी से नए मैट्रिसेस में और अधिक मेगापिक्सेल जोड़ने के लिए कहेंगे।

मजा तो अभी शुरू हुआ है. यदि आप प्रत्येक क्लस्टर से एक और पिक्सेल लेते हैं और चित्र को फिर से एक साथ जोड़ते हैं, तो आपको फिर से एक सामान्य तस्वीर मिलेगी, जैसे कि यह एक पिक्सेल की शिफ्ट के साथ ली गई हो। इस प्रकार, 10 × 10 पिक्सेल के क्लस्टर होने पर, हमें "थोड़ा" विभिन्न बिंदुओं से वस्तु की 100 छवियां मिलेंगी।

बड़े क्लस्टर आकार का अर्थ है अधिक छवियां, लेकिन कम रिज़ॉल्यूशन। 41-मेगापिक्सल मैट्रिसेस वाले स्मार्टफोन की दुनिया में, हालांकि हम रिज़ॉल्यूशन को थोड़ा नजरअंदाज कर सकते हैं, लेकिन हर चीज की एक सीमा होती है। आपको संतुलन बनाए रखना होगा.

ठीक है, हमने एक प्लेनऑप्टिक कैमरा असेंबल किया है, तो इससे हमें क्या मिलता है?

ईमानदार पुनः ध्यान

लिट्रो के बारे में लेखों में सभी पत्रकार जिस विशेषता के बारे में चर्चा कर रहे थे, वह पोस्ट-प्रोडक्शन में फोकस को ईमानदारी से समायोजित करने की क्षमता थी। निष्पक्षता से हमारा तात्पर्य यह है कि हम किसी भी डिब्लरिंग एल्गोरिदम का उपयोग नहीं करते हैं, बल्कि आवश्यक क्रम में क्लस्टर से उनका चयन या औसत करते हुए, विशेष रूप से उपलब्ध पिक्सेल का उपयोग करते हैं।

प्लेनऑप्टिक कैमरे से रॉ फोटोग्राफी अजीब लगती है। इसमें से सामान्य तेज़ जीप निकालने के लिए, आपको पहले इसे असेंबल करना होगा। ऐसा करने के लिए, आपको रॉ क्लस्टर में से किसी एक से जीप के प्रत्येक पिक्सेल का चयन करना होगा। हम उन्हें कैसे चुनते हैं, इसके आधार पर परिणाम बदल जाएगा।

उदाहरण के लिए, क्लस्टर मूल किरण के आपतन बिंदु से जितना दूर होगा, यह किरण उतनी ही अधिक फोकस से बाहर होगी। क्योंकि प्रकाशिकी. फ़ोकस-शिफ्ट की गई छवि प्राप्त करने के लिए, हमें बस मूल से वांछित दूरी पर पिक्सेल का चयन करना होगा - या तो करीब या दूर।

 

फोकस को अपनी ओर स्थानांतरित करना अधिक कठिन था - विशुद्ध रूप से शारीरिक रूप से, समूहों में ऐसे कम पिक्सेल थे। सबसे पहले, डेवलपर्स उपयोगकर्ता को अपने हाथों से ध्यान केंद्रित करने की क्षमता भी नहीं देना चाहते थे - सॉफ्टवेयर में कैमरा ने ही यह निर्णय लिया था। उपयोगकर्ताओं को यह भविष्य पसंद नहीं आया, इसलिए उन्होंने बाद के फर्मवेयर में "क्रिएटिव मोड" नामक एक फीचर जोड़ा, लेकिन ठीक इसी कारण से इसमें रीफोकस को बहुत सीमित कर दिया।

एक कैमरे से गहराई का नक्शा और 3डी   

प्लेनऑप्टिक्स में सबसे सरल ऑपरेशनों में से एक गहराई का नक्शा प्राप्त करना है। ऐसा करने के लिए, आपको बस दो अलग-अलग फ़्रेमों को इकट्ठा करना होगा और गणना करनी होगी कि उनमें मौजूद वस्तुएं कितनी स्थानांतरित हुई हैं। अधिक शिफ्ट का मतलब है कैमरे से और दूर जाना।

Google ने हाल ही में Lytro को खरीदा और ख़त्म कर दिया, लेकिन अपनी तकनीक का उपयोग अपने VR और... पिक्सेल कैमरे के लिए किया। Pixel 2 से शुरुआत करते हुए, कैमरा पहली बार "थोड़ा" प्लेनऑप्टिक बन गया, हालाँकि केवल दो पिक्सेल के क्लस्टर के साथ। इससे Google को अन्य सभी लोगों की तरह दूसरा कैमरा स्थापित करने का अवसर नहीं मिला, बल्कि केवल एक तस्वीर से गहराई मानचित्र की गणना करने का अवसर मिला।

गहराई का नक्शा एक उपपिक्सेल द्वारा स्थानांतरित किए गए दो फ़्रेमों का उपयोग करके बनाया गया है। यह बाइनरी डेप्थ मैप की गणना करने और अग्रभूमि को पृष्ठभूमि से अलग करने और अब फैशनेबल बोकेह में बाद वाले को धुंधला करने के लिए काफी है। इस तरह की लेयरिंग के परिणाम को तंत्रिका नेटवर्क द्वारा भी सुचारू और "सुधार" किया जाता है, जिन्हें गहराई के नक्शे को बेहतर बनाने के लिए प्रशिक्षित किया जाता है (और धुंधला नहीं होता है, जैसा कि कई लोग सोचते हैं)।

चाल यह है कि हमें स्मार्टफोन में प्लेनऑप्टिक्स लगभग मुफ्त में मिला। किसी तरह चमकदार प्रवाह को बढ़ाने के लिए हम पहले से ही इन छोटे मैट्रिक्स पर लेंस लगाते हैं। अगले पिक्सेल में, Google आगे बढ़ने और एक लेंस के साथ चार फोटोडायोड को कवर करने की योजना बना रहा है।

स्रोत: 3dnews.ru