नवीन लेख: संगणकीय छायाचित्रण

मूळ लेख वेबसाइटवर पोस्ट केला आहे Vastrik.ru आणि लेखकाच्या परवानगीने 3DNews वर प्रकाशित केले. आम्ही लेखाचा संपूर्ण मजकूर प्रदान करतो, मोठ्या संख्येने दुवे वगळता - ज्यांना या विषयात गंभीरपणे रस आहे आणि संगणकीय फोटोग्राफीच्या सैद्धांतिक पैलूंचा अधिक सखोल अभ्यास करू इच्छितात त्यांच्यासाठी ते उपयुक्त ठरतील, परंतु सामान्य प्रेक्षक आम्ही ही सामग्री निरर्थक मानली.  

आज, स्मार्टफोनचे एकही सादरीकरण कॅमेरा चाटल्याशिवाय पूर्ण होत नाही. मोबाइल कॅमेऱ्यांच्या पुढील यशाबद्दल आपण दर महिन्याला ऐकतो: Google Pixel ला अंधारात शूट करायला शिकवते, Huawei ने दुर्बिणीप्रमाणे झूम करायला शिकवते, Samsung inserts lidar आणि Apple जगातील सर्वात गोलाकार कोपरे बनवते. आजकाल अशी काही ठिकाणे आहेत जिथे नाविन्य इतक्या वेगाने वाहते.

त्याच वेळी, आरसे वेळ चिन्हांकित करतात असे दिसते. सोनी दरवर्षी प्रत्येकाला नवीन मॅट्रिक्ससह वर्षाव करतात आणि उत्पादक आळशीपणे नवीनतम आवृत्ती अंक अद्यतनित करतात आणि आराम करणे आणि बाजूला धुम्रपान करणे सुरू ठेवतात. माझ्या डेस्कवर माझ्याकडे $3000 DSLR आहे, पण जेव्हा मी प्रवास करतो तेव्हा मी माझा iPhone घेतो. का?

क्लासिकने म्हटल्याप्रमाणे, मी या प्रश्नासह ऑनलाइन गेलो. तेथे ते काही “अल्गोरिदम” आणि “न्यूरल नेटवर्क” वर चर्चा करतात, त्यांचा फोटोग्राफीवर नेमका कसा परिणाम होतो याची कल्पना न करता. पत्रकार मोठ्या आवाजात मेगापिक्सेलची संख्या वाचत आहेत, ब्लॉगर एकसंधपणे पेड अनबॉक्सिंग पाहत आहेत आणि सौंदर्यशास्त्री "मॅट्रिक्सच्या रंग पॅलेटची संवेदनाक्षम धारणा" सह स्वत: ला गंधित करत आहेत. सर्व काही नेहमीप्रमाणे आहे.

मला बसावे लागले, माझे अर्धे आयुष्य घालवावे लागले आणि हे सर्व स्वतःच काढावे लागले. या लेखात मी तुम्हाला काय शिकलो ते सांगेन.

⇡#संगणकीय छायाचित्रण म्हणजे काय?

सर्वत्र, विकिपीडियासह, ते अशी काहीतरी व्याख्या देतात: संगणकीय फोटोग्राफी ही कोणतीही प्रतिमा कॅप्चर आणि प्रक्रिया तंत्र आहे जी ऑप्टिकल परिवर्तनांऐवजी डिजिटल संगणन वापरते. त्याबद्दल सर्व काही चांगले आहे, त्याशिवाय ते काहीही स्पष्ट करत नाही. अगदी ऑटोफोकस देखील त्यासाठी योग्य आहे, परंतु प्लेनोप्टिक्स, ज्याने आमच्यासाठी आधीच बर्‍याच उपयुक्त गोष्टी आणल्या आहेत, फिट होत नाहीत. अधिकृत व्याख्येची अस्पष्टता सूचित करते की आपण कशाबद्दल बोलत आहोत याची आपल्याला कल्पना नाही.

कॉम्प्युटेशनल फोटोग्राफीचे प्रणेते, स्टॅनफोर्डचे प्राध्यापक मार्क लेव्हॉय (जो आता गुगल पिक्सेलच्या कॅमेर्‍यासाठी जबाबदार आहे) आणखी एक व्याख्या देतात - संगणक व्हिज्युअलायझेशन पद्धतींचा एक संच जो डिजिटल फोटोग्राफीची क्षमता सुधारतो किंवा वाढवतो, ज्याचा वापर करून नियमित छायाचित्र काढले जाते. तांत्रिकदृष्ट्या हा कॅमेरा पारंपारिक पद्धतीने घेता आला नाही. लेखात मी याचे पालन करतो.

तर, सर्व गोष्टींसाठी स्मार्टफोन जबाबदार होते.

एका नवीन प्रकारच्या फोटोग्राफीला जन्म देण्याशिवाय स्मार्टफोनला पर्याय नव्हता: संगणकीय छायाचित्रण.

भौतिकशास्त्राच्या सर्व नियमांनुसार, त्यांच्या लहान गोंगाटयुक्त मॅट्रिक्स आणि लहान स्लो-अपर्चर लेन्सने फक्त वेदना आणि दुःख आणले असावे. वेगवान इलेक्ट्रॉनिक शटर, शक्तिशाली प्रोसेसर आणि सॉफ्टवेअर - त्यांच्या कमकुवतपणावर मात करण्यासाठी त्यांच्या सामर्थ्यांचा चतुराईने कसा उपयोग करायचा हे त्यांच्या विकासकांनी शोधून काढेपर्यंत त्यांनी असे केले.

कम्प्युटेशनल फोटोग्राफीच्या क्षेत्रातील बहुतेक उच्च-प्रोफाइल संशोधन 2005 आणि 2015 दरम्यान झाले, जे विज्ञानात अक्षरशः काल मानले जाते. सध्या, आपल्या डोळ्यांसमोर आणि आपल्या खिशात, ज्ञान आणि तंत्रज्ञानाचे एक नवीन क्षेत्र विकसित होत आहे जे यापूर्वी कधीही अस्तित्वात नव्हते.

कम्प्युटेशनल फोटोग्राफी फक्त न्यूरो-बोकेहसह सेल्फीपुरते नाही. कृष्णविवराचे अलीकडील छायाचित्र संगणकीय छायाचित्रण तंत्राशिवाय शक्य झाले नसते. नियमित दुर्बिणीने असा फोटो काढायचा असेल तर त्याचा आकार पृथ्वीच्या आकाराचा बनवावा लागेल. तथापि, आमच्या बॉलवर वेगवेगळ्या बिंदूंवर असलेल्या आठ रेडिओ दुर्बिणींतील डेटा एकत्र करून आणि पायथनमध्ये काही स्क्रिप्ट लिहून, आम्ही इव्हेंट क्षितिजाचे जगातील पहिले छायाचित्र प्राप्त केले. सेल्फीसाठीही उत्तम.

⇡#प्रारंभ: डिजिटल प्रक्रिया

चला कल्पना करूया की आम्ही 2007 परत केले. आमची आई अराजक आहे, आणि आमचे फोटो स्केटबोर्डवर घेतलेल्या 0,6-मेगापिक्सेल जीप आहेत. तेव्हाच मोबाईल मॅट्रिक्सची दुर्दशा लपवण्यासाठी त्यांच्यावर प्रीसेट शिंपडण्याची आमची पहिली अदम्य इच्छा असते. चला स्वतःला नाकारू नका.

⇡#मतन आणि इंस्टाग्राम

इंस्टाग्रामच्या प्रकाशनासह, प्रत्येकाला फिल्टरचे वेड लागले. अर्थातच संशोधनाच्या उद्देशाने X-Pro II, Lo-Fi आणि Valencia रिव्हर्स-इंजिनियर केलेले, मला अजूनही आठवते की त्यात तीन घटक होते:

• रंग सेटिंग्ज (रंग, संपृक्तता, लाइटनेस, कॉन्ट्रास्ट, स्तर इ.) - साधे डिजिटल गुणांक, अगदी प्राचीन काळापासून छायाचित्रकारांनी वापरलेल्या कोणत्याही प्रीसेटप्रमाणे.
• टोन मॅपिंग हे मूल्यांचे वेक्टर आहेत, ज्यापैकी प्रत्येकाने आम्हाला सांगितले: "128 च्या टिंटसह लाल रंग 240 च्या टिंटमध्ये बदलला पाहिजे."
• आच्छादन म्हणजे धूळ, धान्य, विग्नेट आणि जुन्या चित्रपटाचा अजिबात सामान्य प्रभाव प्राप्त करण्यासाठी शीर्षस्थानी ठेवता येणारे सर्व काही असलेले अर्धपारदर्शक चित्र. नेहमी उपस्थित नसे.   

आधुनिक फिल्टर्स या त्रिकूटापासून दूर नाहीत, ते फक्त गणितात थोडे अधिक क्लिष्ट झाले आहेत. स्मार्टफोन्सवर हार्डवेअर शेडर्स आणि ओपनसीएलच्या आगमनाने, ते त्वरीत GPU साठी पुन्हा लिहिले गेले आणि हे अत्यंत थंड मानले गेले. 2012 साठी, अर्थातच. आज, कोणताही विद्यार्थी CSS मध्ये हे करू शकतो आणि तरीही त्याला पदवीधर होण्याची संधी मिळणार नाही.

तथापि, फिल्टरची प्रगती आज थांबलेली नाही. उदाहरणार्थ, डेहानसरचे लोक नॉनलाइनर फिल्टर्स वापरण्यात उत्तम आहेत - सर्वहारा टोन मॅपिंगऐवजी, ते अधिक जटिल नॉनलाइनर ट्रान्सफॉर्मेशन वापरतात, जे त्यांच्या मते, अधिक शक्यता उघडतात.

तुम्ही नॉनलाइनर ट्रान्सफॉर्मेशनसह बर्‍याच गोष्टी करू शकता, परंतु ते आश्चर्यकारकपणे जटिल आहेत आणि आम्ही मानव आश्चर्यकारकपणे मूर्ख आहोत. विज्ञानातील नॉनलाइनर ट्रान्सफॉर्मेशन्सचा विचार करताच, आम्ही संख्यात्मक पद्धतींवर जाण्यास प्राधान्य देतो आणि सर्वत्र न्यूरल नेटवर्क क्रॅम करतो जेणेकरून ते आमच्यासाठी उत्कृष्ट कृती लिहू शकतील. इथेही तसेच होते.

⇡#ऑटोमेशन आणि "मास्टरपीस" बटणाची स्वप्ने

एकदा प्रत्येकाला फिल्टरची सवय झाली की, आम्ही ते थेट कॅमेऱ्यांमध्ये बनवायला सुरुवात केली. कोणता निर्माता पहिला होता हे इतिहास लपवून ठेवतो, परंतु ते किती वर्षांपूर्वीचे होते हे समजून घेण्यासाठी - 5.0 मध्ये परत रिलीज झालेल्या iOS 2011 मध्ये, स्वयं वर्धित प्रतिमांसाठी आधीच एक सार्वजनिक API आहे. लोकांसाठी उघडण्यापूर्वी ते किती काळ वापरात होते हे फक्त जॉब्सनाच माहीत आहे.

ऑटोमेशनने तेच केले जे आपल्यापैकी प्रत्येकजण संपादकात फोटो उघडताना करतो - त्याने प्रकाश आणि सावल्यांमधील अंतर काढले, संपृक्तता जोडली, लाल डोळे काढून टाकले आणि रंग निश्चित केला. नवीन स्मार्टफोनमधील “नाटकीयरित्या सुधारित कॅमेरा” ही काही नवीन शेडर्सची योग्यता आहे हे वापरकर्त्यांना कळलेही नाही. Google Pixel रिलीज होण्यास आणि संगणकीय फोटोग्राफीचा प्रचार सुरू होण्यास अजून पाच वर्षे बाकी होती.

आज, “मास्टरपीस” बटणासाठीची लढाई मशीन लर्निंगच्या क्षेत्रात गेली आहे. टोन मॅपिंगसह पुरेसा खेळ केल्यावर, प्रत्येकजण वापरकर्त्याऐवजी स्लाइडर हलविण्यासाठी CNN आणि GAN ला प्रशिक्षित करण्यासाठी धावला. दुसऱ्या शब्दांत, इनपुट प्रतिमेवरून, इष्टतम पॅरामीटर्सचा एक संच निश्चित करा जो या प्रतिमेला “चांगली छायाचित्रण” च्या विशिष्ट व्यक्तिनिष्ठ समजाच्या जवळ आणेल. समान Pixelmator Pro आणि इतर संपादकांमध्ये लागू केले. हे कार्य करते, जसे आपण अंदाज लावू शकता, खूप चांगले नाही आणि नेहमीच नाही. 

⇡#स्टॅकिंग हे मोबाईल कॅमेऱ्यांच्या यशाच्या 90% आहे

खऱ्या संगणकीय फोटोग्राफीची सुरुवात स्टॅकिंगने झाली—एकमेकांच्या वर अनेक छायाचित्रे लेयर करणे. स्मार्टफोनसाठी अर्ध्या सेकंदात डझनभर फ्रेम्स क्लिक करणे ही समस्या नाही. त्यांच्या कॅमेर्‍यांमध्ये कोणतेही संथ यांत्रिक भाग नाहीत: छिद्र निश्चित केले आहे आणि फिरत्या पडद्याऐवजी इलेक्ट्रॉनिक शटर आहे. प्रोसेसर फक्त मॅट्रिक्सला आदेश देतो की त्याने जंगली फोटॉन किती मायक्रोसेकंद पकडले पाहिजेत आणि तो परिणाम वाचतो.

तांत्रिकदृष्ट्या, फोन व्हिडिओच्या वेगाने फोटो घेऊ शकतो आणि फोटो रिझोल्यूशनमध्ये व्हिडिओ घेऊ शकतो, परंतु हे सर्व बस आणि प्रोसेसरच्या गतीवर अवलंबून असते. म्हणूनच ते नेहमी कार्यक्रम मर्यादा ठरवतात.

स्टॅकिंग स्वतः आमच्याबरोबर बर्याच काळापासून आहे. आजोबांनी सुद्धा फोटोशॉप 7.0 वर प्लगइन स्थापित केले जेणेकरुन लक्षवेधी HDR मध्ये अनेक छायाचित्रे एकत्र केली जातील किंवा 18000 × 600 पिक्सेलचा पॅनोरामा एकत्र जोडला जावा आणि... खरं तर, त्यांचे पुढे काय करावे हे कोणालाही समजले नाही. तो काळ श्रीमंत आणि जंगली होता हे वाईट होते.

आता आपण प्रौढ झालो आहोत आणि त्याला “एप्सिलॉन फोटोग्राफी” म्हणतो - जेव्हा, कॅमेरा पॅरामीटर्सपैकी एक (एक्सपोजर, फोकस, पोझिशन) बदलून आणि परिणामी फ्रेम्स एकत्र जोडून, ​​आम्हाला काहीतरी मिळते जे एका फ्रेममध्ये कॅप्चर केले जाऊ शकत नाही. परंतु हे सिद्धांतकारांसाठी एक संज्ञा आहे; व्यवहारात, दुसरे नाव रुजले आहे - स्टॅकिंग. आज, खरं तर, मोबाईल कॅमेर्‍यातील सर्व नवकल्पनांपैकी 90% त्यावर आधारित आहेत.

अनेक लोक ज्याचा विचार करत नाहीत, परंतु मोबाइल आणि संगणकीय फोटोग्राफी समजून घेणे महत्त्वाचे आहे: आधुनिक स्मार्टफोनवरील कॅमेरा तुम्ही त्याचे अॅप उघडताच फोटो घेणे सुरू करतो. जे तार्किक आहे, कारण तिला कशी तरी प्रतिमा स्क्रीनवर हस्तांतरित करण्याची आवश्यकता आहे. तथापि, स्क्रीन व्यतिरिक्त, ते उच्च-रिझोल्यूशन फ्रेम्स स्वतःच्या लूप बफरमध्ये सेव्ह करते, जिथे ते त्यांना आणखी काही सेकंदांसाठी साठवते.

जेव्हा तुम्ही "फोटो घ्या" बटण दाबता, तेव्हा ते आधीच घेतले गेले आहे, कॅमेरा बफरमधून फक्त शेवटचा फोटो घेतो.

आजकाल कोणताही मोबाईल कॅमेरा असाच काम करतो. किमान सर्व फ्लॅगशिपमध्ये कचऱ्याच्या ढिगांमधून नाही. बफरिंगमुळे तुम्हाला केवळ शून्य शटर लॅगच नाही, ज्याचे छायाचित्रकारांनी दीर्घकाळ स्वप्न पाहिले आहे, परंतु नकारात्मक देखील - जेव्हा तुम्ही बटण दाबता, तेव्हा स्मार्टफोन भूतकाळात डोकावतो, बफरमधून शेवटचे 5-10 फोटो अनलोड करतो आणि वेडसरपणे विश्लेषण करू लागतो. आणि त्यांना पेस्ट करा. HDR किंवा नाईट मोडसाठी फ्रेम्स क्लिक करण्यासाठी फोनची वाट पाहत नाही - फक्त त्यांना बफरमधून घ्या, वापरकर्त्याला कळणारही नाही.

तसे, हे नकारात्मक शटर लॅगच्या मदतीने आहे जे आयफोनमध्ये थेट फोटो लागू केले गेले आहे आणि एचटीसीकडे 2013 मध्ये झोई नावाने असेच काहीतरी होते.

⇡#एक्सपोजर स्टॅकिंग - HDR आणि कॉम्बेटिंग ब्राइटनेस बदल

कॅमेरा सेन्सर आपल्या डोळ्यांपर्यंत पोहोचू शकणार्‍या ब्राइटनेसची संपूर्ण श्रेणी कॅप्चर करण्यास सक्षम आहेत की नाही हा वादाचा जुना विषय आहे. काहीजण नाही म्हणतात, कारण डोळा 25 एफ-स्टॉपपर्यंत पाहण्यास सक्षम आहे, तर अगदी वरच्या फुल-फ्रेम मॅट्रिक्समधूनही तुम्हाला जास्तीत जास्त 14 मिळू शकतात. इतरांनी तुलना चुकीची म्हटले आहे, कारण मेंदू आपोआप समायोजित होऊन डोळ्यांना मदत करतो. विद्यार्थी आणि त्याच्या न्यूरल नेटवर्कसह प्रतिमा पूर्ण करणे, आणि झटपट डोळ्याची डायनॅमिक श्रेणी प्रत्यक्षात फक्त 10-14 एफ-स्टॉप्सपेक्षा जास्त नाही. चला हा वाद इंटरनेटवरील सर्वोत्तम आर्मचेअर विचारवंतांवर सोडूया.

वस्तुस्थिती अशी आहे: जेव्हा तुम्ही कोणत्याही मोबाईल कॅमेर्‍यावर HDR शिवाय एका चमकदार आकाशासमोर मित्रांना चित्रित करता, तेव्हा तुम्हाला एकतर सामान्य आकाश आणि मित्रांचे काळे चेहरे किंवा चांगले रेखाटलेले मित्र मिळतात, परंतु आकाश मरणासन्न होते.

HDR (उच्च डायनॅमिक श्रेणी) वापरून ब्राइटनेस श्रेणी विस्तृत करण्यासाठी - समाधानाचा दीर्घकाळ शोध लावला गेला आहे. तुम्हाला वेगवेगळ्या शटर स्पीडमध्ये अनेक फ्रेम्स घ्याव्या लागतील आणि त्यांना एकत्र जोडावे लागेल. म्हणजे एक “सामान्य” आहे, दुसरा हलका आहे, तिसरा गडद आहे. आम्ही हलक्या फ्रेममधून गडद ठिकाणे घेतो, गडद ठिकाणापासून ओव्हरएक्सपोजर भरतो - नफा. स्वयंचलित ब्रॅकेटिंगच्या समस्येचे निराकरण करणे बाकी आहे - प्रत्येक फ्रेमचे एक्सपोजर किती हलवायचे जेणेकरून ते जास्त होऊ नये, परंतु आता तांत्रिक विद्यापीठातील द्वितीय वर्षाचा विद्यार्थी चित्राची सरासरी चमक निश्चित करू शकतो.

नवीनतम iPhone, Pixel आणि Galaxy वर, HDR मोड सामान्यतः आपोआप चालू होतो जेव्हा कॅमेर्‍यामधील एक साधा अल्गोरिदम ठरवतो की तुम्ही उन्हाच्या दिवशी कॉन्ट्रास्टसह काहीतरी शूट करत आहात. एक्सपोजरमध्ये शिफ्ट केलेल्या फ्रेम्स जतन करण्यासाठी फोन रेकॉर्डिंग मोडला बफरवर कसा स्विच करतो हे देखील तुम्ही लक्षात घेऊ शकता - कॅमेरामधील fps कमी होतो आणि चित्र स्वतःच रसदार बनते. घराबाहेर चित्रीकरण करताना माझ्या iPhone X वर स्विचिंगचा क्षण स्पष्टपणे दिसतो. पुढच्या वेळीही तुमचा स्मार्टफोन जवळून पहा.

एक्सपोजर ब्रॅकेटिंगसह एचडीआरचा तोटा म्हणजे खराब प्रकाशात त्याची अभेद्य असहायता. खोलीच्या दिव्याच्या प्रकाशातही, फ्रेम इतक्या गडद होतात की संगणक त्यांना संरेखित करू शकत नाही आणि त्यांना एकत्र जोडू शकत नाही. प्रकाशाच्या समस्येचे निराकरण करण्यासाठी, 2013 मध्ये Google ने त्यावेळच्या रिलीझ केलेल्या Nexus स्मार्टफोनमध्ये HDR साठी एक वेगळा दृष्टीकोन दर्शविला. त्याने टाइम स्टॅकिंगचा वापर केला.

⇡#टाइम स्टॅकिंग - दीर्घ एक्सपोजर सिम्युलेशन आणि टाइम लॅप्स

टाइम स्टॅकिंग आपल्याला लहान मालिका वापरून दीर्घ प्रदर्शन तयार करण्यास अनुमती देते. पायनियर रात्रीच्या आकाशातील तारा ट्रेल्सचे फोटो काढण्याचे चाहते होते, ज्यांना एकाच वेळी दोन तास शटर उघडणे गैरसोयीचे वाटले. आगाऊ सर्व सेटिंग्जची गणना करणे इतके अवघड होते आणि अगदी थोडासा धक्का संपूर्ण फ्रेम खराब करेल. त्यांनी फक्त दोन मिनिटांसाठी शटर उघडण्याचा निर्णय घेतला, परंतु बर्याच वेळा, आणि नंतर घरी जाऊन परिणामी फ्रेम्स फोटोशॉपमध्ये पेस्ट केल्या.

असे दिसून आले की कॅमेर्‍याने प्रत्यक्षात कधीच लांब शटर वेगाने शूट केले नाही, परंतु आम्ही एका ओळीत घेतलेल्या अनेक फ्रेम्स जोडून त्याचे अनुकरण करण्याचा प्रभाव मिळवला. बर्याच काळापासून ही युक्ती वापरणार्‍या स्मार्टफोन्ससाठी लिहिलेल्या अॅप्सचा एक समूह आहे, परंतु जवळजवळ सर्व मानक कॅमेर्‍यांमध्ये वैशिष्ट्य जोडले गेल्याने त्या सर्वांची आवश्यकता नाही. आज, अगदी आयफोन लाइव्ह फोटोमधून एक लांब प्रदर्शन सहजपणे एकत्र जोडू शकतो.

चला त्याच्या रात्रीच्या HDR सह Google वर परत जाऊया. असे दिसून आले की वेळ कंस वापरून आपण अंधारात चांगले एचडीआर लागू करू शकता. तंत्रज्ञान प्रथम Nexus 5 मध्ये दिसले आणि त्याला HDR+ म्हटले गेले. बाकीच्या अँड्रॉइड फोन्सना ते भेट म्हणून मिळाले. तंत्रज्ञान अजूनही इतके लोकप्रिय आहे की नवीनतम पिक्सेलच्या सादरीकरणात त्याची प्रशंसा केली जाते.

HDR+ अगदी सोप्या पद्धतीने कार्य करते: तुम्ही अंधारात शूटिंग करत आहात हे निर्धारित केल्यावर, कॅमेरा बफरमधून शेवटचे 8-15 RAW फोटो एकमेकांच्या वर आच्छादित करण्यासाठी अनलोड करतो. अशा प्रकारे, अल्गोरिदम आवाज कमी करण्यासाठी फ्रेमच्या गडद भागांबद्दल अधिक माहिती संकलित करते - पिक्सेल जेथे, काही कारणास्तव, कॅमेरा सर्व माहिती गोळा करू शकला नाही आणि चूक झाली.

हे असे आहे की जर तुम्हाला कॅपीबारा कसा दिसतो हे माहित नसेल आणि तुम्ही पाच लोकांना त्याचे वर्णन करण्यास सांगितले असेल, तर त्यांच्या कथा अंदाजे समान असतील, परंतु प्रत्येकाने काही विशिष्ट तपशीलांचा उल्लेख केला असेल. अशा प्रकारे तुम्ही फक्त एक विचारण्यापेक्षा अधिक माहिती गोळा कराल. पिक्सेलच्या बाबतीतही तेच आहे.

एका बिंदूपासून घेतलेल्या फ्रेम्स जोडल्याने वरील ताऱ्यांप्रमाणेच बनावट दीर्घ एक्सपोजर प्रभाव मिळतो. डझनभर फ्रेम्सचे प्रदर्शन सारांशित केले आहे, एकातील त्रुटी इतरांमध्ये कमी केल्या आहेत. हे साध्य करण्यासाठी तुम्हाला प्रत्येक वेळी किती वेळा DSLR शटर क्लिक करावे लागेल याची कल्पना करा.

स्वयंचलित रंग सुधारण्याच्या समस्येचे निराकरण करणे बाकी आहे - अंधारात घेतलेल्या फ्रेम्स सहसा पिवळ्या किंवा हिरव्या होतात आणि आम्हाला दिवसाच्या प्रकाशाची समृद्धता हवी आहे. HDR+ च्या सुरुवातीच्या आवृत्त्यांमध्ये, ला इंस्टाग्राम फिल्टरप्रमाणेच सेटिंग्जमध्ये बदल करून याचे निराकरण करण्यात आले. मग त्यांनी मदतीसाठी न्यूरल नेटवर्कला कॉल केला.

अशा प्रकारे नाईट साईट दिसू लागले - Pixel 2 आणि 3 मधील “नाईट फोटोग्राफी” चे तंत्रज्ञान. वर्णनात ते म्हणतात: “HDR+ वर तयार केलेली मशीन लर्निंग तंत्रे, ज्यामुळे नाईट साईट कार्य करते.” थोडक्यात, हे रंग सुधारण्याच्या टप्प्याचे ऑटोमेशन आहे. कोणत्याही गडद कुटिल फोटोंच्या सेटमधून एक सुंदर बनवण्यासाठी मशीनला “आधी” आणि “नंतर” फोटोंच्या डेटासेटवर प्रशिक्षण देण्यात आले.

तसे, डेटासेट सार्वजनिकरीत्या उपलब्ध करून दिला होता. कदाचित ऍपलचे लोक ते घेतील आणि शेवटी त्यांच्या काचेच्या फावड्यांना अंधारात व्यवस्थित चित्रे काढायला शिकवतील.

याव्यतिरिक्त, नाईट साईट दीर्घ शटर स्पीडसह निश्चितपणे होणारी अस्पष्टता सामान्य करण्यासाठी फ्रेममधील ऑब्जेक्ट्सच्या मोशन वेक्टरची गणना वापरते. त्यामुळे, स्मार्टफोन इतर फ्रेम्समधून स्पष्ट भाग घेऊ शकतो आणि त्यांना चिकटवू शकतो.

⇡#मोशन स्टॅकिंग - पॅनोरामा, सुपरझूम आणि आवाज कमी करणे

ग्रामीण भागातील रहिवाशांसाठी पॅनोरमा हे एक लोकप्रिय मनोरंजन आहे. इतिहासाला अद्याप अशी कोणतीही प्रकरणे माहित नाहीत ज्यामध्ये सॉसेजचा फोटो त्याच्या लेखकाव्यतिरिक्त इतर कोणासाठीही स्वारस्य असेल, परंतु त्याकडे दुर्लक्ष केले जाऊ शकत नाही - अनेकांसाठी, स्टॅकिंगची सुरुवात येथेच झाली.

पॅनोरामा वापरण्याचा पहिला उपयुक्त मार्ग म्हणजे कॅमेरा मॅट्रिक्सच्या अनुमतीपेक्षा जास्त रिझोल्यूशनचे छायाचित्र मिळवणे हा अनेक फ्रेम एकत्र जोडून. फोटोग्राफर फार पूर्वीपासून तथाकथित सुपर-रिझोल्यूशन छायाचित्रांसाठी भिन्न सॉफ्टवेअर वापरत आहेत - जेव्हा किंचित हलवलेली छायाचित्रे पिक्सेल दरम्यान एकमेकांना पूरक वाटतात. अशा प्रकारे तुम्हाला किमान शेकडो गीगापिक्सेलची प्रतिमा मिळू शकते, जी तुम्हाला घराच्या आकाराच्या जाहिरातींच्या पोस्टरवर मुद्रित करायची असल्यास खूप उपयुक्त आहे.

आणखी एक, अधिक मनोरंजक दृष्टीकोन म्हणजे पिक्सेल शिफ्टिंग. सोनी आणि ऑलिंपस सारख्या काही मिररलेस कॅमेर्‍यांनी 2014 मध्ये त्याचे समर्थन करण्यास सुरुवात केली, परंतु तरीही त्यांना हाताने निकाल चिकटवावा लागला. ठराविक मोठा कॅमेरा नवकल्पना.

स्मार्टफोन एक मजेदार कारणास्तव येथे यशस्वी झाला आहे - जेव्हा आपण फोटो काढता तेव्हा आपले हात थरथरतात. या उशिर समस्येने स्मार्टफोनवर मूळ सुपर रिझोल्यूशनच्या अंमलबजावणीसाठी आधार तयार केला.

हे कसे कार्य करते हे समजून घेण्यासाठी, तुम्हाला कोणत्याही कॅमेर्‍याचे मॅट्रिक्स कसे संरचित केले जाते हे लक्षात ठेवणे आवश्यक आहे. त्यातील प्रत्येक पिक्सेल (फोटोडिओड) केवळ प्रकाशाची तीव्रता - म्हणजेच येणार्‍या फोटॉनची संख्या रेकॉर्ड करण्यास सक्षम आहे. तथापि, पिक्सेल त्याचा रंग (तरंगलांबी) मोजू शकत नाही. आरजीबी चित्र मिळविण्यासाठी, आम्हाला येथे देखील क्रॅच जोडावे लागतील - संपूर्ण मॅट्रिक्स काचेच्या बहु-रंगीत तुकड्यांच्या ग्रिडने झाकून टाका. त्याच्या सर्वात लोकप्रिय अंमलबजावणीला बायर फिल्टर म्हणतात आणि आज बहुतेक मॅट्रिक्समध्ये वापरले जाते. खालील चित्रासारखे दिसते.

असे दिसून आले की मॅट्रिक्सचा प्रत्येक पिक्सेल फक्त आर-, जी- किंवा बी-घटक पकडतो, कारण उर्वरित फोटॉन बायर फिल्टरद्वारे निर्दयपणे परावर्तित होतात. हे शेजारच्या पिक्सेलच्या मूल्यांची स्पष्टपणे सरासरी करून गहाळ घटक ओळखते.

बायर फिल्टरमध्ये अधिक हिरव्या पेशी आहेत - हे मानवी डोळ्याच्या सादृश्याने केले गेले. असे दिसून आले की मॅट्रिक्सवरील 50 दशलक्ष पिक्सेलपैकी, हिरवा 25 दशलक्ष, लाल आणि निळा - प्रत्येकी 12,5 दशलक्ष कॅप्चर करेल. बाकीचे सरासरी काढले जातील - या प्रक्रियेला डीबायरायझेशन किंवा डेमोसाइझिंग म्हणतात आणि ही एक फॅट फनी क्रॅच आहे. जे सर्व काही विश्रांती घेते.

खरं तर, प्रत्येक मॅट्रिक्सचे स्वतःचे धूर्त पेटंट डेमोसेसिंग अल्गोरिदम असते, परंतु या कथेच्या उद्देशाने आम्ही याकडे दुर्लक्ष करू.

इतर प्रकारचे मॅट्रिसेस (जसे की फोव्हॉन) अद्याप काही प्रमाणात पकडले गेले नाहीत. जरी काही उत्पादक तीक्ष्णता आणि डायनॅमिक श्रेणी सुधारण्यासाठी बायर फिल्टरशिवाय सेन्सर वापरण्याचा प्रयत्न करीत आहेत.

जेव्हा थोडासा प्रकाश असतो किंवा एखाद्या वस्तूचे तपशील खूपच लहान असतात, तेव्हा आपण बरीच माहिती गमावतो कारण बायर फिल्टर अवांछित तरंगलांबीसह फोटॉनला स्पष्टपणे कापतो. म्हणूनच ते पिक्सेल शिफ्टिंगसह आले - त्या सर्वांना पकडण्यासाठी मॅट्रिक्सला 1 पिक्सेल वर-खाली-उजवीकडे-डावीकडे हलवले. या प्रकरणात, फोटो 4 पट मोठा होत नाही, जसे की असे दिसते की प्रोसेसर प्रत्येक पिक्सेलचे मूल्य अधिक अचूकपणे रेकॉर्ड करण्यासाठी हा डेटा वापरतो. त्याची सरासरी त्याच्या शेजाऱ्यांपेक्षा जास्त नाही, तर स्वतःच्या चार मूल्यांपेक्षा जास्त आहे.

फोनवर फोटो काढताना आपले हात थरथरणे ही प्रक्रिया नैसर्गिक परिणाम करते. Google Pixel च्या नवीनतम आवृत्त्यांमध्ये, जेव्हा तुम्ही फोनवर झूम वापरता तेव्हा ही गोष्ट लागू केली जाते आणि चालू होते - याला सुपर रेझ झूम म्हणतात (होय, मला त्यांचे निर्दयी नामकरण देखील आवडते). चिनी लोकांनी ते त्यांच्या लाओफोनमध्ये देखील कॉपी केले, जरी ते थोडेसे वाईट झाले.

एकमेकांवर थोडीशी शिफ्ट केलेली छायाचित्रे आच्छादित केल्याने तुम्हाला प्रत्येक पिक्सेलच्या रंगाबद्दल अधिक माहिती संकलित करण्याची परवानगी मिळते, याचा अर्थ मॅट्रिक्सच्या मेगापिक्सेलची भौतिक संख्या न वाढवता आवाज कमी करणे, तीक्ष्णता वाढवणे आणि रिझोल्यूशन वाढवणे. आधुनिक अँड्रॉइड फ्लॅगशिप हे आपोआप करतात, त्यांचे वापरकर्ते याबद्दल विचार न करता.

⇡#फोकस स्टॅकिंग - फील्डची कोणतीही खोली आणि पोस्ट-प्रॉडक्शनमध्ये पुन्हा फोकस

ही पद्धत मॅक्रो फोटोग्राफीमधून येते, जिथे फील्डची उथळ खोली नेहमीच समस्या असते. संपूर्ण ऑब्जेक्ट फोकसमध्ये येण्यासाठी, तुम्हाला फोकस पुढे-मागे सरकत असलेल्या अनेक फ्रेम्स घ्याव्या लागतील आणि नंतर त्यांना एका तीक्ष्ण चौकटीत एकत्र करा. हीच पद्धत अनेकदा लँडस्केप छायाचित्रकारांद्वारे वापरली जात होती, ज्यामुळे अग्रभाग आणि पार्श्वभूमी डायरियासारखी तीक्ष्ण बनते.

हे सर्व स्मार्टफोनमध्ये देखील हलविले गेले आहे, जरी जास्त प्रचाराशिवाय. 2013 मध्ये, Nokia Lumia 1020 “Refocus App” सह रिलीझ करण्यात आले आणि 2014 मध्ये, Samsung Galaxy S5 “सिलेक्टिव्ह फोकस” मोडसह. त्यांनी त्याच योजनेनुसार कार्य केले: एक बटण दाबून, त्यांनी पटकन 3 छायाचित्रे घेतली - एक "सामान्य" फोकससह, दुसरा फोकससह पुढे आणि तिसरा फोकस मागे सरकवला. प्रोग्रामने फ्रेम्स संरेखित केले आणि तुम्हाला त्यापैकी एक निवडण्याची परवानगी दिली, ज्याला पोस्ट-प्रॉडक्शनमध्ये "वास्तविक" फोकस कंट्रोल म्हणून ओळखले गेले.

पुढे कोणतीही प्रक्रिया झाली नाही, कारण हा साधा हॅक देखील Lytro आणि त्याच्या साथीदारांच्या प्रामाणिक रीफोकससह आणखी एक खिळा ठोकण्यासाठी पुरेसा होता. तसे, त्यांच्याबद्दल बोलूया (ट्रान्झिशन मास्टर 80 एलव्हीएल).

⇡#कम्प्युटेशनल मॅट्रिक्स - लाइट फील्ड आणि प्लेनोप्टिक्स

आम्ही वर समजल्याप्रमाणे, आमचे मॅट्रिक्स क्रॅचवर भयपट आहेत. आपल्याला त्याची सवय झाली आहे आणि त्यासोबत जगण्याचा प्रयत्न करत आहोत. काळाच्या सुरुवातीपासून त्यांची रचना थोडीशी बदलली आहे. आम्ही फक्त तांत्रिक प्रक्रिया सुधारली - आम्ही पिक्सेलमधील अंतर कमी केले, हस्तक्षेप आवाजाविरूद्ध लढा दिला आणि फेज डिटेक्शन ऑटोफोकससाठी विशेष पिक्सेल जोडले. परंतु जर तुम्ही सर्वात महागडी डीएसएलआर घेतला आणि खोलीच्या प्रकाशात तिच्यासोबत धावत्या मांजरीचा फोटो काढण्याचा प्रयत्न केला तर - मांजर, सौम्यपणे सांगायचे तर, जिंकेल.

आम्ही बर्याच काळापासून काहीतरी चांगले शोधण्याचा प्रयत्न करीत आहोत. "संगणकीय सेन्सर" किंवा "नॉन-बायर सेन्सर" साठी या क्षेत्रातील बरेच प्रयत्न आणि संशोधन Google केले गेले आहे आणि अगदी वरील पिक्सेल शिफ्टिंग उदाहरण देखील गणना वापरून मॅट्रिक्स सुधारण्याच्या प्रयत्नांना श्रेय दिले जाऊ शकते. तथापि, गेल्या वीस वर्षांतील सर्वात आशादायक कथा तथाकथित प्लेनोप्टिक कॅमेर्‍यांच्या जगातून तंतोतंत आमच्याकडे आल्या आहेत.

येऊ घातलेल्या गुंतागुंतीच्या शब्दांच्या अपेक्षेने तुमची झोप उडू नये म्हणून, मी एक अंतर्मनात टाकेन की नवीनतम Google Pixel चा कॅमेरा फक्त "थोडासा" plenoptic आहे. फक्त दोन पिक्सेल, परंतु हे देखील इतर प्रत्येकाप्रमाणे दुसऱ्या कॅमेराशिवाय देखील फ्रेमची योग्य ऑप्टिकल खोली मोजू देते.

प्लेनोप्टिक्स हे एक शक्तिशाली शस्त्र आहे जे अद्याप उडाला नाही. येथे माझ्या आवडत्या अलीकडील एक दुवा आहे. प्लेनोप्टिक कॅमेर्‍यांची क्षमता आणि त्यांच्यासोबतचे आमचे भविष्य याबद्दलचे लेख, जिथून मी उदाहरणे घेतली आहेत.

⇡#

प्लेनोप्टिक कॅमेरा - लवकरच येत आहे

1994 मध्ये शोध लावला, 2004 मध्ये स्टॅनफोर्ड येथे गोळा केला. पहिला ग्राहक कॅमेरा, Lytro, 2012 मध्ये रिलीज झाला. VR उद्योग आता सक्रियपणे तत्सम तंत्रज्ञानाचा प्रयोग करत आहे.

एक प्लेनोप्टिक कॅमेरा पारंपारिक कॅमेर्‍यापेक्षा फक्त एका बदलामध्ये वेगळा असतो - त्याचे मॅट्रिक्स लेन्सच्या ग्रिडने झाकलेले असते, ज्यापैकी प्रत्येकामध्ये अनेक वास्तविक पिक्सेल समाविष्ट असतात. यासारखेच काहीसे:

जर तुम्ही ग्रिडपासून मॅट्रिक्सपर्यंतचे अंतर आणि छिद्राचा आकार अचूकपणे मोजला तर, अंतिम प्रतिमेमध्ये पिक्सेलचे स्पष्ट क्लस्टर असतील - मूळ प्रतिमेच्या लहान-आवृत्त्यांचे क्रमवारी.

असे दिसून आले की जर तुम्ही प्रत्येक क्लस्टरमधून एक सेंट्रल पिक्सेल घेतला आणि फक्त त्यांचा वापर करून इमेज एकत्र चिकटवली तर ती नेहमीच्या कॅमेर्‍याने घेतलेल्यापेक्षा वेगळी असणार नाही. होय, आम्ही रिझोल्यूशनमध्ये थोडेसे गमावले आहे, परंतु आम्ही सोनीला नवीन मॅट्रिक्समध्ये आणखी मेगापिक्सेल जोडण्यास सांगू.

मजा फक्त सुरुवात आहे. जर तुम्ही प्रत्येक क्लस्टरमधून दुसरा पिक्सेल घेतला आणि चित्र पुन्हा एकत्र केले तर तुम्हाला पुन्हा एक सामान्य छायाचित्र मिळेल, जसे की ते एका पिक्सेलच्या शिफ्टने घेतले असेल. अशा प्रकारे, 10 × 10 पिक्सेलचे क्लस्टर्स असल्यास, आम्हाला "किंचित" भिन्न बिंदूंमधून ऑब्जेक्टच्या 100 प्रतिमा मिळतील.

मोठ्या क्लस्टर आकाराचा अर्थ अधिक प्रतिमा, परंतु कमी रिझोल्यूशन. 41-मेगापिक्सेल मॅट्रिक्ससह स्मार्टफोनच्या जगात, जरी आपण रिझोल्यूशनकडे थोडेसे दुर्लक्ष करू शकतो, तरीही प्रत्येक गोष्टीला मर्यादा असते. समतोल राखावा लागेल.

ठीक आहे, आम्ही एक प्लेनोप्टिक कॅमेरा एकत्र केला आहे, मग ते आम्हाला काय देते?

प्रामाणिक रीफोकस

लिट्रो बद्दलच्या लेखांमध्ये सर्व पत्रकार ज्या वैशिष्ट्याबद्दल गुंजत होते ते म्हणजे पोस्ट-प्रॉडक्शनमध्ये प्रामाणिकपणे फोकस समायोजित करण्याची क्षमता. वाजवीपणे आमचा अर्थ असा आहे की आम्ही कोणतेही अस्पष्ट अल्गोरिदम वापरत नाही, परंतु केवळ हातात असलेले पिक्सेल वापरतो, त्यांना आवश्यक क्रमाने क्लस्टरमधून निवडून किंवा सरासरी काढतो.

प्लेनोप्टिक कॅमेऱ्यातून RAW छायाचित्रण विचित्र दिसते. नेहमीच्या तीक्ष्ण जीपमधून बाहेर पडण्यासाठी, आपण प्रथम ती एकत्र केली पाहिजे. हे करण्यासाठी, तुम्हाला RAW क्लस्टरपैकी एकातून जीपचा प्रत्येक पिक्सेल निवडण्याची आवश्यकता आहे. आम्ही त्यांना कसे निवडतो यावर अवलंबून, परिणाम बदलेल.

उदाहरणार्थ, मूळ बीमच्या घटनांच्या बिंदूपासून क्लस्टर जितका पुढे असेल तितका हा बीम फोकसच्या बाहेर असेल. कारण ऑप्टिक्स. फोकस-शिफ्ट केलेली प्रतिमा मिळविण्यासाठी, आम्हाला मूळ चित्रापासून इच्छित अंतरावर पिक्सेल निवडण्याची आवश्यकता आहे - एकतर जवळ किंवा पुढे.

 

स्वतःकडे लक्ष केंद्रित करणे अधिक कठीण होते - पूर्णपणे शारीरिकदृष्ट्या, क्लस्टरमध्ये असे कमी पिक्सेल होते. सुरुवातीला, डेव्हलपर वापरकर्त्याला त्यांच्या हातांनी लक्ष केंद्रित करण्याची क्षमता देखील देऊ इच्छित नव्हते - कॅमेराने हे सॉफ्टवेअरमध्ये स्वतःच ठरवले. वापरकर्त्यांना हे भविष्य आवडले नाही, म्हणून त्यांनी नंतरच्या फर्मवेअरमध्ये "क्रिएटिव्ह मोड" नावाचे वैशिष्ट्य जोडले, परंतु नेमके याच कारणास्तव त्यामध्ये फारच मर्यादित केले.

एका कॅमेऱ्यातून खोलीचा नकाशा आणि 3D   

प्लेनोप्टिक्समधील सर्वात सोप्या ऑपरेशन्सपैकी एक म्हणजे खोलीचा नकाशा मिळवणे. हे करण्यासाठी, तुम्हाला फक्त दोन वेगवेगळ्या फ्रेम्स गोळा कराव्या लागतील आणि त्यातील वस्तू किती हलवल्या आहेत याची गणना करा. अधिक शिफ्ट म्हणजे कॅमेरापासून दूर.

Google ने अलीकडेच Lytro विकत घेतले आणि मारले, परंतु त्यांचे तंत्रज्ञान त्याच्या VR आणि... Pixel कॅमेरासाठी वापरले. Pixel 2 पासून सुरुवात करून, कॅमेरा प्रथमच “थोडासा” plenoptic झाला, जरी फक्त दोन पिक्सेलच्या क्लस्टरसह. यामुळे Google ला इतर सर्व मुलांप्रमाणे दुसरा कॅमेरा स्थापित न करण्याची, परंतु केवळ एका फोटोवरून खोलीचा नकाशा मोजण्याची संधी मिळाली.

खोलीचा नकाशा एका सबपिक्सेलने शिफ्ट केलेल्या दोन फ्रेम्स वापरून तयार केला आहे. बायनरी डेप्थ नकाशाची गणना करण्यासाठी आणि पार्श्वभूमीपासून अग्रभाग वेगळे करण्यासाठी आणि आताच्या फॅशनेबल बोकेहमध्ये नंतरचे अस्पष्ट करण्यासाठी हे पुरेसे आहे. अशा लेयरिंगचा परिणाम देखील न्यूरल नेटवर्कद्वारे गुळगुळीत केला जातो आणि "सुधारित" केला जातो ज्यांना खोलीचे नकाशे सुधारण्यासाठी प्रशिक्षित केले जाते (आणि अस्पष्ट नाही, जसे बरेच लोक वाटते).

युक्ती अशी आहे की आम्हाला स्मार्टफोनमध्ये प्लेनोप्टिक्स जवळजवळ विनामूल्य मिळाले आहेत. प्रकाशमय प्रवाह कसा तरी वाढवण्यासाठी आम्ही या लहान मॅट्रिकेसवर आधीच लेन्स लावले आहेत. पुढील पिक्सेलमध्ये, Google ने आणखी पुढे जाऊन चार फोटोडिओड्स एका लेन्सने कव्हर करण्याची योजना आखली आहे.

स्त्रोत: 3dnews.ru