ახალი სტატია: კომპიუტერული ფოტოგრაფია

ორიგინალი სტატია განთავსებულია ვებგვერდზე Vastrik.ru და გამოქვეყნდა 3DNews-ზე ავტორის ნებართვით. ჩვენ გთავაზობთ სტატიის სრულ ტექსტს, გარდა ბმულების დიდი რაოდენობით - ისინი სასარგებლო იქნება მათთვის, ვინც სერიოზულად არის დაინტერესებული თემით და სურს უფრო ღრმად შეისწავლოს გამოთვლითი ფოტოგრაფიის თეორიული ასპექტები, მაგრამ ფართო აუდიტორიას ეს მასალა ზედმეტად მივიჩნიეთ.  

დღეს, არც ერთი სმარტფონის პრეზენტაცია არ არის სრულყოფილი მისი კამერის დალევის გარეშე. ყოველთვიურად გვესმის მობილური კამერების შემდეგი წარმატების შესახებ: Google ასწავლის Pixel-ს სიბნელეში გადაღებას, Huawei-ს ბინოკლებივით მასშტაბირებას, Samsung-ის ჩასმა lidar-ს და Apple აკეთებს მსოფლიოს ყველაზე მრგვალ კუთხეებს. რამდენიმე ადგილია, სადაც ინოვაცია ასე სწრაფად მიედინება ამ დღეებში.

ამავდროულად, სარკეები, როგორც ჩანს, დროს აღნიშნავენ. Sony ყოველწლიურად ადიდებს ყველას ახალ მატრიცებს, ხოლო მწარმოებლები ზარმაცად ახდენენ უახლესი ვერსიის ციფრს და აგრძელებენ დასვენებას და მოწევას გვერდით. მე მაქვს 3000$-იანი DSLR მაგიდაზე, მაგრამ როცა ვმოგზაურობ, iPhone-ს ვიღებ. რატომ?

როგორც კლასიკოსმა თქვა, ამ კითხვით შევედი ინტერნეტში. იქ ისინი განიხილავენ ზოგიერთ "ალგორითმს" და "ნერვულ ქსელს", წარმოდგენა არ აქვთ, თუ როგორ მოქმედებენ ისინი ფოტოზე. ჟურნალისტები ხმამაღლა კითხულობენ მეგაპიქსელების რაოდენობას, ბლოგერები ერთხმად ხედავენ ფასიან ამოღებას, ხოლო ესთეტები თავს „მატრიცის ფერთა პალიტრის სენსუალური აღქმით“ აფარებენ თავს. ყველაფერი როგორც ყოველთვის.

მომიწია დავმჯდარიყავი, ჩემი ცხოვრების ნახევარი გამეტარებინა და ეს ყველაფერი თავად გამეგო. ამ სტატიაში გეტყვით, რაც ვისწავლე.

⇡#რა არის გამოთვლითი ფოტოგრაფია?

ყველგან, მათ შორის ვიკიპედიაში, ისინი აძლევენ ასეთ განმარტებას: გამოთვლითი ფოტოგრაფია არის ნებისმიერი სურათის გადაღებისა და დამუშავების ტექნიკა, რომელიც იყენებს ციფრულ გამოთვლებს ოპტიკური გარდაქმნების ნაცვლად. ყველაფერი კარგია, გარდა იმისა, რომ არაფერს ხსნის. ავტოფოკუსიც კი გამოდგება, მაგრამ პლენოპტიკა, რომელმაც უკვე ბევრი სასარგებლო რამ მოგვიტანა, არ ჯდება. ოფიციალური განმარტებების ბუნდოვანება, როგორც ჩანს, მიანიშნებს იმაზე, რომ წარმოდგენა არ გვაქვს რაზე ვსაუბრობთ.

გამოთვლითი ფოტოგრაფიის პიონერი, სტენფორდის პროფესორი მარკ ლევოი (რომელიც ახლა პასუხისმგებელია Google Pixel-ის კამერაზე) იძლევა სხვა განმარტებას - კომპიუტერული ვიზუალიზაციის მეთოდების ნაკრები, რომელიც აუმჯობესებს ან აფართოებს ციფრული ფოტოგრაფიის შესაძლებლობებს, რომლის გამოყენებითაც მიიღება ჩვეულებრივი ფოტო. ტექნიკურად არ შეიძლებოდა ამ კამერით გადაღება ტრადიციული გზით. სტატიაში მე ამას ვიცავ.

ასე რომ, სმარტფონები იყო ყველაფერში დამნაშავე.

სმარტფონებს სხვა გზა არ ჰქონდათ გარდა იმისა, რომ შეექმნათ ახალი ტიპის ფოტოგრაფია: გამოთვლითი ფოტოგრაფია.

მათ პატარა ხმაურიან მატრიცებს და პაწაწინა ნელი დიაფრაგმის ლინზებს, ფიზიკის ყველა კანონის მიხედვით, მხოლოდ ტკივილი და ტანჯვა უნდა მოეტანათ. ისინი ასე აკეთებდნენ მანამ, სანამ მათი დეველოპერები არ გაერკვნენ, თუ როგორ ჭკვიანურად გამოიყენონ თავიანთი ძლიერი მხარეები სისუსტეების დასაძლევად - სწრაფი ელექტრონული ჩამკეტები, ძლიერი პროცესორები და პროგრამული უზრუნველყოფა.

გამოთვლითი ფოტოგრაფიის სფეროში გახმაურებული კვლევების უმეტესობა მოხდა 2005-2015 წლებში, რაც მეცნიერებაში ფაქტიურად გუშინ განიხილება. სწორედ ახლა, ჩვენს თვალწინ და ჩვენს ჯიბეში, ვითარდება ცოდნისა და ტექნოლოგიების ახალი სფერო, რომელიც აქამდე არასოდეს ყოფილა.

კომპიუტერული ფოტოგრაფია არ არის მხოლოდ სელფები ნეირო-ბოკეში. შავი ხვრელის ბოლოდროინდელი ფოტო შეუძლებელი იქნებოდა კომპიუტერული ფოტოგრაფიის ტექნიკის გარეშე. ჩვეულებრივი ტელესკოპით ასეთი ფოტოს გადასაღებად, ის დედამიწის ზომის უნდა გავხადოთ. თუმცა, ჩვენი ბურთის სხვადასხვა წერტილში რვა რადიოტელესკოპის მონაცემების გაერთიანებით და რამდენიმე სკრიპტის პითონში ჩაწერით, ჩვენ მივიღეთ მოვლენათა ჰორიზონტის მსოფლიოში პირველი ფოტო. კარგია სელფებისთვისაც.

⇡#დაწყება: ციფრული დამუშავება

წარმოვიდგინოთ, რომ დავბრუნდით 2007 წ. ჩვენი დედა ანარქია, ჩვენი ფოტოები კი 0,6 მეგაპიქსელიანი ჯიპების ხმაურიანია, გადაღებული სკეიტბორდზე. დაახლოებით მაშინ გვაქვს პირველი დაუძლეველი სურვილი, მოვაყაროთ წინასწარ პარამეტრები, რათა დავიმალოთ მობილური მატრიცების უბედურება. ნუ უარვყოფთ საკუთარ თავს.

⇡#მატანი და ინსტაგრამი

ინსტაგრამის გამოშვებით ყველა გატაცებული გახდა ფილტრებით. როგორც ვინმე, ვინც X-Pro II, Lo-Fi და Valencia-ის შებრუნებული ინჟინერია შექმნა, რა თქმა უნდა, კვლევის მიზნებისთვის, მე მაინც მახსოვს, რომ ისინი შედგებოდა სამი კომპონენტისგან:

• ფერის პარამეტრები (Hue, Saturation, Lightness, Contrast, Levels და ა.შ.) - მარტივი ციფრული კოეფიციენტები, ზუსტად ისეთი, როგორც ნებისმიერი წინასწარ დაყენება, რომელსაც ფოტოგრაფები იყენებდნენ უძველესი დროიდან.
• Tone Mappings არის მნიშვნელობების ვექტორები, რომელთაგან თითოეულმა გვითხრა: "წითელი ფერი 128 ელფერით უნდა გადაიზარდოს 240 ელფერში."
• გადაფარვა არის გამჭვირვალე სურათი მტვერით, მარცვლებით, ვინეტით და ყველაფერი, რაც შეიძლება თავზე დადოთ ძველი ფილმის არც თუ ისე ბანალური ეფექტის მისაღებად. ყოველთვის არ იყო.   

თანამედროვე ფილტრები არც თუ ისე შორს არის ამ სამისგან, ისინი მხოლოდ მათემატიკაში ცოტათი გართულდნენ. სმარტფონებზე ტექნიკის შადერებისა და OpenCL-ის გამოჩენის შემდეგ, ისინი სწრაფად გადაიწერეს GPU-სთვის და ეს ძალიან მაგარი იყო. 2012 წლისთვის, რა თქმა უნდა. დღეს ნებისმიერ სტუდენტს შეუძლია იგივე გააკეთოს CSS-ში და მას მაინც არ ექნება შანსი დაამთავროს.

თუმცა, დღეს ფილტრების პროგრესი არ შეჩერებულა. მაგალითად, დეჰანსერის ბიჭები მშვენივრად იყენებენ არაწრფივი ფილტრებს - პროლეტარული ტონის რუკის ნაცვლად, ისინი იყენებენ უფრო რთულ არაწრფივ გარდაქმნებს, რაც, მათი თქმით, ბევრად მეტ შესაძლებლობებს ხსნის.

ბევრი რამის გაკეთება შეგიძლია არაწრფივი გარდაქმნებით, მაგრამ ისინი წარმოუდგენლად რთულია და ჩვენ ადამიანები წარმოუდგენლად სულელები ვართ. როგორც კი საქმე ეხება მეცნიერებაში არაწრფივ გარდაქმნებს, ჩვენ გვირჩევნია მივიდეთ რიცხვით მეთოდებზე და ყველგან გავჭედოთ ნერვულ ქსელებს, რათა მათ დაგვიწერონ შედევრები. აქაც ასე იყო.

⇡#ავტომატიზაცია და ოცნებობს "შედევრის" ღილაკზე

მას შემდეგ რაც ყველა შეეჩვია ფილტრებს, დავიწყეთ მათი პირდაპირ კამერებში შეყვანა. ისტორია მალავს, თუ რომელი მწარმოებელი იყო პირველი, მაგრამ მხოლოდ იმის გასაგებად, თუ რამდენი ხნის წინ იყო ეს - iOS 5.0-ში, რომელიც გამოვიდა ჯერ კიდევ 2011 წელს, უკვე იყო საჯარო API ავტომატური გამაძლიერებელი სურათებისთვის. მხოლოდ ჯობსმა იცის, რამდენ ხანს გამოიყენებოდა იგი საზოგადოებისთვის გახსნამდე.

ავტომატიზაციამ იგივე გააკეთა, რასაც თითოეული ჩვენგანი აკეთებს ფოტოს რედაქტორში გახსნისას - მან ამოიღო ხარვეზები შუქსა და ჩრდილში, დაამატა გაჯერება, ამოიღო წითელი თვალები და დაფიქსირდა სახის ფერი. მომხმარებლებმა ვერც კი გააცნობიერეს, რომ ახალ სმარტფონში "დრამატულად გაუმჯობესებული კამერა" მხოლოდ რამდენიმე ახალი შადერის დამსახურებაა. ჯერ კიდევ ხუთი წელი რჩებოდა Google Pixel-ის გამოშვებამდე და კომპიუტერული ფოტოგრაფიის აჟიოტაჟის დაწყებამდე.

დღეს ბრძოლა "შედევრის" ღილაკისთვის გადავიდა მანქანური სწავლების სფეროში. მას შემდეგ, რაც საკმარისად ითამაშა ტონის რუკებით, ყველამ სასწრაფოდ მოამზადა CNN-ები და GAN-ები მომხმარებლის ნაცვლად სლაიდერების გადასატანად. სხვა სიტყვებით რომ ვთქვათ, შეყვანილი სურათიდან განსაზღვრეთ ოპტიმალური პარამეტრების ნაკრები, რომელიც ამ სურათს დააახლოებს „კარგი ფოტოგრაფიის“ გარკვეულ სუბიექტურ გაგებასთან. დანერგილია იმავე Pixelmator Pro-ში და სხვა რედაქტორებში. ის მუშაობს, როგორც თქვენ ალბათ მიხვდით, არც ისე კარგად და არა ყოველთვის. 

⇡#დაწყობა არის მობილური კამერების წარმატების 90%.

ნამდვილი გამოთვლითი ფოტოგრაფია დაიწყო დაწყობით — რამდენიმე ფოტოს ერთმანეთზე ფენით. სმარტფონისთვის პრობლემა არ არის, რომ ნახევარ წამში დააჭიროს ათეულ კადრს. მათ კამერებს არ აქვთ ნელი მექანიკური ნაწილები: დიაფრაგმა ფიქსირდება და მოძრავი ფარდის ნაცვლად არის ელექტრონული ჩამკეტი. პროცესორი უბრალოდ უბრძანებს მატრიცას, რამდენ მიკროწამში უნდა დაიჭიროს ველური ფოტონები და ის კითხულობს შედეგს.

ტექნიკურად, ტელეფონს შეუძლია ფოტოების გადაღება ვიდეოს სიჩქარით, ხოლო ვიდეო ფოტო რეზოლუციით, მაგრამ ეს ყველაფერი დამოკიდებულია ავტობუსის და პროცესორის სიჩქარეზე. ამიტომ ისინი ყოველთვის ადგენენ პროგრამის ლიმიტებს.

თავად სტეკინგი დიდი ხანია ჩვენთანაა. ბაბუებმაც კი დააინსტალირეს დანამატები Photoshop 7.0-ზე, რათა შეკრიბონ რამდენიმე ფოტო თვალისმომჭრელ HDR-ში ან შეაერთონ 18000 × 600 პიქსელიანი პანორამა და... ფაქტობრივად, ვერავინ ვერ გაერკვია, რა უნდა გააკეთოს მათთან შემდეგ. სამწუხარო იყო, რომ დრო იყო მდიდარი და ველური.

ახლა ჩვენ გავხდით ზრდასრულები და ვუწოდებთ მას "ეპსილონის ფოტოგრაფიას" - როდესაც კამერის ერთ-ერთი პარამეტრის (ექსპოზიცია, ფოკუსირება, პოზიცია) შეცვლით და შედეგად მიღებული კადრების შეკერვით, ვიღებთ იმას, რისი გადაღებაც შეუძლებელია ერთ კადრში. მაგრამ ეს არის ტერმინი თეორეტიკოსებისთვის, პრაქტიკაში სხვა სახელწოდება გაჩნდა - ფსონი. დღეს, ფაქტობრივად, მობილური კამერების ყველა ინოვაციის 90% მასზეა დაფუძნებული.

ის, რაზეც ბევრი ადამიანი არ ფიქრობს, მაგრამ მნიშვნელოვანია ყველა მობილური და კომპიუტერული ფოტოგრაფიის გაგება: თანამედროვე სმარტფონის კამერა იწყებს ფოტოების გადაღებას, როგორც კი გახსნით მის აპს. რაც ლოგიკურია, რადგან მას სჭირდება როგორმე გადაიტანოს გამოსახულება ეკრანზე. თუმცა, ეკრანის გარდა, ის ინახავს მაღალი გარჩევადობის ჩარჩოებს საკუთარ მარყუჟის ბუფერში, სადაც ინახავს მათ კიდევ რამდენიმე წამს.

როდესაც დააჭირეთ ღილაკს "ფოტოს გადაღება", ის რეალურად უკვე გადაღებულია, კამერა უბრალოდ იღებს ბოლო ფოტოს ბუფერიდან.

ასე მუშაობს დღეს ნებისმიერი მობილური კამერა. ყოველ შემთხვევაში, ყველა ფლაგმანში არა ნაგვის გროვიდან. ბუფერირება საშუალებას გაძლევთ გააცნობიეროთ არა მხოლოდ ნულოვანი ჩამკეტის ჩამორჩენა, რაზეც ფოტოგრაფები დიდი ხანია ოცნებობდნენ, არამედ უარყოფითიც კი - ღილაკზე დაჭერისას სმარტფონი იყურება წარსულში, ატვირთავს ბოლო 5-10 ფოტოს ბუფერიდან და იწყებს გაბრაზებულ ანალიზს. და ჩასვით ისინი. აღარ დაველოდოთ ტელეფონს დააწკაპუნებს კადრებზე HDR ან ღამის რეჟიმში - უბრალოდ აიღეთ ისინი ბუფერიდან, მომხმარებელი არც კი გაიგებს.

სხვათა შორის, სწორედ ნეგატიური ჩამკეტის ჩამორჩენის დახმარებით ხდება Live Photo დანერგვა iPhone-ებში და მსგავსი რამ HTC-ს ჯერ კიდევ 2013 წელს ჰქონდა უცნაური სახელით Zoe.

⇡#ექსპოზიციის დაწყობა - HDR და სიკაშკაშის წინააღმდეგ ბრძოლა

შეუძლიათ თუ არა კამერის სენსორებს გადაიღონ სიკაშკაშის მთელი დიაპაზონი, რომელიც ხელმისაწვდომია ჩვენი თვალისთვის, ეს არის დებატების ძველი თემა. ზოგი ამბობს არა, რადგან თვალს შეუძლია დაინახოს 25 f-stop-მდე, ხოლო ზედა სრული კადრის მატრიციდანაც კი შეგიძლიათ მიიღოთ მაქსიმუმ 14. სხვები შედარებას არასწორს უწოდებენ, რადგან ტვინი ეხმარება თვალს ავტომატურად რეგულირებით. მოსწავლე და გამოსახულების შევსება მისი ნერვული ქსელებით და მყისიერი თვალის დინამიური დიაპაზონი რეალურად არაუმეტეს 10-14 f-stop-ია. მოდით, ეს დებატები ინტერნეტში საუკეთესო სავარძელ მოაზროვნეებს მივატოვოთ.

ფაქტი ფაქტად რჩება: როდესაც ნებისმიერ მობილურ კამერაზე მეგობრებს ნათელ ცაზე ისვრით, HDR-ის გარეშე, თქვენ მიიღებთ ან ჩვეულებრივ ცას და მეგობრების შავ სახეებს, ან კარგად დახატულ მეგობრებს, მაგრამ სასიკვდილოდ დამწვარ ცას.

გამოსავალი დიდი ხანია გამოიგონეს - სიკაშკაშის დიაპაზონის გაფართოება HDR (მაღალი დინამიური დიაპაზონის) გამოყენებით. თქვენ უნდა აიღოთ რამდენიმე ჩარჩო სხვადასხვა ჩამკეტის სიჩქარით და შეკეროთ ისინი. ასე რომ, ერთი "ნორმალურია", მეორე უფრო მსუბუქია, მესამე უფრო მუქი. ჩვენ ვიღებთ ბნელ ადგილებს მსუბუქი ჩარჩოდან, ვავსებთ ზედმეტ ექსპოზიციას მუქიდან - მოგება. რჩება მხოლოდ ავტომატური ბრეკეტინგის პრობლემის გადაჭრა - რამდენად უნდა გადავიტანოთ თითოეული ჩარჩოს ექსპოზიცია ისე, რომ არ გადააჭარბოთ, მაგრამ ახლა ტექნიკური უნივერსიტეტის მეორე კურსის სტუდენტს შეუძლია გაუმკლავდეს სურათის საშუალო სიკაშკაშის განსაზღვრას.

უახლეს iPhone-ზე, Pixel-სა და Galaxy-ზე, HDR რეჟიმი ჩვეულებრივ ჩართულია ავტომატურად, როდესაც კამერის შიგნით მარტივი ალგორითმი განსაზღვრავს, რომ მზიან დღეს რაღაც კონტრასტით იღებ. თქვენ შეგიძლიათ შეამჩნიოთ, თუ როგორ ცვლის ტელეფონი ჩაწერის რეჟიმს ბუფერზე, რათა შეინახოს ექსპოზიციაში გადანაცვლებული კადრები - კამერაში fps იკლებს და თავად სურათი უფრო წვნიანი ხდება. გადართვის მომენტი აშკარად ჩანს ჩემს iPhone X-ზე, გარეთ გადაღებისას. შემდეგ ჯერზეც ყურადღებით დააკვირდით თქვენს სმარტფონს.

HDR-ის მინუსი ექსპოზიციის ბრეკეტინგით არის მისი შეუღწევადი უმწეობა ცუდი განათების დროს. ოთახის ნათურის შუქის პირობებშიც კი, ჩარჩოები იმდენად ბნელი ხდება, რომ კომპიუტერი ვერ ასწორებს და ათავსებს ერთმანეთს. შუქთან დაკავშირებული პრობლემის გადასაჭრელად 2013 წელს Google-მა აჩვენა განსხვავებული მიდგომა HDR-ის მიმართ მაშინდელ გამოშვებულ Nexus სმარტფონში. მან გამოიყენა დროის დაწყობა.

⇡#დროის დაწყობა - ხანგრძლივი ექსპოზიციის სიმულაცია და დროის გასვლა

დროის დაწყობა საშუალებას გაძლევთ შექმნათ გრძელი ექსპოზიცია მოკლე სერიის გამოყენებით. პიონერები ღამის ცაზე ვარსკვლავების ბილიკების გადაღების მოყვარულები იყვნენ, რომლებსაც უხერხულად თვლიდნენ ჩამკეტის ერთდროულად გახსნა ორი საათის განმავლობაში. ძალიან რთული იყო ყველა პარამეტრის წინასწარ გამოთვლა და ოდნავი შერყევა მთელ კადრს ანადგურებდა. მათ გადაწყვიტეს ჩამკეტის გახსნა მხოლოდ რამდენიმე წუთით, მაგრამ ბევრჯერ, შემდეგ კი სახლში წავიდნენ და მიღებული ჩარჩოები ჩასვეს Photoshop-ში.

ირკვევა, რომ კამერა რეალურად არასდროს გადაუღია დიდი ჩამკეტის სიჩქარით, მაგრამ მივიღეთ მისი სიმულაციის ეფექტი ზედიზედ გადაღებული რამდენიმე კადრის დამატებით. არსებობს უამრავი აპლიკაცია დაწერილი სმარტფონებისთვის, რომლებიც ამ ხრიკს დიდი ხანია იყენებენ, მაგრამ ყველა მათგანი არ არის საჭირო, რადგან ფუნქცია დაემატა თითქმის ყველა სტანდარტულ კამერას. დღეს, iPhone-საც კი შეუძლია ადვილად შეაერთოს ხანგრძლივი ექსპოზიცია Live Photo-დან.

მოდით დავუბრუნდეთ Google-ს მისი ღამის HDR-ით. აღმოჩნდა, რომ დროის ბრეკეტინგის გამოყენებით შეგიძლიათ კარგი HDR დანერგოთ სიბნელეში. ტექნოლოგია პირველად გამოჩნდა Nexus 5-ში და ეწოდა HDR+. დანარჩენმა ანდროიდის ტელეფონებმა ის თითქოს საჩუქრად მიიღეს. ტექნოლოგია ჯერ კიდევ იმდენად პოპულარულია, რომ მას უახლესი Pixels-ის პრეზენტაციაშიც კი ადიდებენ.

HDR+ მუშაობს საკმაოდ მარტივად: იმის დადგენის შემდეგ, რომ თქვენ იღებთ სიბნელეში, კამერა ატვირთავს ბოლო 8-15 RAW ფოტოს ბუფერიდან, რათა გადაფაროს ისინი ერთმანეთზე. ამრიგად, ალგორითმი აგროვებს მეტ ინფორმაციას კადრის ბნელ უბნებზე, რათა მინიმუმამდე დაიყვანოს ხმაური - პიქსელები, სადაც, რატომღაც, კამერამ ვერ შეძლო მთელი ინფორმაციის შეგროვება და შეცდა.

იგივეა, თუ არ გცოდნოდათ როგორ გამოიყურებოდა კაპიბარა და სთხოვეთ ხუთ ადამიანს მისი აღწერა, მათი ისტორიები დაახლოებით იგივე იქნებოდა, მაგრამ თითოეული ახსენებდა უნიკალურ დეტალს. ამ გზით თქვენ შეაგროვებთ უფრო მეტ ინფორმაციას, ვიდრე უბრალოდ ერთის კითხვას. იგივეა პიქსელებთან დაკავშირებით.

ერთი წერტილიდან აღებული კადრების დამატება იძლევა იგივე ყალბი ხანგრძლივი ექსპოზიციის ეფექტს, როგორც ზემოთ მოცემულ ვარსკვლავებს. ათობით კადრის ექსპოზიცია შეჯამებულია, ერთში შეცდომები მინიმუმამდეა დაყვანილი სხვებში. წარმოიდგინეთ რამდენჯერ მოგიწევთ დააწკაპუნოთ DSLR ჩამკეტზე ყოველ ჯერზე ამის მისაღწევად.

დარჩა მხოლოდ ფერის ავტომატური კორექტირების პრობლემის გადაჭრა - სიბნელეში გადაღებული ჩარჩოები, როგორც წესი, ყვითელი ან მწვანე გამოდის და ჩვენ გვსურს დღის შუქის სიმდიდრე. HDR+-ის ადრეულ ვერსიებში, ეს მოგვარდა პარამეტრების უბრალოდ შესწორებით, ისევე როგორც Instagram-ის ფილტრებში. შემდეგ მათ დახმარებისთვის ნერვულ ქსელებს მოუწოდეს.

ასე გაჩნდა Night Sight - „ღამის ფოტოგრაფიის“ ტექნოლოგია Pixel 2-ში და 3-ში. აღწერილობაში ისინი ამბობენ: „HDR+-ზე აგებული მანქანური სწავლის ტექნიკა, რომელიც ამუშავებს ღამის ხედვას“. არსებითად, ეს არის ფერის კორექციის ეტაპის ავტომატიზაცია. მანქანა დავარჯიშებული იყო „ადრე“ და „შემდეგ“ ფოტოების მონაცემთა ბაზაზე, რათა ერთი მშვენიერი ყოფილიყო ნებისმიერი ბნელი დახრილი ფოტოებიდან.

სხვათა შორის, მონაცემთა ბაზა საჯარო გახდა. იქნებ Apple-ის ბიჭებმა აიღონ და ბოლოს ასწავლონ თავიანთ შუშის ნიჩბებს სიბნელეში სწორად გადაღება.

გარდა ამისა, Night Sight იყენებს კადრში ობიექტების მოძრაობის ვექტორის გამოთვლას დაბინდვის ნორმალიზებისთვის, რომელიც აუცილებლად წარმოიქმნება დიდი ჩამკეტის სიჩქარით. ასე რომ, სმარტფონს შეუძლია აიღოს მკაფიო ნაწილები სხვა ჩარჩოებიდან და დააწებოს ისინი.

⇡#მოძრაობის დაწყობა - პანორამა, სუპერზუმი და ხმაურის შემცირება

პანორამა პოპულარული გასართობია სოფლის მაცხოვრებლებისთვის. ისტორიამ ჯერ არ იცის ისეთი შემთხვევები, როდესაც ძეხვის ფოტო სხვას დააინტერესებს, გარდა მისი ავტორისა, მაგრამ მისი იგნორირება არ შეიძლება - ბევრისთვის სწორედ აქ დაიწყო დაწყობა.

პანორამის გამოყენების პირველი გამოსადეგი გზა არის უფრო მაღალი გარჩევადობის ფოტოს მიღება, ვიდრე კამერის მატრიცა იძლევა რამდენიმე კადრის ერთმანეთთან შეკერვით. ფოტოგრაფები დიდი ხანია იყენებდნენ სხვადასხვა პროგრამულ უზრუნველყოფას ეგრეთ წოდებული სუპერ გარჩევადობის ფოტოებისთვის - როდესაც ოდნავ გადაადგილებული ფოტოები თითქოს ავსებენ ერთმანეთს პიქსელებს შორის. ამ გზით შეგიძლიათ მიიღოთ მინიმუმ ასობით გიგაპიქსელიანი გამოსახულება, რაც ძალიან სასარგებლოა, თუ მისი დაბეჭდვა გჭირდებათ სახლის ზომის სარეკლამო პოსტერზე.

კიდევ ერთი, უფრო საინტერესო მიდგომა არის Pixel Shifting. ზოგიერთმა სარკისებურმა კამერამ, როგორიცაა Sony და Olympus, მისი მხარდაჭერა ჯერ კიდევ 2014 წელს დაიწყო, მაგრამ მათ მაინც მოუწიათ შედეგის ხელით წებოვნება. ტიპიური დიდი კამერის ინოვაციები.

სმარტფონებმა აქ წარმატებას მიაღწიეს სასაცილო მიზეზის გამო - როცა ფოტოს იღებ, ხელები გიკანკალებს. ამ ერთი შეხედვით პრობლემამ საფუძველი ჩაუყარა სმარტფონებზე მშობლიური სუპერ რეზოლუციის დანერგვას.

იმის გასაგებად, თუ როგორ მუშაობს ეს, თქვენ უნდა გახსოვდეთ, თუ როგორ არის სტრუქტურირებული ნებისმიერი კამერის მატრიცა. მის თითოეულ პიქსელს (ფოტოდიოდს) შეუძლია ჩაწეროს მხოლოდ სინათლის ინტენსივობა - ანუ შემომავალი ფოტონების რაოდენობა. თუმცა, პიქსელს არ შეუძლია გაზომოს მისი ფერი (ტალღის სიგრძე). RGB სურათის მისაღებად, აქაც მოგვიწია ყავარჯნების დამატება - მთელი მატრიცა დაფარეთ შუშის მრავალფერადი ნაჭრების ბადით. მის ყველაზე პოპულარულ განხორციელებას ბაიერის ფილტრი ჰქვია და დღესდღეობით გამოიყენება უმეტეს მატრიცებში. ქვემოთ მოცემულ სურათს ჰგავს.

გამოდის, რომ მატრიცის თითოეული პიქსელი იჭერს მხოლოდ R-, G- ან B- კომპონენტს, რადგან დარჩენილი ფოტონები უმოწყალოდ აირეკლება ბაიერის ფილტრით. ის ამოიცნობს დაკარგული კომპონენტებს მეზობელი პიქსელების მნიშვნელობების უხეშად საშუალოდ.

ბაიერის ფილტრში მეტი მწვანე უჯრედია - ეს გაკეთდა ადამიანის თვალის ანალოგიით. გამოდის, რომ მატრიცაზე 50 მილიონი პიქსელიდან მწვანე დაიჭერს 25 მილიონს, წითელი და ლურჯი - თითო 12,5 მილიონს, დანარჩენი იქნება საშუალოდ - ამ პროცესს ჰქვია დებაიერიზაცია ან დემოზაიკა, და ეს არის ისეთი მსუქანი სასაცილო ყავარჯენი. რომელსაც ყველაფერი ისვენებს.

სინამდვილეში, თითოეულ მატრიცას აქვს თავისი ეშმაკური დაპატენტებული დემოზაირების ალგორითმი, მაგრამ ამ ისტორიის მიზნებისთვის ჩვენ ამას უგულებელყოფთ.

სხვა ტიპის მატრიცები (როგორიცაა Foveon) რატომღაც ჯერ არ დაფიქსირებულა. მიუხედავად იმისა, რომ ზოგიერთი მწარმოებელი ცდილობს გამოიყენოს სენსორები Bayer ფილტრის გარეშე, რათა გააუმჯობესოს სიმკვეთრე და დინამიური დიაპაზონი.

როდესაც მცირე შუქია ან ობიექტის დეტალები ძალიან მცირეა, ჩვენ ვკარგავთ უამრავ ინფორმაციას, რადგან ბაიერის ფილტრი უხეშად წყვეტს არასასურველი ტალღის სიგრძის ფოტონებს. სწორედ ამიტომ მათ გამოიგონეს Pixel Shifting - გადაიტანეს მატრიცა 1 პიქსელით ზემოთ-ქვემოთ-მარჯვნივ-მარცხნივ, რათა დაიჭირონ ყველა. ამ შემთხვევაში, ფოტო არ აღმოჩნდება 4-ჯერ დიდი, როგორც შეიძლება ჩანდეს, პროცესორი უბრალოდ იყენებს ამ მონაცემებს თითოეული პიქსელის მნიშვნელობის უფრო ზუსტად ჩასაწერად. ის საშუალოდ აჭარბებს არა მეზობლებს, ასე ვთქვათ, არამედ თავის ოთხ ღირებულებას.

ტელეფონზე ფოტოების გადაღებისას ხელების კანკალი ამ პროცესს ბუნებრივ შედეგად აქცევს. Google Pixel-ის უახლეს ვერსიებში ეს ნივთი დანერგილია და ჩაირთვება ყოველთვის, როცა ტელეფონზე ზუმს იყენებთ - მას Super Res Zoom ჰქვია (დიახ, მეც მომწონს მათი უმოწყალო დასახელება). ჩინელებმაც დააკოპირეს ლაოფონებში, თუმცა ცოტა უარესი აღმოჩნდა.

ოდნავ გადაადგილებული ფოტოების ერთმანეთზე გადაფარვა საშუალებას გაძლევთ შეაგროვოთ მეტი ინფორმაცია თითოეული პიქსელის ფერის შესახებ, რაც ნიშნავს ხმაურის შემცირებას, სიმკვეთრის გაზრდას და გარჩევადობის გაზრდას მატრიცის მეგაპიქსელების ფიზიკური რაოდენობის გაზრდის გარეშე. თანამედროვე Android-ის ფლაგმანები ამას ავტომატურად აკეთებენ, მათი მომხმარებლები ამაზე არც კი ფიქრობენ.

⇡#ფოკუსის დაწყობა - ველის ნებისმიერი სიღრმე და ხელახლა ფოკუსირება პოსტწარმოებაში

მეთოდი მოდის მაკრო ფოტოგრაფიიდან, სადაც ველის არაღრმა სიღრმე ყოველთვის პრობლემა იყო. იმის უზრუნველსაყოფად, რომ მთელი ობიექტი იყო ფოკუსირებული, თქვენ უნდა გადაეღოთ რამდენიმე კადრი ფოკუსით წინ და უკან, და შემდეგ შეკეროთ ისინი ერთ მკვეთრად. იმავე მეთოდს ხშირად იყენებდნენ ლანდშაფტის ფოტოგრაფიის მოყვარულები, რომლებიც ფაღარათსავით მკვეთრს ხდიდნენ წინა პლანსა და ფონს.

ეს ყველაფერი სმარტფონებზეც გადავიდა, თუმცა დიდი აჟიოტაჟის გარეშე. 2013 წელს გამოვიდა Nokia Lumia 1020 „Refocus App“-ით, ხოლო 2014 წელს Samsung Galaxy S5 „Selective Focus“ რეჟიმით. ისინი მუშაობდნენ იმავე სქემით: ღილაკზე დაჭერით სწრაფად გადაიღეს 3 ფოტო - ერთი „ნორმალური“ ფოკუსით, მეორე ფოკუსით წინ გადატანილი და მესამე ფოკუსით უკან. პროგრამამ გაასწორა ფრეიმები და საშუალებას მოგცემთ აირჩიოთ ერთი მათგანი, რომელიც იყო რეკლამირებული, როგორც "რეალური" ფოკუსის კონტროლი პოსტწარმოებაში.

შემდგომი დამუშავება არ მომხდარა, რადგან ეს უბრალო გატეხვაც კი საკმარისი იყო იმისათვის, რომ კიდევ ერთი ლურსმანი ჩაეჭედოთ Lytro-ს და მის თანატოლებს მათი გულწრფელი რეფოკუსირებით. სხვათა შორის, მოდით ვისაუბროთ მათზე (transition master 80 lvl).

⇡#გამოთვლითი მატრიცები - სინათლის ველები და პლეოპტიკა

როგორც ზემოთ გავიგეთ, ჩვენი მატრიცები ყავარჯნების საშინელებაა. ჩვენ უბრალოდ შევეჩვიეთ და ვცდილობთ ვიცხოვროთ. მათი სტრუქტურა ოდითგანვე ცოტა შეიცვალა. ჩვენ მხოლოდ გავაუმჯობესეთ ტექნიკური პროცესი - შევამცირეთ მანძილი პიქსელებს შორის, ვებრძოლეთ ჩარევის ხმაურს და დავამატეთ სპეციალური პიქსელები ფაზის გამოვლენის ავტოფოკუსისთვის. მაგრამ თუ აიღებთ თუნდაც ყველაზე ძვირადღირებულ DSLR-ს და ცდილობთ მასთან ერთად გადაიღოთ გაშვებული კატა ოთახის განათებით - კატა, რბილად რომ ვთქვათ, გაიმარჯვებს.

კარგის გამოგონებას დიდი ხანია ვცდილობთ. ამ სფეროში მრავალი მცდელობა და კვლევა მოძიებულია გუგლში „გამოთვლითი სენსორისთვის“ ან „არა-ბაიერის სენსორისთვის“ და Pixel Shifting-ის ზემოთ მოყვანილი მაგალითიც კი შეიძლება მივაწეროთ გამოთვლების გამოყენებით მატრიცების გაუმჯობესების მცდელობებს. თუმცა, ბოლო ოცი წლის განმავლობაში ყველაზე პერსპექტიული ისტორიები ჩვენამდე მოვიდა ზუსტად ეგრეთ წოდებული პლენოპტიკური კამერების სამყაროდან.

იმისათვის, რომ არ დაიძინოთ მოსალოდნელი რთული სიტყვების მოლოდინში, მე გავარკვევ, რომ უახლესი Google Pixel-ის კამერა უბრალოდ „ოდნავ“ პლენოპტიულია. სულ რაღაც ორი პიქსელი, მაგრამ ესეც კი საშუალებას აძლევს მას გამოთვალოს ჩარჩოს სწორი ოპტიკური სიღრმე მეორე კამერის გარეშეც, როგორც ყველას.

Plenoptics არის ძლიერი იარაღი, რომელიც ჯერ არ არის გასროლილი. აქ არის ბმული ერთ-ერთი ჩემი საყვარელი ბოლოდან. სტატიები პლენოპტიკური კამერების შესაძლებლობებისა და მათთან ჩვენი მომავლის შესახებ, საიდანაც ავიღე მაგალითები.

⇡#

Plenoptic კამერა - მალე

გამოიგონეს 1994 წელს, შეგროვდა სტენფორდში 2004 წელს. პირველი სამომხმარებლო კამერა Lytro გამოვიდა 2012 წელს. VR ინდუსტრია ახლა აქტიურად ატარებს ექსპერიმენტებს მსგავს ტექნოლოგიებზე.

პლენოპტიკური კამერა განსხვავდება ჩვეულებრივი კამერისგან მხოლოდ ერთი მოდიფიკაციით - მისი მატრიცა დაფარულია ლინზების ბადით, რომელთაგან თითოეული მოიცავს რამდენიმე რეალურ პიქსელს. Რაღაც მსგავსი:

თუ სწორად გამოთვლით მანძილს ბადედან მატრიცამდე და დიაფრაგმის ზომას, საბოლოო სურათს ექნება პიქსელების მკაფიო კლასტერები - ორიგინალური სურათის ერთგვარი მინი ვერსიები.

გამოდის, რომ თუ აიღებთ, ვთქვათ, თითო კლასტერიდან ერთ ცენტრალურ პიქსელს და მხოლოდ მათი გამოყენებით დააწებებთ სურათს, ის არაფრით განსხვავდება ჩვეულებრივი კამერით გადაღებულისგან. დიახ, ჩვენ ცოტათი დავკარგეთ გარჩევადობა, მაგრამ ჩვენ უბრალოდ ვთხოვთ Sony-ს, დაამატოთ მეტი მეგაპიქსელი ახალ მატრიცებში.

გართობა მხოლოდ ახლა იწყება. თუ ყოველი კლასტერიდან აიღებთ კიდევ ერთ პიქსელს და სურათს ხელახლა შეკერავთ, ისევ მიიღებთ ნორმალურ ფოტოს, მხოლოდ ისე, თითქოს ის გადაღებულია ერთი პიქსელის ცვლაზე. ამრიგად, 10 × 10 პიქსელიანი კლასტერების არსებობით, ჩვენ მივიღებთ ობიექტის 100 სურათს "ოდნავ" განსხვავებული წერტილიდან.

კლასტერის უფრო დიდი ზომა ნიშნავს მეტ სურათს, მაგრამ დაბალ გარჩევადობას. 41 მეგაპიქსელიანი მატრიცის მქონე სმარტფონების სამყაროში, თუმცა რეზოლუციას ოდნავ უგულებელყოფთ, ყველაფერს საზღვარი აქვს. თქვენ უნდა შეინარჩუნოთ ბალანსი.

კარგი, ჩვენ შევკრიბეთ პლენოპტიკური კამერა, რას გვაძლევს ეს?

გულწრფელი გადახედვა

თვისება, რომლის შესახებაც ყველა ჟურნალისტი ლაპარაკობდა Lytro-ს შესახებ სტატიებში, იყო ფოკუსის პატიოსნად კორექტირების შესაძლებლობა პოსტ-პროდუქციაში. სამართლიანად ვგულისხმობთ, რომ ჩვენ არ ვიყენებთ გაბუნდოვნების ალგორითმებს, არამედ ვიყენებთ ექსკლუზიურად ხელთ არსებულ პიქსელებს, ვირჩევთ ან ვაზომავთ მათ კლასტერებიდან საჭირო თანმიმდევრობით.

RAW ფოტოგრაფია პლენოპტიკური კამერიდან უცნაურად გამოიყურება. მისგან ჩვეულებრივი ბასრი ჯიპის ამოსაღებად, ჯერ ის უნდა ააწყოთ. ამისათვის თქვენ უნდა აირჩიოთ ჯიპის თითოეული პიქსელი ერთ-ერთი RAW კლასტერიდან. იმის მიხედვით, თუ როგორ ავირჩევთ მათ, შედეგი შეიცვლება.

მაგალითად, რაც უფრო შორს არის კასეტური თავდაპირველი სხივის დაცემის წერტილიდან, მით უფრო შორს არის ეს სხივი. რადგან ოპტიკა. ფოკუსირებული გამოსახულების მისაღებად, უბრალოდ უნდა ავირჩიოთ პიქსელები ორიგინალისგან სასურველ მანძილზე - უფრო ახლოს ან უფრო შორს.

 

უფრო რთული იყო ყურადღების გადატანა საკუთარ თავზე - წმინდა ფიზიკურად, კლასტერებში ასეთი პიქსელები ნაკლები იყო. თავდაპირველად, დეველოპერებს არც კი სურდათ მომხმარებლისთვის ხელით ფოკუსირების შესაძლებლობა - ეს თავად კამერამ გადაწყვიტა პროგრამულ უზრუნველყოფაში. მომხმარებლებს არ მოეწონათ ეს მომავალი, ამიტომ მათ დაამატეს ფუნქცია მოგვიანებით firmware-ში, სახელწოდებით „კრეატიული რეჟიმი“, მაგრამ მასზე ფოკუსირება ძალიან შეზღუდულია სწორედ ამ მიზეზით.

სიღრმის რუკა და 3D ერთი კამერიდან   

პლენოპტიკაში ერთ-ერთი უმარტივესი ოპერაცია არის სიღრმისეული რუქის მოპოვება. ამისათვის თქვენ უბრალოდ უნდა შეაგროვოთ ორი განსხვავებული ჩარჩო და გამოთვალოთ რამდენად არის გადაადგილებული მათში არსებული ობიექტები. მეტი გადაადგილება ნიშნავს უფრო შორს კამერას.

Google-მა ცოტა ხნის წინ იყიდა და მოკლა Lytro, მაგრამ გამოიყენა მათი ტექნოლოგია მისი VR და... Pixel კამერისთვის. Pixel 2-ით დაწყებული, კამერა პირველად გახდა "ოდნავ" პლენოპტიკური, თუმცა მხოლოდ ორი პიქსელის კლასტერებით. ამან გუგლს საშუალება მისცა არა დაეყენებინა მეორე კამერა, როგორც ყველა სხვა ბიჭი, არამედ გამოეთვალა სიღრმის რუკა მხოლოდ ერთი ფოტოდან.

სიღრმის რუკა აგებულია ორი კადრის გამოყენებით, რომლებიც გადაადგილებულია ერთი ქვეპიქსელით. ეს სავსებით საკმარისია ორობითი სიღრმის რუქის გამოსათვლელად და წინა პლანზე ფონის განცალკევებისთვის და ამ უკანასკნელის დასაბინდებლად ახლა მოდურ ბოკეში. ასეთი შრეების შედეგი ასევე გამარტივებულია და „გაუმჯობესებულია“ ნერვული ქსელებით, რომლებიც გაწვრთნილი არიან სიღრმის რუქების გასაუმჯობესებლად (და არა ბუნდოვანი, როგორც ბევრი ფიქრობს).

ხრიკი ის არის, რომ ჩვენ მივიღეთ პლენოპტიკა სმარტფონებში თითქმის უფასოდ. ჩვენ უკვე დავაყენეთ ლინზები ამ პაწაწინა მატრიცებზე, რათა როგორმე გავზარდოთ მანათობელი ნაკადი. შემდეგ Pixel-ში Google გეგმავს უფრო შორს წასვლას და ოთხი ფოტოდიოდის დაფარვას ლინზებით.

წყარო: 3dnews.ru