Το αρχικό άρθρο είναι αναρτημένο στην ιστοσελίδα και δημοσιεύτηκε στο 3DNews με την άδεια του συγγραφέα. Παρέχουμε το πλήρες κείμενο του άρθρου, με εξαίρεση έναν τεράστιο αριθμό συνδέσμων - θα είναι χρήσιμοι σε όσους ενδιαφέρονται σοβαρά για το θέμα και θα ήθελαν να μελετήσουν σε βάθος τις θεωρητικές πτυχές της υπολογιστικής φωτογραφίας, αλλά για γενικό κοινό θεωρήσαμε αυτό το υλικό περιττό.
Σήμερα, ούτε μια παρουσίαση smartphone δεν είναι ολοκληρωμένη χωρίς να γλείφουμε την κάμερά του. Κάθε μήνα ακούμε για την επόμενη επιτυχία των κινητών καμερών: η Google διδάσκει το Pixel να φωτογραφίζει στο σκοτάδι, η Huawei να κάνει ζουμ σαν κιάλια, η Samsung εισάγει το lidar και η Apple κάνει τις πιο στρογγυλές γωνίες του κόσμου. Υπάρχουν λίγα μέρη όπου η καινοτομία ρέει τόσο γρήγορα αυτές τις μέρες.
Ταυτόχρονα, οι καθρέφτες δείχνουν να σημαδεύουν τον χρόνο. Η Sony δίνει σε όλους κάθε χρόνο νέες μήτρες και οι κατασκευαστές ενημερώνουν νωχελικά το ψηφίο της τελευταίας έκδοσης και συνεχίζουν να χαλαρώνουν και να καπνίζουν στο περιθώριο. Έχω μια DSLR $3000 στο γραφείο μου, αλλά όταν ταξιδεύω, παίρνω το iPhone μου. Γιατί;
Όπως είπε ο κλασικός, μπήκα στο διαδίκτυο με αυτήν την ερώτηση. Εκεί συζητούν κάποιους «αλγόριθμους» και «νευρωνικά δίκτυα», χωρίς να έχουν ιδέα πώς ακριβώς επηρεάζουν τη φωτογραφία. Οι δημοσιογράφοι διαβάζουν δυνατά τον αριθμό των megapixel, οι bloggers βλέπουν ταυτόχρονα πληρωμένα unboxing, και οι αισθητικοί κηλιδώνονται με «αισθησιακή αντίληψη της χρωματικής παλέτας της μήτρας». Όλα είναι όπως συνήθως.
Έπρεπε να καθίσω, να περάσω τη μισή μου ζωή και να τα καταλάβω όλα μόνος μου. Σε αυτό το άρθρο θα σας πω τι έμαθα.
Τι είναι η υπολογιστική φωτογραφία;
Παντού, συμπεριλαμβανομένης της Wikipedia, δίνουν κάτι σαν αυτόν τον ορισμό: η υπολογιστική φωτογραφία είναι κάθε τεχνική λήψης και επεξεργασίας εικόνας που χρησιμοποιεί ψηφιακό υπολογισμό αντί για οπτικούς μετασχηματισμούς. Όλα σχετικά είναι καλά, εκτός από το ότι δεν εξηγεί τίποτα. Ακόμη και η αυτόματη εστίαση είναι κατάλληλη για αυτό, αλλά η πλενοπτική, που μας έχει ήδη φέρει πολλά χρήσιμα πράγματα, δεν ταιριάζει. Η ασάφεια των επίσημων ορισμών φαίνεται να υπονοεί ότι δεν έχουμε ιδέα για τι πράγμα μιλάμε.
Ο πρωτοπόρος της υπολογιστικής φωτογραφίας, ο καθηγητής του Stanford Marc Levoy (που είναι τώρα υπεύθυνος για την κάμερα στο Google Pixel) δίνει έναν άλλο ορισμό - ένα σύνολο μεθόδων οπτικοποίησης υπολογιστή που βελτιώνουν ή επεκτείνουν τις δυνατότητες της ψηφιακής φωτογραφίας, χρησιμοποιώντας τις οποίες λαμβάνεται μια κανονική φωτογραφία που δεν μπορούσε τεχνικά να ληφθεί με αυτήν την κάμερα.κάμερα με τον παραδοσιακό τρόπο. Στο άρθρο εμμένω σε αυτό.
Άρα, για όλα έφταιγαν τα smartphone.
Τα smartphone δεν είχαν άλλη επιλογή από το να γεννήσουν ένα νέο είδος φωτογραφίας: την υπολογιστική φωτογραφία.
Οι μικρές θορυβώδεις μήτρες τους και οι μικροσκοπικοί φακοί αργού διαφράγματος, σύμφωνα με όλους τους νόμους της φυσικής, θα έπρεπε να έχουν φέρει μόνο πόνο και ταλαιπωρία. Το έκαναν μέχρι οι προγραμματιστές τους να καταλάβουν πώς να χρησιμοποιήσουν έξυπνα τα δυνατά τους σημεία για να ξεπεράσουν τις αδυναμίες τους - γρήγορα ηλεκτρονικά κλείστρα, ισχυρούς επεξεργαστές και λογισμικό.
Το μεγαλύτερο μέρος της έρευνας υψηλού προφίλ στον τομέα της υπολογιστικής φωτογραφίας έγινε μεταξύ 2005 και 2015, κάτι που στην επιστήμη θεωρείται κυριολεκτικά χθες. Αυτή τη στιγμή, μπροστά στα μάτια μας και στις τσέπες μας, αναπτύσσεται ένα νέο πεδίο γνώσης και τεχνολογίας που δεν υπήρξε ποτέ πριν.
Η υπολογιστική φωτογραφία δεν είναι μόνο για selfies με νευρο-μπόκε. Η πρόσφατη φωτογραφία μιας μαύρης τρύπας δεν θα ήταν δυνατή χωρίς τεχνικές υπολογιστικής φωτογραφίας. Για να τραβήξουμε μια τέτοια φωτογραφία με ένα κανονικό τηλεσκόπιο, θα έπρεπε να την κάνουμε στο μέγεθος της Γης. Ωστόσο, συνδυάζοντας δεδομένα από οκτώ ραδιοτηλεσκόπια σε διαφορετικά σημεία της μπάλας μας και γράφοντας μερικά σενάρια σε Python, αποκτήσαμε την πρώτη φωτογραφία στον κόσμο του ορίζοντα γεγονότων. Καλό και για selfies.
Έναρξη: ψηφιακή επεξεργασία
Ας φανταστούμε ότι επιστρέψαμε το 2007. Η μητέρα μας είναι αναρχία και οι φωτογραφίες μας είναι θορυβώδη τζιπ 0,6 megapixel που τραβήχτηκαν σε skateboard. Γύρω από τότε έχουμε την πρώτη ακαταμάχητη επιθυμία να πασπαλίσουμε προεπιλογές πάνω τους για να κρύψουμε την αθλιότητα των κινητών μητρών. Ας μην αρνηθούμε τον εαυτό μας.
Matan και Instagram
Με την κυκλοφορία του Instagram, όλοι έγιναν εμμονή με τα φίλτρα. Ως κάποιος που ανέπτυξε τα X-Pro II, Lo-Fi και Valencia για, φυσικά, ερευνητικούς σκοπούς, θυμάμαι ακόμα ότι αποτελούνταν από τρία στοιχεία:
- Ρυθμίσεις χρώματος (απόχρωση, κορεσμός, ελαφρότητα, αντίθεση, επίπεδα κ.λπ.) - απλοί ψηφιακοί συντελεστές, ακριβώς όπως όλες οι προεπιλογές που χρησιμοποιούσαν οι φωτογράφοι από την αρχαιότητα.
- Οι αντιστοιχίσεις τόνου είναι διανύσματα τιμών, καθένα από τα οποία μας είπε: «Το κόκκινο χρώμα με απόχρωση 128 πρέπει να μετατραπεί σε απόχρωση 240».
- Η επικάλυψη είναι μια ημιδιαφανής εικόνα με σκόνη, κόκκους, βινιέτα και οτιδήποτε άλλο μπορεί να τοποθετηθεί από πάνω για να αποκτήσει το καθόλου κοινόχρηστο αποτέλεσμα μιας παλιάς ταινίας. Δεν ήταν πάντα παρών.
Τα σύγχρονα φίλτρα δεν απέχουν πολύ από αυτό το τρίο, έχουν γίνει λίγο πιο πολύπλοκα στα μαθηματικά. Με την εμφάνιση των shaders υλικού και του OpenCL στα smartphone, ξαναγράφτηκαν γρήγορα για την GPU, και αυτό θεωρήθηκε εξαιρετικά ωραίο. Για το 2012 φυσικά. Σήμερα, οποιοσδήποτε φοιτητής μπορεί να κάνει το ίδιο στο CSS και δεν θα έχει ακόμα την ευκαιρία να αποφοιτήσει.
Ωστόσο, η πρόοδος των φίλτρων δεν έχει σταματήσει σήμερα. Τα παιδιά από το Dehanser, για παράδειγμα, είναι εξαιρετικά στη χρήση μη γραμμικών φίλτρων - αντί για χαρτογράφηση προλεταριακού τόνου, χρησιμοποιούν πιο σύνθετους μη γραμμικούς μετασχηματισμούς, οι οποίοι, σύμφωνα με αυτούς, ανοίγουν πολύ περισσότερες δυνατότητες.
Μπορείτε να κάνετε πολλά πράγματα με μη γραμμικούς μετασχηματισμούς, αλλά είναι απίστευτα πολύπλοκοι και εμείς οι άνθρωποι είμαστε απίστευτα ανόητοι. Μόλις πρόκειται για μη γραμμικούς μετασχηματισμούς στην επιστήμη, προτιμάμε να πάμε σε αριθμητικές μεθόδους και να στριμώχνουμε νευρωνικά δίκτυα παντού, ώστε να γράφουν αριστουργήματα για εμάς. Το ίδιο ήταν και εδώ.
Αυτοματισμός και όνειρα για ένα κουμπί «αριστούργημα».
Όταν όλοι συνήθισαν τα φίλτρα, αρχίσαμε να τα κατασκευάζουμε απευθείας σε κάμερες. Η ιστορία κρύβει ποιος κατασκευαστής ήταν ο πρώτος, αλλά μόνο για να καταλάβουμε πόσο καιρό ήταν - στο iOS 5.0, το οποίο κυκλοφόρησε το 2011, υπήρχε ήδη ένα δημόσιο API για τις εικόνες αυτόματης βελτίωσης. Μόνο ο Jobs ξέρει πόσο καιρό ήταν σε χρήση πριν ανοίξει στο κοινό.
Ο αυτοματισμός έκανε το ίδιο πράγμα που κάνει ο καθένας από εμάς όταν ανοίγει μια φωτογραφία στο πρόγραμμα επεξεργασίας - έβγαλε κενά στο φως και τις σκιές, πρόσθεσε κορεσμό, αφαίρεσε τα κόκκινα μάτια και σταθεροποίησε την επιδερμίδα. Οι χρήστες δεν είχαν καν συνειδητοποιήσει ότι η «δραματικά βελτιωμένη κάμερα» στο νέο smartphone ήταν απλώς η αξία μερικών νέων shader. Έμειναν ακόμη πέντε χρόνια πριν από την κυκλοφορία του Google Pixel και την έναρξη της δημοσιότητας για την υπολογιστική φωτογραφία.
Σήμερα, η μάχη για το κουμπί «αριστούργημα» έχει μεταφερθεί στον τομέα της μηχανικής μάθησης. Έχοντας παίξει αρκετά με τη χαρτογράφηση τόνου, όλοι έσπευσαν να εκπαιδεύσουν τα CNN και τα GAN να μετακινούν ρυθμιστικά αντί του χρήστη. Με άλλα λόγια, από την εικόνα εισόδου, καθορίστε ένα σύνολο βέλτιστων παραμέτρων που θα έφερναν αυτήν την εικόνα πιο κοντά σε μια συγκεκριμένη υποκειμενική κατανόηση της «καλής φωτογραφίας». Υλοποιήθηκε στο ίδιο Pixelmator Pro και σε άλλους επεξεργαστές. Λειτουργεί, όπως μπορείτε να μαντέψετε, όχι πολύ καλά και όχι πάντα.
Η στοίβαξη είναι το 90% της επιτυχίας των κινητών καμερών
Η αληθινή υπολογιστική φωτογραφία ξεκίνησε με τη στοίβαξη—στρώνοντας πολλαπλές φωτογραφίες η μία πάνω στην άλλη. Δεν είναι πρόβλημα για ένα smartphone να κάνει κλικ σε δώδεκα καρέ σε μισό δευτερόλεπτο. Οι κάμερές τους δεν έχουν αργά μηχανικά μέρη: το διάφραγμα είναι σταθερό και αντί για κινούμενη κουρτίνα υπάρχει ένα ηλεκτρονικό κλείστρο. Ο επεξεργαστής απλώς δίνει εντολή στον πίνακα πόσα μικροδευτερόλεπτα πρέπει να πιάσει άγρια φωτόνια και διαβάζει το αποτέλεσμα.
Τεχνικά, το τηλέφωνο μπορεί να τραβήξει φωτογραφίες με ταχύτητα βίντεο και βίντεο σε ανάλυση φωτογραφίας, αλλά όλα εξαρτώνται από την ταχύτητα του διαύλου και του επεξεργαστή. Γι' αυτό βάζουν πάντα όρια προγράμματος.
Το ίδιο το ποντάρισμα είναι μαζί μας εδώ και πολύ καιρό. Ακόμη και οι παππούδες εγκατέστησαν πρόσθετα στο Photoshop 7.0 για να συναρμολογήσουν πολλές φωτογραφίες σε εντυπωσιακό HDR ή να συνδυάσουν ένα πανόραμα 18000 × 600 pixel και... στην πραγματικότητα, κανείς δεν κατάλαβε ποτέ τι να τις κάνει μετά. Ήταν κρίμα που οι καιροί ήταν πλούσιοι και άγριοι.
Τώρα έχουμε γίνει ενήλικες και το ονομάζουμε «φωτογραφία έψιλον» - όταν, αλλάζοντας μία από τις παραμέτρους της κάμερας (έκθεση, εστίαση, θέση) και συρράπτοντας τα καρέ που προκύπτουν, παίρνουμε κάτι που δεν μπορούσε να αποτυπωθεί σε ένα καρέ. Αλλά αυτός είναι ένας όρος για τους θεωρητικούς· στην πράξη, ένα άλλο όνομα έχει ριζώσει - το στοίχημα. Σήμερα, στην πραγματικότητα, το 90% όλων των καινοτομιών στις κάμερες κινητής τηλεφωνίας βασίζεται σε αυτό.
Κάτι που πολλοί άνθρωποι δεν σκέφτονται, αλλά είναι σημαντικό να κατανοήσετε όλη τη φωτογραφία από φορητές συσκευές και υπολογιστές: η κάμερα σε ένα σύγχρονο smartphone αρχίζει να τραβάει φωτογραφίες μόλις ανοίξετε την εφαρμογή της. Το οποίο είναι λογικό, γιατί πρέπει να μεταφέρει με κάποιο τρόπο την εικόνα στην οθόνη. Ωστόσο, εκτός από την οθόνη, αποθηκεύει καρέ υψηλής ανάλυσης στο δικό του buffer βρόχου, όπου τα αποθηκεύει για μερικά δευτερόλεπτα ακόμη.
Όταν πατάτε το κουμπί "λήψη φωτογραφίας", έχει ήδη τραβήξει, η κάμερα τραβάει απλώς την τελευταία φωτογραφία από το buffer.
Έτσι λειτουργεί κάθε κάμερα κινητής τηλεφωνίας σήμερα. Τουλάχιστον σε όλα τα flagships όχι από τους σωρούς των σκουπιδιών. Η προσωρινή μνήμη σάς επιτρέπει να συνειδητοποιήσετε όχι μόνο τη μηδενική καθυστέρηση κλείστρου, την οποία οι φωτογράφοι ονειρευόντουσαν από καιρό, αλλά ακόμη και αρνητική - όταν πατάτε ένα κουμπί, το smartphone κοιτάζει στο παρελθόν, ξεφορτώνει τις τελευταίες 5-10 φωτογραφίες από το buffer και αρχίζει να αναλύει μανιωδώς και επικολλήστε τα. Δεν χρειάζεται πλέον να περιμένετε να κάνει κλικ το τηλέφωνο σε καρέ για HDR ή νυχτερινή λειτουργία - απλώς πάρτε τα από το buffer, ο χρήστης δεν θα το μάθει καν.
Παρεμπιπτόντως, με τη βοήθεια της αρνητικής καθυστέρησης κλείστρου εφαρμόζεται το Live Photo στα iPhone και η HTC είχε κάτι παρόμοιο το 2013 με το περίεργο όνομα Zoe.
Στοίβαξη έκθεσης - HDR και καταπολέμηση των αλλαγών φωτεινότητας
Το αν οι αισθητήρες της κάμερας είναι ικανοί να καταγράφουν όλο το εύρος φωτεινότητας που είναι προσβάσιμο στα μάτια μας είναι ένα παλιό καυτό θέμα συζήτησης. Μερικοί λένε όχι, επειδή το μάτι μπορεί να δει έως και 25 f-stop, ενώ ακόμη και από μια κορυφαία μήτρα πλήρους κάδρου μπορείτε να πάρετε το πολύ 14. Άλλοι λένε τη σύγκριση λανθασμένη, επειδή ο εγκέφαλος βοηθά το μάτι προσαρμόζοντας αυτόματα η κόρη και η συμπλήρωση της εικόνας με τα νευρωνικά της δίκτυα και η στιγμή Το δυναμικό εύρος του ματιού δεν είναι στην πραγματικότητα περισσότερο από 10-14 f-stop. Ας αφήσουμε αυτή τη συζήτηση στους καλύτερους στοχαστές πολυθρόνας στο Διαδίκτυο.
Το γεγονός παραμένει: όταν πυροβολείτε φίλους σε έναν φωτεινό ουρανό χωρίς HDR σε οποιαδήποτε κάμερα κινητής τηλεφωνίας, έχετε είτε έναν κανονικό ουρανό και τα μαύρα πρόσωπα φίλων ή καλοσχεδιασμένους φίλους, αλλά έναν ουρανό καμένο μέχρι θανάτου.
Η λύση έχει εφευρεθεί από καιρό - για να επεκτείνετε το εύρος φωτεινότητας χρησιμοποιώντας HDR (Υψηλό δυναμικό εύρος). Πρέπει να πάρετε πολλά καρέ σε διαφορετικές ταχύτητες κλείστρου και να τα συρράψετε μεταξύ τους. Έτσι, το ένα είναι "κανονικό", το δεύτερο είναι πιο ανοιχτό, το τρίτο είναι πιο σκούρο. Παίρνουμε σκοτεινά μέρη από ένα ανοιχτόχρωμο πλαίσιο, συμπληρώνουμε υπερεκθέσεις από ένα σκοτεινό - κέρδος. Το μόνο που μένει είναι να λυθεί το πρόβλημα του αυτόματου bracketing - πόσο να μετατοπιστεί η έκθεση κάθε καρέ για να μην το παρακάνετε, αλλά ένας δευτεροετής φοιτητής σε ένα τεχνικό πανεπιστήμιο μπορεί τώρα να χειριστεί τον προσδιορισμό της μέσης φωτεινότητας μιας εικόνας.
Στα πιο πρόσφατα iPhone, Pixel και Galaxy, η λειτουργία HDR ενεργοποιείται γενικά αυτόματα όταν ένας απλός αλγόριθμος μέσα στην κάμερα καθορίζει ότι τραβάτε κάτι με αντίθεση σε μια ηλιόλουστη μέρα. Μπορείτε ακόμη να παρατηρήσετε πώς το τηλέφωνο αλλάζει τη λειτουργία εγγραφής στην προσωρινή μνήμη για να αποθηκεύει καρέ που μετατοπίζονται σε έκθεση - τα fps στην κάμερα πέφτουν και η ίδια η εικόνα γίνεται πιο ζουμερή. Η στιγμή εναλλαγής είναι ξεκάθαρα ορατή στο iPhone X μου όταν κινηματογραφώ σε εξωτερικούς χώρους. Ρίξτε μια πιο προσεκτική ματιά στο smartphone σας και την επόμενη φορά.
Το μειονέκτημα του HDR με το bracketing έκθεσης είναι η αδιαπέραστη αδυναμία του σε κακό φωτισμό. Ακόμη και με το φως μιας λάμπας δωματίου, τα πλαίσια γίνονται τόσο σκούρα που ο υπολογιστής δεν μπορεί να τα ευθυγραμμίσει και να τα ράψει μεταξύ τους. Για να λύσει το πρόβλημα με το φως, το 2013 η Google έδειξε μια διαφορετική προσέγγιση στο HDR στο smartphone Nexus που κυκλοφόρησε τότε. Χρησιμοποίησε στοίβαγμα χρόνου.
Time stacking - προσομοίωση μακράς έκθεσης και time lapse
Η στοίβαξη χρόνου σάς επιτρέπει να δημιουργήσετε μια μεγάλη έκθεση χρησιμοποιώντας μια σειρά από σύντομες. Οι πρωτοπόροι ήταν λάτρεις της φωτογράφισης μονοπατιών αστεριών στον νυχτερινό ουρανό, οι οποίοι βρήκαν άβολο να ανοίξουν το κλείστρο για δύο ώρες ταυτόχρονα. Ήταν τόσο δύσκολο να υπολογίσεις όλες τις ρυθμίσεις εκ των προτέρων και το παραμικρό τίναγμα θα κατέστρεφε ολόκληρο το πλαίσιο. Αποφάσισαν να ανοίξουν το κλείστρο μόνο για μερικά λεπτά, αλλά πολλές φορές, και μετά πήγαν σπίτι και επικόλλησαν τα καρέ που προέκυψαν στο Photoshop.
Αποδεικνύεται ότι η κάμερα στην πραγματικότητα δεν τράβηξε ποτέ με μεγάλη ταχύτητα κλείστρου, αλλά είχαμε το αποτέλεσμα της προσομοίωσης προσθέτοντας πολλά καρέ που τραβήχτηκαν στη σειρά. Έχουν γραφτεί ένα σωρό εφαρμογές για smartphone που χρησιμοποιούν αυτό το κόλπο για μεγάλο χρονικό διάστημα, αλλά δεν χρειάζονται όλες αφού η δυνατότητα προστέθηκε σχεδόν σε όλες τις τυπικές κάμερες. Σήμερα, ακόμη και ένα iPhone μπορεί εύκολα να συνδυάσει μια μακρά έκθεση από μια ζωντανή φωτογραφία.
Ας επιστρέψουμε στην Google με το νυχτερινό της HDR. Αποδείχθηκε ότι χρησιμοποιώντας το time bracketing μπορείτε να εφαρμόσετε καλό HDR στο σκοτάδι. Η τεχνολογία πρωτοεμφανίστηκε στο Nexus 5 και ονομάστηκε HDR+. Τα υπόλοιπα τηλέφωνα Android το έλαβαν σαν δώρο. Η τεχνολογία εξακολουθεί να είναι τόσο δημοφιλής που επαινείται ακόμη και στην παρουσίαση των πιο πρόσφατων Pixels.
Το HDR+ λειτουργεί πολύ απλά: έχοντας διαπιστώσει ότι φωτογραφίζετε στο σκοτάδι, η κάμερα ξεφορτώνει τις τελευταίες 8-15 φωτογραφίες RAW από το buffer για να τις επικαλύψει η μία πάνω στην άλλη. Έτσι, ο αλγόριθμος συλλέγει περισσότερες πληροφορίες σχετικά με τις σκοτεινές περιοχές του πλαισίου για να ελαχιστοποιήσει τον θόρυβο - pixel όπου, για κάποιο λόγο, η κάμερα δεν μπόρεσε να συγκεντρώσει όλες τις πληροφορίες και πήγε στραβά.
Είναι σαν να μην ξέρατε πώς μοιάζει ένα capybara και ζητούσατε από πέντε άτομα να το περιγράψουν, οι ιστορίες τους θα ήταν περίπου οι ίδιες, αλλά το καθένα θα ανέφερε κάποια μοναδική λεπτομέρεια. Με αυτόν τον τρόπο θα συλλέγατε περισσότερες πληροφορίες από το να ζητάτε απλώς μία. Το ίδιο συμβαίνει και με τα pixel.
Η προσθήκη πλαισίων που λαμβάνονται από ένα σημείο δίνει το ίδιο ψεύτικο αποτέλεσμα μακράς έκθεσης όπως με τα αστέρια παραπάνω. Η έκθεση δεκάδων καρέ συνοψίζεται, τα σφάλματα σε ένα ελαχιστοποιούνται σε άλλα. Φανταστείτε πόσες φορές θα έπρεπε να κάνετε κλικ στο κλείστρο DSLR κάθε φορά για να το πετύχετε.
Το μόνο που έμενε ήταν να λυθεί το πρόβλημα της αυτόματης διόρθωσης χρώματος - τα καρέ που λαμβάνονται στο σκοτάδι συνήθως γίνονται εντελώς κίτρινα ή πράσινα και θέλουμε κάπως τον πλούτο του φωτός της ημέρας. Στις πρώτες εκδόσεις του HDR+, αυτό λύθηκε με απλή τροποποίηση των ρυθμίσεων, όπως στα φίλτρα a la Instagram. Στη συνέχεια κάλεσαν τα νευρωνικά δίκτυα να βοηθήσουν.
Έτσι εμφανίστηκε το Night Sight - η τεχνολογία της «νυχτερινής φωτογραφίας» στα Pixel 2 και 3. Στην περιγραφή αναφέρουν: «Τεχνικές μηχανικής εκμάθησης βασισμένες στο HDR+, που κάνουν το Night Sight να λειτουργεί». Στην ουσία πρόκειται για την αυτοματοποίηση του σταδίου διόρθωσης χρώματος. Το μηχάνημα εκπαιδεύτηκε σε ένα σύνολο δεδομένων από φωτογραφίες «πριν» και «μετά» προκειμένου να φτιάξει μία όμορφη από οποιοδήποτε σύνολο σκοτεινών στραβά φωτογραφιών.
Παρεμπιπτόντως, το σύνολο δεδομένων έγινε δημόσια διαθέσιμο. Ίσως το πάρουν τα παιδιά από την Apple και τελικά μάθουν τα γυάλινα φτυάρια τους να βγάζουν φωτογραφίες σωστά στο σκοτάδι.
Επιπλέον, το Night Sight χρησιμοποιεί τον υπολογισμό του διανύσματος κίνησης των αντικειμένων στο κάδρο για να ομαλοποιήσει το θάμπωμα που είναι βέβαιο ότι θα συμβεί με μεγάλη ταχύτητα κλείστρου. Έτσι, το smartphone μπορεί να πάρει καθαρά μέρη από άλλα πλαίσια και να τα κολλήσει.
Στοίβαξη κίνησης - πανόραμα, superzoom και μείωση θορύβου
Το Panorama είναι μια δημοφιλής διασκέδαση για τους κατοίκους των αγροτικών περιοχών. Η ιστορία δεν γνωρίζει ακόμη περιπτώσεις στις οποίες μια φωτογραφία λουκάνικου θα ενδιέφερε οποιονδήποτε άλλο εκτός από τον συγγραφέα της, αλλά δεν μπορεί να αγνοηθεί - για πολλούς, εδώ ξεκίνησε η στοίβαξη.
Ο πρώτος χρήσιμος τρόπος για να χρησιμοποιήσετε ένα πανόραμα είναι να αποκτήσετε μια φωτογραφία υψηλότερης ανάλυσης από αυτή που επιτρέπει η μήτρα της κάμερας, συρράπτοντας μεταξύ τους πολλά καρέ. Οι φωτογράφοι χρησιμοποιούν εδώ και πολύ καιρό διαφορετικό λογισμικό για τις λεγόμενες φωτογραφίες υπερ-ανάλυσης - όταν οι ελαφρώς μετατοπισμένες φωτογραφίες φαίνεται να αλληλοσυμπληρώνονται μεταξύ των pixel. Με αυτόν τον τρόπο μπορείτε να λάβετε μια εικόνα τουλάχιστον εκατοντάδων gigapixel, η οποία είναι πολύ χρήσιμη εάν χρειαστεί να την εκτυπώσετε σε μια διαφημιστική αφίσα στο μέγεθος ενός σπιτιού.
Μια άλλη, πιο ενδιαφέρουσα προσέγγιση είναι το Pixel Shifting. Κάποιες κάμερες χωρίς καθρέφτη, όπως η Sony και η Olympus, άρχισαν να το υποστηρίζουν το 2014, αλλά έπρεπε να κολλήσουν το αποτέλεσμα με το χέρι. Τυπικές καινοτομίες μεγάλης κάμερας.
Τα smartphone πέτυχαν εδώ για έναν αστείο λόγο - όταν τραβάτε μια φωτογραφία, τα χέρια σας τρέμουν. Αυτό το φαινομενικά πρόβλημα αποτέλεσε τη βάση για την εφαρμογή της εγγενούς σούπερ ανάλυσης σε smartphone.
Για να κατανοήσετε πώς λειτουργεί αυτό, πρέπει να θυμάστε πώς είναι δομημένη η μήτρα οποιασδήποτε κάμερας. Κάθε pixel του (φωτοδίοδος) είναι ικανό να καταγράφει μόνο την ένταση του φωτός - δηλαδή τον αριθμό των εισερχόμενων φωτονίων. Ωστόσο, ένα pixel δεν μπορεί να μετρήσει το χρώμα του (μήκος κύματος). Για να έχουμε μια εικόνα RGB, έπρεπε να προσθέσουμε πατερίτσες και εδώ - καλύψτε ολόκληρη τη μήτρα με ένα πλέγμα από πολύχρωμα κομμάτια γυαλιού. Η πιο δημοφιλής εφαρμογή του ονομάζεται φίλτρο Bayer και χρησιμοποιείται στους περισσότερους πίνακες σήμερα. Μοιάζει με την παρακάτω εικόνα.
Αποδεικνύεται ότι κάθε εικονοστοιχείο της μήτρας πιάνει μόνο το συστατικό R-, G- ή B, επειδή τα εναπομείναντα φωτόνια αντανακλώνται ανελέητα από το φίλτρο Bayer. Αναγνωρίζει τα στοιχεία που λείπουν υπολογίζοντας ωμά τον μέσο όρο των τιμών των γειτονικών pixel.
Υπάρχουν περισσότερα πράσινα κύτταρα στο φίλτρο Bayer - αυτό έγινε κατ' αναλογία με το ανθρώπινο μάτι. Αποδεικνύεται ότι από τα 50 εκατομμύρια εικονοστοιχεία στη μήτρα, το πράσινο θα καταγράψει 25 εκατομμύρια, το κόκκινο και το μπλε - 12,5 εκατομμύρια το καθένα. Τα υπόλοιπα θα υπολογιστούν κατά μέσο όρο - αυτή η διαδικασία ονομάζεται debayerization ή demosaicing, και αυτό είναι ένα τόσο χοντρό αστείο δεκανίκι στο που όλα ξεκουράζονται.
Στην πραγματικότητα, κάθε μήτρα έχει τον δικό του πονηρό, πατενταρισμένο αλγόριθμο demosaicing, αλλά για τους σκοπούς αυτής της ιστορίας θα το παραμελήσουμε.
Άλλοι τύποι πινάκων (όπως το Foveon) με κάποιο τρόπο δεν έχουν πιάσει ακόμα. Αν και ορισμένοι κατασκευαστές προσπαθούν να χρησιμοποιήσουν αισθητήρες χωρίς φίλτρο Bayer για να βελτιώσουν την ευκρίνεια και το δυναμικό εύρος.
Όταν υπάρχει λίγο φως ή οι λεπτομέρειες ενός αντικειμένου είναι πολύ μικροσκοπικές, χάνουμε πολλές πληροφορίες επειδή το φίλτρο Bayer αποκόπτει κατάφωρα τα φωτόνια με ένα ανεπιθύμητο μήκος κύματος. Αυτός είναι ο λόγος για τον οποίο κατέληξαν στο Pixel Shifting - μετατοπίζοντας τη μήτρα κατά 1 pixel πάνω-κάτω-δεξιά-αριστερά για να τα πιάσουν όλα. Σε αυτήν την περίπτωση, η φωτογραφία δεν αποδεικνύεται 4 φορές μεγαλύτερη, όπως φαίνεται, ο επεξεργαστής χρησιμοποιεί απλώς αυτά τα δεδομένα για να καταγράψει με μεγαλύτερη ακρίβεια την τιμή κάθε pixel. Δεν έχει μέσο όρο για τους γείτονές του, ας πούμε, αλλά πάνω από τέσσερις αξίες του εαυτού του.
Το τρέμουλο των χεριών μας κατά τη λήψη φωτογραφιών στο τηλέφωνο καθιστά αυτή τη διαδικασία φυσικό επακόλουθο. Στις πιο πρόσφατες εκδόσεις του Google Pixel, αυτό το πράγμα εφαρμόζεται και ενεργοποιείται κάθε φορά που χρησιμοποιείτε το ζουμ στο τηλέφωνο - ονομάζεται Super Res Zoom (ναι, μου αρέσει επίσης η ανελέητη ονομασία τους). Οι Κινέζοι το αντέγραψαν και στα λαόφωνα τους, αν και βγήκε λίγο χειρότερο.
Η επικάλυψη ελαφρώς μετατοπισμένων φωτογραφιών η μία πάνω στην άλλη σάς επιτρέπει να συλλέγετε περισσότερες πληροφορίες σχετικά με το χρώμα κάθε pixel, πράγμα που σημαίνει μείωση του θορύβου, αύξηση ευκρίνειας και αύξηση της ανάλυσης χωρίς αύξηση του φυσικού αριθμού megapixel της μήτρας. Οι σύγχρονες ναυαρχίδες Android το κάνουν αυτόματα, χωρίς καν να το σκέφτονται οι χρήστες τους.
Focus stacking - οποιοδήποτε βάθος πεδίου και επανεστίαση στο post-production
Η μέθοδος προέρχεται από τη μακρο φωτογραφία, όπου το μικρό βάθος πεδίου ήταν πάντα πρόβλημα. Για να εστιαστεί ολόκληρο το αντικείμενο, έπρεπε να τραβήξετε πολλά καρέ με την εστίαση να μετατοπίζεται εμπρός και πίσω και στη συνέχεια να τα συρράψετε σε ένα ευκρινές. Η ίδια μέθοδος χρησιμοποιήθηκε συχνά από φωτογράφους τοπίων, κάνοντας το προσκήνιο και το φόντο τόσο ευκρινές όσο η διάρροια.
Όλα αυτά έχουν περάσει και στα smartphones, αν και χωρίς ιδιαίτερη δημοσιότητα. Το 2013 κυκλοφόρησε το Nokia Lumia 1020 με “Refocus App” και το 2014 το Samsung Galaxy S5 με λειτουργία “Selective Focus”. Εργάστηκαν σύμφωνα με το ίδιο σχέδιο: πατώντας ένα κουμπί, τράβηξαν γρήγορα 3 φωτογραφίες - μια με «κανονική» εστίαση, τη δεύτερη με μετατόπιση της εστίασης προς τα εμπρός και την τρίτη με μετατοπισμένη εστίαση προς τα πίσω. Το πρόγραμμα ευθυγράμμισε τα καρέ και σας επέτρεψε να επιλέξετε ένα από αυτά, το οποίο διαφημιζόταν ως «πραγματικός» έλεγχος εστίασης στο post-production.
Δεν υπήρξε περαιτέρω επεξεργασία, γιατί ακόμη και αυτό το απλό hack ήταν αρκετό για να καρφώσει άλλο ένα καρφί στο καπάκι του Lytro και των ομοίων του με την ειλικρινή επαναεστίασή τους. Παρεμπιπτόντως, ας μιλήσουμε για αυτούς (transition master 80 lvl).
Υπολογιστικοί πίνακες - φωτεινά πεδία και πλενοπτικές
Όπως καταλάβαμε παραπάνω, οι μήτρες μας είναι τρόμος στα δεκανίκια. Μόλις το συνηθίσαμε και προσπαθούμε να ζήσουμε με αυτό. Η δομή τους έχει αλλάξει ελάχιστα από την αρχή του χρόνου. Βελτιώσαμε μόνο την τεχνική διαδικασία - μειώσαμε την απόσταση μεταξύ των pixel, καταπολεμήσαμε τον θόρυβο παρεμβολής και προσθέσαμε ειδικά pixel για αυτόματη εστίαση ανίχνευσης φάσης. Αλλά αν πάρετε ακόμη και την πιο ακριβή DSLR και προσπαθήσετε να φωτογραφίσετε μια γάτα που τρέχει μαζί της στον φωτισμό του δωματίου - η γάτα, για να το θέσω ήπια, θα κερδίσει.
Εδώ και πολύ καιρό προσπαθούμε να εφεύρουμε κάτι καλύτερο. Πολλές προσπάθειες και έρευνες σε αυτόν τον τομέα αναζητούνται στο google για «υπολογιστικό αισθητήρα» ή «αισθητήρας μη-bayer» και ακόμη και το παραπάνω παράδειγμα Μετατόπισης εικονοστοιχείων μπορεί να αποδοθεί σε προσπάθειες βελτίωσης πινάκων χρησιμοποιώντας υπολογισμούς. Ωστόσο, οι πιο υποσχόμενες ιστορίες τα τελευταία είκοσι χρόνια μας ήρθαν ακριβώς από τον κόσμο των λεγόμενων πλενοπτικών καμερών.
Για να μην αποκοιμηθείτε από την προσμονή των επικείμενων σύνθετων λέξεων, θα σας πω ότι η κάμερα του πιο πρόσφατου Google Pixel είναι απλώς «ελαφρώς» πλειοπτική. Μόλις δύο pixel, αλλά ακόμα κι αυτό του επιτρέπει να υπολογίζει το σωστό οπτικό βάθος του κάδρου ακόμα και χωρίς δεύτερη κάμερα, όπως όλοι οι άλλοι.
Το Plenoptics είναι ένα ισχυρό όπλο που δεν έχει ακόμη πυροβολήσει. Εδώ είναι ένας σύνδεσμος για ένα από τα αγαπημένα μου πρόσφατα. , από όπου δανείστηκα τα παραδείγματα.
Κάμερα Plenoptic - προσεχώς
Εφευρέθηκε το 1994, συλλέχτηκε στο Στάνφορντ το 2004. Η πρώτη κάμερα καταναλωτών, η Lytro, κυκλοφόρησε το 2012. Η βιομηχανία VR πειραματίζεται τώρα ενεργά με παρόμοιες τεχνολογίες.
Μια πλενοπτική κάμερα διαφέρει από μια συμβατική κάμερα μόνο σε μία τροποποίηση - η μήτρα της καλύπτεται με ένα πλέγμα φακών, καθένα από τα οποία καλύπτει πολλά πραγματικά pixel. Κάτι σαν αυτό:
Εάν υπολογίσετε σωστά την απόσταση από το πλέγμα μέχρι τη μήτρα και το μέγεθος του διαφράγματος, η τελική εικόνα θα έχει καθαρά συμπλέγματα εικονοστοιχείων - ένα είδος μίνι εκδόσεων της αρχικής εικόνας.
Αποδεικνύεται ότι αν πάρετε, ας πούμε, ένα κεντρικό pixel από κάθε σύμπλεγμα και κολλήσετε την εικόνα μεταξύ τους μόνο χρησιμοποιώντας αυτά, δεν θα διαφέρει από αυτό που τραβήξατε με μια κανονική κάμερα. Ναι, έχουμε χάσει λίγο την ανάλυση, αλλά απλώς θα ζητήσουμε από τη Sony να προσθέσει περισσότερα megapixel στους νέους πίνακες.
Η διασκέδαση μόλις αρχίζει. Εάν πάρετε ένα άλλο pixel από κάθε σύμπλεγμα και συρράψετε ξανά την εικόνα, θα λάβετε ξανά μια κανονική φωτογραφία, μόνο σαν να τραβήχτηκε με μετατόπιση ενός pixel. Έτσι, έχοντας συμπλέγματα 10 × 10 pixels, θα πάρουμε 100 εικόνες του αντικειμένου από «ελαφρώς» διαφορετικά σημεία.
Μεγαλύτερο μέγεθος συμπλέγματος σημαίνει περισσότερες εικόνες, αλλά χαμηλότερη ανάλυση. Στον κόσμο των smartphone με μήτρες 41 megapixel, αν και μπορούμε να παραμελήσουμε λίγο την ανάλυση, υπάρχει ένα όριο σε όλα. Πρέπει να διατηρήσεις την ισορροπία.
Εντάξει, έχουμε συναρμολογήσει μια πλειοπτική κάμερα, οπότε τι μας δίνει αυτό;
Ειλικρινής επανεστίαση
Το χαρακτηριστικό για το οποίο βούιζαν όλοι οι δημοσιογράφοι στα άρθρα για το Lytro ήταν η ικανότητα να προσαρμόζουν ειλικρινά την εστίαση στο post-production. Με τον όρο δίκαιο εννοούμε ότι δεν χρησιμοποιούμε αλγόριθμους αποθολώματος, αλλά χρησιμοποιούμε αποκλειστικά τα εικονοστοιχεία που έχουμε στη διάθεσή μας, επιλέγοντάς τα ή υπολογίζοντάς τα κατά μέσο όρο από συμπλέγματα με την απαιτούμενη σειρά.
Η φωτογραφία RAW από μια πλειοπτική κάμερα φαίνεται περίεργη. Για να βγάλετε το συνηθισμένο αιχμηρό τζιπ από αυτό, πρέπει πρώτα να το συναρμολογήσετε. Για να το κάνετε αυτό, πρέπει να επιλέξετε κάθε pixel του τζιπ από ένα από τα συμπλέγματα RAW. Ανάλογα με το πώς θα τα επιλέξουμε, το αποτέλεσμα θα αλλάξει.
Για παράδειγμα, όσο πιο μακριά είναι το σύμπλεγμα από το σημείο πρόσπτωσης της αρχικής δέσμης, τόσο πιο εκτός εστίασης είναι αυτή η δέσμη. Επειδή η οπτική. Για να έχουμε μια εικόνα με μετατόπιση εστίασης, πρέπει απλώς να επιλέξουμε pixel στην επιθυμητή απόσταση από την αρχική - είτε πιο κοντά είτε πιο μακριά.
Ήταν πιο δύσκολο να μετατοπίσεις την εστίαση στον εαυτό σου - καθαρά φυσικά, υπήρχαν λιγότερα τέτοια pixel στα συμπλέγματα. Στην αρχή, οι προγραμματιστές δεν ήθελαν καν να δώσουν στον χρήστη τη δυνατότητα να εστιάσει με τα χέρια του - η ίδια η κάμερα αποφάσισε αυτό στο λογισμικό. Στους χρήστες δεν άρεσε αυτό το μέλλον, γι' αυτό πρόσθεσαν μια δυνατότητα σε μεταγενέστερο υλικολογισμικό που ονομάζεται "creative mode", αλλά περιόρισε την εκ νέου εστίαση σε αυτό ακριβώς για αυτόν τον λόγο.
Χάρτης βάθους και 3D από μία κάμερα
Μία από τις απλούστερες λειτουργίες στην πλειοπτική είναι η λήψη ενός χάρτη βάθους. Για να γίνει αυτό, χρειάζεται απλώς να συλλέξετε δύο διαφορετικά πλαίσια και να υπολογίσετε πόσο μετατοπίζονται τα αντικείμενα σε αυτά. Περισσότερη μετατόπιση σημαίνει μεγαλύτερη απόσταση από την κάμερα.
Η Google αγόρασε πρόσφατα και σκότωσε τη Lytro, αλλά χρησιμοποίησε την τεχνολογία της για το VR και... για την κάμερα Pixel. Ξεκινώντας με το Pixel 2, η κάμερα έγινε «ελαφρώς» πλειοπτική για πρώτη φορά, αν και με συστάδες μόνο δύο pixel. Αυτό έδωσε στην Google την ευκαιρία να μην εγκαταστήσει μια δεύτερη κάμερα, όπως όλα τα άλλα παιδιά, αλλά να υπολογίσει τον χάρτη βάθους αποκλειστικά από μια φωτογραφία.
Ο χάρτης βάθους κατασκευάζεται χρησιμοποιώντας δύο καρέ που μετατοπίζονται κατά ένα υποπίξελ. Αυτό είναι αρκετό για να υπολογίσετε έναν δυαδικό χάρτη βάθους και να διαχωρίσετε το προσκήνιο από το φόντο και να θολώσετε το τελευταίο στο μοντέρνο πλέον bokeh. Το αποτέλεσμα μιας τέτοιας διαστρωμάτωσης εξομαλύνεται και «βελτιώνεται» επίσης από νευρωνικά δίκτυα που είναι εκπαιδευμένα να βελτιώνουν τους χάρτες βάθους (και όχι να θολώνουν, όπως πιστεύουν πολλοί).
Το κόλπο είναι ότι αποκτήσαμε πλειοπτικά σε smartphone σχεδόν δωρεάν. Έχουμε ήδη βάλει φακούς σε αυτές τις μικροσκοπικές μήτρες για να αυξήσουμε κατά κάποιο τρόπο τη φωτεινή ροή. Στο επόμενο Pixel, η Google σχεδιάζει να προχωρήσει περισσότερο και να καλύψει τέσσερις φωτοδίοδοι με φακό.
Πηγή: 3dnews.ru