Məqalənin orijinalı saytda yerləşdirilib və müəllifin icazəsi ilə 3DNews-da dərc edilmişdir. Çox sayda bağlantılar istisna olmaqla, məqalənin tam mətnini təqdim edirik - onlar mövzu ilə ciddi maraqlananlar və hesablama fotoqrafiyasının nəzəri aspektlərini daha dərindən öyrənmək istəyənlər üçün faydalı olacaqlar, lakin nəzərdən keçirdik. bu material geniş auditoriya üçün lazımsızdır.
Bu gün smartfonun heç bir təqdimatı onun kamerasını yalamadan tamamlanmır. Hər ay mobil kameraların daha bir uğuru haqqında eşidirik: Google Pixel-ə qaranlıqda çəkməyi öyrədir, Huawei durbin kimi zoom edir, Samsung lidar qoyur və Apple dünyanın ən dairəvi döngələrini edir. İndi yeniliyin bu qədər cəsarətlə axdığı yerlər azdır.
Güzgülər eyni zamanda vaxtı qeyd edir. Sony hər il hər kəsə yeni matrislər təqdim edir və istehsalçılar tənbəlliklə versiyanın son rəqəmini yeniləyir və kənarda rahat siqaret çəkməyə davam edirlər. İş masamın üstündə 3000 dollarlıq DSLR var, amma səyahət edəndə iPhone götürürəm. Niyə?
Klassik dediyi kimi, mən bu sualla internetə girdim. Bəzi "alqoritmlər" və "neyron şəbəkələri" orada müzakirə olunur, onların fotoqrafiyaya necə təsir etdiyini bilmirlər. Jurnalistlər meqapiksellərin sayını yüksək səslə oxudular, bloggerlər xorda pullu qutu açılmalarını gördülər və estetiklər “matrisanın rəng palitrasının həssas qavrayışı” ilə özlərini ləkələdilər. Hər şey həmişəki kimidir.
Mən oturub həyatımın yarısını keçirməli və özüm başa düşməli idim. Bu yazıda sizə öyrəndiklərimi danışacağam.
Hesablama fotoqrafiya nədir?
Hər yerdə, o cümlədən Vikipediyada belə bir şey verirlər: hesablama fotoqrafiyası optik transformasiyalar əvəzinə rəqəmsal hesablamaların istifadə edildiyi şəkilləri çəkmək və emal etmək üçün hər hansı bir texnikadır. Onunla bağlı hər şey yaxşıdır, ancaq heç nə izah etmir. Onun altına hətta avtofokus da uyğun gəlir, amma artıq bizə çoxlu faydalı şeylər gətirmiş plenoptika uyğun gəlmir. Rəsmi təriflərin qeyri-müəyyənliyi, sanki nədən danışdığımızı bilmirik.
Hesablama fotoqrafiyasının qabaqcılı Stenford professoru Marc Levoy (hazırda Google Pixel-də kameraya cavabdehdir) fərqli bir tərif verir - rəqəmsal fotoqrafiya imkanlarını təkmilləşdirən və ya genişləndirən kompüter təsvir üsulları toplusu, istifadə edildikdə müntəzəm ənənəvi şəkildə bu kamerada texniki olaraq çəkilə bilməyən fotoşəkil. Məqalədə mən buna sadiqəm.
Beləliklə, hər şeydə smartfonlar günahkar idi.
Smartfonların yeni bir fotoqrafiya növünə həyat verməkdən başqa seçimi yox idi: hesablama fotoqrafiyası.
Onların kiçik səs-küylü matrisləri və kiçik diafragma linzaları, bütün fizika qanunlarına görə, yalnız ağrı və iztirab gətirməli idi. Tərtibatçıları zəif tərəflərini aradan qaldırmaq üçün güclü tərəflərindən ağıllı şəkildə necə istifadə edəcəyini anlayana qədər bunu etdilər - sürətli elektron qapaqlar, güclü prosessorlar və proqram təminatı.
Hesablama fotoqrafiyası sahəsində ən yüksək profilli tədqiqatlar elmdə sözün əsl mənasında dünən hesab edilən 2005-2015-ci illərə düşür. Hazırda gözümüzün qarşısında və cibimizdə heç vaxt mövcud olmayan yeni bilik və texnologiya sahəsi inkişaf etdirilir.
Hesablama fotoqrafiyası təkcə neyro-bokeh selfilərindən ibarət deyil. Qara dəliyin son fotoşəkili hesablama fotoqrafiya texnikası olmadan mümkün olmazdı. Adi teleskopla belə bir fotoşəkil çəkmək üçün onu Yer ölçüsündə etmək lazımdır. Bununla belə, şarımızın müxtəlif nöqtələrindəki səkkiz radio teleskopun məlumatlarını birləşdirərək və bəzi piton skriptləri yazaraq, hadisə üfüqünün dünyada ilk fotoşəkilini əldə etdik. Selfie üçün də yaxşıdır.
Başlayın: rəqəmsal emal
Təsəvvür edək ki, 2007-ci ili geri qaytardıq. Anamız anarxiyadır və şəkillərimiz skeytbordda çəkilmiş səs-küylü 0,6MP ciplərdir. Təxminən o vaxtlar, mobil matrislərin bədbəxtliyini gizlətmək üçün onların üzərinə əvvəlcədən təyin etmək üçün ilk qarşısıalınmaz istəyimiz var. Özümüzü inkar etməyək.
matan və instagram
İnstaqramın buraxılması ilə hər kəs filtrlərə aludə olur. Əlbəttə ki, tədqiqat (ek) məqsədləri üçün X-Pro II, Lo-Fi və Valensiyanı tərsinə çevirən biri kimi onların üç komponentdən ibarət olduğunu hələ də xatırlayıram:
- Rəng parametrləri (Rəng, Doyma, Yüngüllük, Kontrast, Səviyyələr və s.) fotoqrafların qədim zamanlardan bəri istifadə etdiyi hər hansı əvvəlcədən təyin edilmiş parametrlər kimi sadə ədədi nisbətlərdir.
- Ton Xəritələri - dəyər vektorları, hər biri bizə deyirdi: "128 çalarlı qırmızı 240 rəngə çevrilməlidir."
- Overlay - toz, taxıl, vinyet və heç də banal olmayan köhnə bir filmin təsirini əldə etmək üçün üstünə qoyula bilən hər şey ilə şəffaf bir şəkil. Həmişə mövcud deyildi.
Müasir filtrlər bu üçündən çox da uzaq deyil, yalnız riyaziyyatda bir az daha mürəkkəbləşiblər. Smartfonlarda hardware şaderlərinin və OpenCL-in meydana çıxması ilə onlar tez bir zamanda GPU üçün yenidən yazıldı və bu, olduqca sərin hesab edildi. 2012-ci il üçün, əlbəttə. Bu gün istənilən tələbə CSS-də eyni şeyi edə bilər və o, hələ də məzuniyyətə çata bilməyəcək.
Bununla belə, bu gün filtrlərin inkişafı dayanmayıb. Məsələn, Dehanserdən olan uşaqlar qeyri-xətti filtrlərdə əladırlar - proletar ton xəritəsinin əvəzinə daha mürəkkəb qeyri-xətti çevrilmələrdən istifadə edirlər ki, bu da onlara görə daha çox imkanlar açır.
Qeyri-xətti çevrilmələrlə çox şey etmək olar, lakin onlar inanılmaz dərəcədə mürəkkəbdir və biz insanlar inanılmaz dərəcədə lalıq. Elmdə qeyri-xətti çevrilmələrə gəldikdə, biz ədədi üsullara girməyə və neyron şəbəkələrini hər yerdə sıxmağa üstünlük veririk ki, onlar bizim üçün şah əsərlər yazsınlar. Burada da eyni idi.
Avtomatlaşdırma və "şedevr" düyməsinin xəyalları
Hər kəs filtrlərə öyrəşdikdən sonra biz onları birbaşa kameralarda qurmağa başladıq. Tarix hansı istehsalçının ilk olduğunu gizlədir, ancaq bunun nə qədər əvvəl olduğunu başa düşmək üçün - artıq 5.0-ci ildə buraxılmış iOS 2011-da Şəkillərin Avtomatik Təkmilləşdirilməsi üçün artıq ictimai API mövcud idi. Yalnız Jobs ictimaiyyətə təqdim edilməzdən əvvəl nə qədər istifadə edildiyini bilir.
Avtomatlaşdırma hər birimizlə eyni şeyi etdi, redaktorda bir fotoşəkil açdı - işıq və kölgələrdə dipləri çıxardı, doyma üzərinə yığıldı, qırmızı gözləri çıxardı və üz rəngini düzəltdi. İstifadəçilər hətta bilmirdilər ki, yeni smartfondakı "kəskin təkmilləşdirilmiş kamera" yalnız bir neçə yeni şeyderin ləyaqətidir. Google Pixel-in çıxmasına və hesablama fotoqrafiyasının şırıngasına hələ beş il qalmışdı.
Bu gün "şedevr" düyməsi uğrunda döyüşlər maşın öyrənməsi sahəsinə keçdi. Ton-mapping ilə kifayət qədər oynayan hər kəs istifadəçi yerinə sürgüləri hərəkət etdirmək üçün CNN və GAN-ları öyrətməyə tələsdi. Başqa sözlə, daxil edilmiş təsvirdən istifadə edərək, bu təsviri "yaxşı fotoqrafiya" haqqında bəzi subyektiv anlayışa yaxınlaşdıracaq optimal parametrlər toplusunu müəyyənləşdirin. Eyni Pixelmator Pro və digər redaktorlarda həyata keçirilir. Təxmin etdiyiniz kimi işləyir, çox deyil və həmişə deyil.
Yığma mobil kamera uğurunun 90%-dir
Əsl hesablama fotoqrafiyası yığma ilə başladı - birdən çox fotoşəkili bir-birinin üstünə yığmaq. Smartfonun yarım saniyədə onlarla kadr çəkməsi problem deyil. Onların kameralarında yavaş mexaniki hissələr yoxdur: diyafram sabitdir və hərəkət edən pərdənin əvəzinə elektron çekim var. Prosessor sadəcə olaraq matrisə vəhşi fotonları tutmaq üçün neçə mikrosaniyə əmr edir və nəticəni özü oxuyur.
Texniki olaraq, telefon video sürətində fotoşəkil çəkə bilər və foto həllində video çəkə bilər, lakin hər şey avtobusun və prosessorun sürətindən asılıdır. Buna görə də, onlar həmişə proqram məhdudiyyətləri qoyurlar.
Staking özü çoxdan bizimlədir. hətta nənə və babalar Photoshop 7.0-də bir neçə fotoşəkili göz oxşayan HDR-də birləşdirmək və ya 18000 × 600 piksel panorama yapışdırmaq üçün plaginlər quraşdırdılar və ... əslində heç kim onlarla nə edəcəyini başa düşə bilmədi. Zəngin dövrlər, təəssüf ki, vəhşi idi.
İndi biz böyüklər olduq və bunu "epsilon fotoqrafiyası" adlandırırıq - kamera parametrlərindən birini (ekspozisiya, fokus, mövqe) dəyişdirərək və nəticədə kadrları yapışdıraraq, bir kadrda çəkilə bilməyən bir şey əldə edirik. Ancaq bu, nəzəriyyəçilər üçün bir termindir, amma praktikada başqa bir ad kök salmışdır - staking. Bu gün faktiki olaraq mobil kameralardakı bütün yeniliklərin 90%-i onun üzərində qurulub.
Çoxlarının düşünmədiyi, lakin bütün mobil və kompüter fotoqrafiyasını başa düşmək üçün vacib olan bir şey: müasir smartfonun kamerası siz onun proqramını açan kimi fotoşəkil çəkməyə başlayır. Hansı ki, məntiqlidir, çünki o, görüntünü birtəhər ekrana köçürməlidir. Bununla belə, ekrana əlavə olaraq, o, yüksək keyfiyyətli çərçivələri öz dairəvi buferinə saxlayır və burada onları bir neçə saniyə daha saxlayır.
"Şəkil çək" düyməsini basdığınız zaman - o, əslində artıq çəkilib, kamera sadəcə buferdən sonuncu şəkli çəkir.
Bu gün istənilən mobil kamera belə işləyir. Ən azı bütün flaqmanlarda, zibil yığınlarından deyil. Buferləmə sizə fotoqrafların uzun müddətdir arzuladığı heç bir sıfır gecikməni deyil, hətta mənfi bir gecikməni həyata keçirməyə imkan verir - düyməni basdığınız zaman smartfon keçmişə nəzər salır, son 5-10 fotoşəkili kompüterdən boşaldır. bufer və çılğıncasına təhlil etməyə və onları yapışdırmağa başlayır. Artıq telefonun HDR və ya gecə rejimi üçün çərçivələrə kliklənməsini gözləmək lazım deyil - sadəcə onları buferdən götürün, istifadəçi heç bilməyəcək.
Yeri gəlmişkən, Live Photo-nun iPhone-larda tətbiqi mənfi çekim gecikməsinin köməyi ilə oldu və HTC 2013-cü ildə qəribə Zoe adı ilə oxşar bir şeyə sahib idi.
Ekspozisiya yığma - HDR və parlaqlıq fərqləri ilə mübarizə
Kamera matrislərinin gözlərimiz üçün mövcud olan bütün parlaqlıq diapazonunu çəkə bilib-bilməməsi müzakirə üçün köhnə bir mövzudur. Bəziləri yox deyir, çünki göz 25-ə qədər f-stop görə bilir, halbuki üst tam kadr matrisindən maksimum 14-ü belə çəkmək olar.Bəziləri isə müqayisəni yanlış adlandırır, çünki beyin avtomatik tənzimləyərək gözə kömək edir. göz bəbəyi və neyron şəbəkələri ilə təsviri tamamlayan və gözün dinamik diapazonu əslində sadəcə 10-14 f-stopdan çox deyil. Gəlin bu arqumentləri internetin ən yaxşı kreslo mütəfəkkirlərinə buraxaq.
Fakt qalır: dostları hər hansı bir mobil kamerada HDR olmadan parlaq səmaya qarşı çəkərkən ya adi bir səma və dostların qara üzləri, ya da çəkilmiş dostlar, ancaq yanıb ölmüş səma alırsınız.
Həll çoxdan icad edilmişdir - HDR (Yüksək dinamik diapazon) istifadə edərək parlaqlıq diapazonunu genişləndirmək. Fərqli çekim sürəti ilə bir neçə çəkiliş etmək və onları bir-birinə yapışdırmaq lazımdır. Beləliklə, biri "normal", ikincisi daha açıq, üçüncüsü daha qaranlıqdır. Qaranlıq yerləri yüngül bir çərçivədən götürürük, həddindən artıq ifşanı qaranlıqdan doldururuq - qazanc. Yalnız avtomatik mötərizə problemini həll etmək qalır - həddindən artıq olmamaq üçün hər bir çərçivənin ekspozisiyasını nə qədər dəyişdirmək lazımdır, ancaq bir texniki universitetin ikinci kurs tələbəsi indi şəklin orta parlaqlığını təyin etmək öhdəsindən gələcəkdir.
Ən son iPhone-larda, Piksellərdə və Galaxy HDR-də kameranın içindəki sadə alqoritm günəşli bir gündə kontrastlı bir şey çəkdiyinizi müəyyən etdikdə ümumiyyətlə avtomatik olaraq açılır. Ekspozisiyada dəyişdirilmiş kadrları saxlamaq üçün telefonun qeyd rejimini buferə necə dəyişdirdiyini belə görə bilərsiniz - fps kamerada azalır və şəkil özü daha şirəli olur. Açıq havada çəkiliş zamanı iPhone X-də keçid nöqtəsi aydın görünür. Növbəti dəfə də smartfonunuza daha yaxından baxın.
Ekspozisiya mötərizəsi ilə HDR-nin dezavantajı zəif işıqlandırmada onun keçilməz çarəsizliyidir. Otaq lampasının işığı altında belə çərçivələr o qədər qaranlıqdır ki, kompüter onları düzəldib yapışdıra bilmir. 2013-cü ildə işıqla bağlı problemi həll etmək üçün Google o zaman buraxılmış Nexus smartfonunda HDR-yə fərqli yanaşma nümayiş etdirdi. O, vaxtdan istifadə edirdi.
Vaxt yığma - uzun ekspozisiya simulyasiyası və vaxt fasiləsi
Vaxtın yığılması bir sıra qısa ekspozisiyalarla uzun ekspozisiya əldə etməyə imkan verir. Pionerlər gecə səmasında ulduzların izlərini vurmağı sevənlər idi, onlar üçün bir anda iki saatlıq bağlamanı açmaq əlverişsiz idi. Bütün parametrləri əvvəlcədən hesablamaq çox çətin idi və ən kiçik silkələnmədən bütün kadr xarab oldu. Onlar deklanşörü yalnız bir neçə dəqiqəyə, lakin dəfələrlə açmağa qərar verdilər və sonra evə gedib əldə edilən çərçivələri Photoshop-a yapışdırdılar.
Belə çıxır ki, kamera əslində heç vaxt yavaş çekim sürəti ilə çəkilməyib, lakin biz onun imitasiya effektini ardıcıl olaraq çəkilmiş bir neçə kadr əlavə etməklə əldə etdik. Smartfonlar üçün bu hiylədən istifadə edərək uzun müddətdir ki, bir dəstə proqram yazılıb, lakin funksiya demək olar ki, bütün standart kameralara əlavə olunduğundan onların hamısına ehtiyac yoxdur. Bu gün hətta iPhone da Live Photo-dan uzun bir ekspozisiyanı asanlıqla birləşdirə bilər.
Gecə HDR ilə Google-a qayıdaq. Məlum oldu ki, vaxt mötərizəsinin köməyi ilə qaranlıqda yaxşı bir HDR əldə edə bilərsiniz. Texnologiya ilk dəfə Nexus 5-də ortaya çıxdı və HDR+ adlanırdı. Qalan Android telefonları onu hədiyyə olaraq aldı. Texnologiya hələ də o qədər populyardır ki, hətta ən son Piksellərin təqdimatlarında təriflənir.
HDR+ olduqca sadə işləyir: qaranlıqda çəkdiyinizi müəyyən edərək, kamera RAW formatında son 8-15 fotoşəkili bir-birinin üstünə qoymaq üçün buferdən yükləyir. Beləliklə, alqoritm səs-küyü minimuma endirmək üçün çərçivənin qaranlıq sahələri - piksellər haqqında daha çox məlumat toplayır, burada nədənsə kamera bütün məlumatları toplaya bilməyib və qarışıb.
Bu, kapibaranın nəyə bənzədiyini bilməsəniz və beş nəfərdən onu təsvir etmələrini xahiş etsəniz, onların hekayələri demək olar ki, eyni olardı, lakin hər biri özünəməxsus detalları qeyd edərdi. Beləliklə, siz sadəcə bir soruşmaqdan daha çox məlumat toplamış olacaqsınız. Piksellərlə eyni.
Bir nöqtədən çəkilmiş çərçivələrin əlavə edilməsi yuxarıdakı ulduzlarla eyni saxta uzun ekspozisiya effektini verir. Onlarla çərçivənin ifşası yekunlaşdırılır, birində səhvlər digərlərində minimuma endirilir. Təsəvvür edin ki, buna nail olmaq üçün DSLR-nin çekim düyməsini neçə dəfə basmalı olacaqsınız.
Yalnız avtomatik rəng korreksiyası problemini həll etmək qaldı - qaranlıqda çəkilən kadrlar istisnasız olaraq adətən sarı və ya yaşıl olur və biz bir növ gündüz işığının şirəliliyini istəyirik. HDR+-ın ilkin versiyalarında bu, instagram filtrlərində olduğu kimi sadəcə parametrləri dəyişdirməklə həll edilirdi. Sonra neyron şəbəkələrin köməyinə müraciət etdilər.
Gecə Görünüşü belə ortaya çıxdı - Pixel 2 və 3-də "gecə fotoqrafiyası" texnologiyası. Təsvirdə belə deyilir: "Gecə Baxışını işə salan HDR + üzərində qurulmuş maşın öyrənmə texnikaları". Əslində, bu, rəng korreksiyası mərhələsinin avtomatlaşdırılmasıdır. İstənilən tünd əyri fotoşəkillər dəstindən gözəl birini yaratmaq üçün avtomobil “əvvəl” və “sonra” fotoşəkilləri toplusunda təlim keçib.
Yeri gəlmişkən, məlumat dəsti ictimaiyyətə təqdim edildi. Ola bilsin ki, Apple-dan olan uşaqlar onu götürüb, nəhayət, şüşə kürəklərinə qaranlıqda düzgün atəş açmağı öyrədəcəklər.
Bundan əlavə, Gecə Görünüşü bulanıqlığı normallaşdırmaq üçün çərçivədəki obyektlərin hərəkət vektorunun hesablanmasından istifadə edir və bu, şübhəsiz ki, yavaş çekim sürətlərində baş verəcəkdir. Beləliklə, smartfon digər çərçivələrdən aydın hissələri götürə və yapışdıra bilər.
Hərəkətin yığılması - panorama, superzoom və səs-küyün azaldılması
Panorama kənd sakinlərinin sevimli əyləncəsidir. Tarix hələ kolbasa fotoşəkilinin müəllifindən başqa kimsə üçün maraqlı olacağı halları bilmir, lakin bunu qeyd etməmək mümkün deyil - çoxları üçün staking bununla başladı.
Panoramadan istifadə etməyin ilk faydalı yolu, bir neçə çərçivəni bir-birinə yapışdırmaqla kamera matrisinin imkan verdiyindən daha yüksək təsvir ölçüsündə fotoşəkil əldə etməkdir. Fotoqraflar uzun müddətdir ki, super rezolyusiyaya malik fotoşəkillər üçün müxtəlif proqramlardan istifadə edirlər - bir az dəyişdirilmiş fotoşəkillər piksellər arasında bir-birini tamamlayır. Bu yolla, ən azı yüzlərlə gigapiksellik bir şəkil əldə edə bilərsiniz, bu, ev ölçüsündə bir reklam afişasında çap etmək lazım olduqda olduqca faydalıdır.
Digər, daha maraqlı yanaşma Pixel Shiftingdir. Sony və Olympus kimi bəzi güzgüsüz kameralar bunu 2014-cü ildən dəstəkləməyə başladılar, lakin nəticəni yenə də əl ilə yapışdırmağa məcbur oldular. Tipik böyük kamera yenilikləri.
Smartfonlar burada gülməli səbəbdən uğur qazanıblar - şəkil çəkdirəndə əlləriniz titrəyir. Bu zahirən problem smartfonlarda yerli super rezolyusiyanın tətbiqi üçün əsas yaratdı.
Bunun necə işlədiyini başa düşmək üçün hər hansı bir kameranın matrisinin necə qurulduğunu xatırlamaq lazımdır. Onun hər bir pikseli (fotodiod) yalnız işığın intensivliyini, yəni içəri daxil olan fotonların sayını qeyd etməyə qadirdir. Bununla belə, piksel öz rəngini (dalğa uzunluğunu) ölçə bilməz. RGB şəklini əldə etmək üçün mən də burada qoltuqağacı yığmalı oldum - bütün matrisi çoxrəngli şüşə ilə örtdüm. Ən populyar tətbiq Bayer filtri adlanır və bu gün əksər matrislərdə istifadə olunur. Aşağıdakı şəkildəki kimi görünür.
Məlum olur ki, matrisin hər pikseli yalnız R-, G- və ya B-komponentini tutur, çünki qalan fotonlar Bayer filtri tərəfindən amansızcasına əks olunur. Qonşu piksellərin dəyərlərini kəskin orta hesabla alaraq itkin komponentləri tanıyır.
Bayer filtrində daha çox yaşıl hüceyrə var - bu, insan gözü ilə bənzətmə yolu ilə edildi. Məlum olub ki, matrisdəki 50 milyon pikseldən 25 milyonu yaşıl, hər biri qırmızı və mavi üçün 12,5 milyonu tutacaq.Qalanları orta hesabla götürüləcək - bu proses debaerizasiya və ya demomozaik adlanır və bu, belə bir yağlı gülməli qoltuqaltıdır. hər şeyin dayandığı.
Əslində, hər bir matrisin öz hiyləgər patentləşdirilmiş demozaikləşdirmə alqoritmi var, lakin bu hekayə çərçivəsində biz buna məhəl qoymayacağıq.
Digər növ matrislər (məsələn, Foveon) hələ heç kök salmayıb. Baxmayaraq ki, bəzi istehsalçılar kəskinliyi və dinamik diapazonu yaxşılaşdırmaq üçün Bayer filtri olmayan matrislərdən istifadə etməyə çalışırlar.
İşıq az olduqda və ya obyektin təfərrüatları çox kiçik olduqda, biz çox məlumat itiririk, çünki Bayer filtri qeyri-adi dalğa uzunluğuna malik fotonları həyasızcasına kəsir. Buna görə də, onlar Pixel Shifting - hamısını tutmaq üçün matrisi 1 piksel yuxarı-aşağı-sağa-sola dəyişdirmək ideyası ilə gəldilər. Fotoşəkil 4 dəfə böyük görünmür, göründüyü kimi, prosessor sadəcə olaraq hər pikselin dəyərini daha dəqiq qeyd etmək üçün bu məlumatlardan istifadə edir. Orta hesabla qonşular üzərində deyil, özünün dörd dəyərindən çoxdur.
Telefonumuzla şəkil çəkdirərkən əllərimizin titrəməsi bu prosesi təbii bir nəticəyə çevirir. Google Pixel-in ən son versiyalarında bu şey həyata keçirilir və telefonda böyütmə funksiyasından istifadə etdikdə işə salınır - buna Super Res Zoom deyilir (bəli, onların amansız adlandırılmasını da bəyənirəm). Çinlilər də bunu öz laofonlarına köçürdülər, baxmayaraq ki, bir az daha pis çıxdı.
Bir az yerdəyişmiş fotoşəkilləri bir-birinin üstünə qoymaq sizə hər pikselin rəngi haqqında daha çox məlumat toplamağa imkan verir ki, bu da matrisin meqapiksellərinin fiziki sayını artırmadan səs-küyü azaltmaq, kəskinliyi artırmaq və ayırdetmə qabiliyyətini artırmaq deməkdir. Müasir Android flaqmanları bunu istifadəçiləri bu barədə düşünməzdən əvvəl avtomatik edir.
Fokus yığma - istənilən sahə dərinliyi və post-istehsalda yenidən fokuslanma
Metod, dayaz sahə dərinliyinin həmişə problem olduğu makro fotoqrafiyadan gəlir. Bütün obyektin fokusda olması üçün mən onları bir iti birinə tikmək üçün fokusun irəli-geri sürüşməsi ilə bir neçə kadr çəkməli oldum. Mənzərə fotoqrafları tez-tez eyni üsuldan istifadə edərək, ön planı və fonu ishal kimi kəskin edir.
Bütün bunlar çox şırınga olmasa da, smartfonlara da keçdi. 2013-cü ildə Nokia Lumia 1020 "Refocus App" ilə, 2014-cü ildə isə Samsung Galaxy S5 "Selective Focus" rejimi ilə çıxır. Onlar eyni sxem üzrə işləyirdilər: düyməni basaraq cəld 3 şəkil çəkdilər – biri “normal” fokusla, ikincisi irəli, üçüncüsü isə geriyə sürüşdürülmüşdür. Proqram çərçivələri hizaladı və onlardan birini seçməyə imkan verdi, hansı ki, post-istehsalda "real" fokus nəzarəti kimi təqdim edildi.
Əlavə emal yox idi, çünki hətta bu sadə hack Lytro və analoqlarının vicdanla diqqət mərkəzində olan qapağına başqa bir mismar vurmaq üçün kifayət idi. Yeri gəlmişkən, onlar haqqında danışaq (keçid ustası 80 lvl).
Hesablama matrisləri - işıq sahələri və plenoptiklər
Yuxarıda başa düşdüyümüz kimi, matrislərimiz qoltuq dəyənəklərində dəhşətdir. Biz sadəcə öyrəşmişik və bununla yaşamağa çalışırıq. Quruluşları baxımından onlar zamanın əvvəlindən çox az dəyişmişlər. Biz yalnız texniki prosesi təkmilləşdirdik - piksellər arasındakı məsafəni azaltdıq, müdaxilə səs-küyü ilə mübarizə apardıq, faza aşkarlanması üçün avtofokus üçün xüsusi piksellər əlavə etdik. Ancaq hətta ən bahalı DSLR-ni götürməyə və otağın işıqlandırmasında onun üzərində qaçan bir pişiyi vurmağa çalışmaq lazımdır - pişik, yumşaq desək, qalib gələcək.
Biz uzun müddətdir ki, daha yaxşı bir şey icad etməyə çalışırıq. Bu sahədə bir çox cəhdlər və araşdırmalar "hesablama sensoru" və ya "qeyri-bayer sensoru" üçün Google-da aparılır və hətta yuxarıdakı Piksel Köçürmə nümunəsi hesablamalardan istifadə edərək matrisləri təkmilləşdirmək cəhdlərinə aid edilə bilər. Bununla belə, son iyirmi ildə ən perspektivli hekayələr bizə məhz plenoptik kameralar deyilən dünyadan gəlir.
Qarşıdan gələn çətin sözləri gözləyərək yuxuya getməməyiniz üçün, ən son Google Pixels kamerasının sadəcə "bir az" plenoptik olduğunu bildirəcəyəm. Yalnız iki piksel, lakin hətta bu, hamı kimi ikinci kamera olmadan çərçivənin dürüst optik dərinliyini hesablamağa imkan verir.
Plenooptic hələ atəş açmamış güclü bir silahdır. Budur, ən çox sevdiyim birinə keçid nümunələri haradan götürdüm.
Plenoptik kamera - tezliklə hər biri olacaq
1994-cü ildə icad edilmiş, 2004-cü ildə Stenfordda yığılmışdır. İlk istehlakçı kamerası Lytro 2012-ci ildə buraxıldı. VR sənayesi oxşar texnologiyaları aktiv şəkildə sınaqdan keçirir.
Plenoptik kamera adi kameradan yalnız bir modifikasiya ilə fərqlənir - onun içindəki matris hər biri bir neçə real pikseli əhatə edən linzalar şəbəkəsi ilə örtülmüşdür. Bu kimi bir şey:
şəbəkədən matrisə qədər olan məsafəni və diyaframın ölçüsünü düzgün hesablasanız, son görüntü piksellərin aydın klasterləri ilə nəticələnəcək - orijinal görüntünün bir növ mini-versiyasıdır.
Belə çıxır ki, hər klasterdən, deyək ki, bir mərkəzi piksel götürsəniz və şəkli yalnız onlara yapışdırsanız, bu, adi kamera ilə çəkiləndən heç bir şəkildə fərqlənməyəcəkdir. Bəli, biz həlldə bir az itirdik, ancaq Sony-dən yeni matrislərdə daha çox meqapiksel əlavə etməyi xahiş edəcəyik.
Əyləncə yalnız başlayır. hər klasterdən başqa bir piksel götürsəniz və şəkli yenidən yapışdırsanız, yenidən normal bir şəkil alacaqsınız, sanki bir piksel sürüşməsi ilə çəkilmiş kimi. Beləliklə, 10 × 10 piksel klasterlərə sahib olmaqla, "bir qədər" fərqli nöqtələrdən mövzunun 100 şəklini alacağıq.
Daha böyük klaster ölçüsü daha çox şəkil, lakin daha az qətnamə deməkdir. 41 meqapiksellik matrisli smartfonlar dünyasında, qətnaməni bir az laqeyd edə bilsək də, hər şeyin bir həddi var. Balans saxlamaq lazımdır.
Yaxşı, biz plenoptik kamera yığdıq və bu bizə nə verir?
Dürüst Yenidən Fokus
Bütün jurnalistlərin Lytro haqqında məqalələrində danışdıqları xüsusiyyət post-produksiyada diqqəti vicdanla tənzimləmək bacarığı idi. Ədalətli desək, biz heç bir problemi həll edən alqoritmlərdən istifadə etmədiyimizi, yalnız əlimizdəki pikselləri düzgün ardıcıllıqla seçərək və ya orta hesabla əldə etdiyimiz piksellərdən istifadə etməyi nəzərdə tuturuq.
Plenoptik kameradan alınan RAW fotoşəkili qəribə görünür. Adi kəskin cipi ondan çıxarmaq üçün əvvəlcə onu yığmaq lazımdır. Bunun üçün siz RAW klasterlərindən birindən cipin hər pikselini seçməlisiniz. Onları necə seçməyimizdən asılı olaraq nəticə dəyişəcək.
Məsələn, klaster orijinal şüanın düşdüyü yerdən nə qədər uzaq olarsa, bu şüa bir o qədər diqqətdən kənarda qalır. Çünki optika. Fokussuz bir görüntü əldə etmək üçün sadəcə olaraq orijinaldan bizə lazım olan məsafədə pikselləri seçməliyik - ya daha yaxın, ya da daha uzaq.
Diqqəti özünə yönəltmək daha çətin idi - sırf fiziki olaraq, klasterlərdə belə piksellər daha az idi. Əvvəlcə tərtibatçılar istifadəçiyə əlləri ilə fokuslanmaq imkanı belə vermək istəmədilər - kamera özü bunu proqramlı şəkildə həll etdi. İstifadəçilər bu gələcəyi bəyənmədilər, çünki daha sonra proqram təminatına "yaradıcı rejim" adlı bir xüsusiyyət əlavə edildi, lakin onun içindəki yenidən fokuslama məhz bu səbəbdən çox məhdudlaşdırıldı.
Bir kameradan dərinlik xəritəsi və 3D
Plenoptikada ən sadə əməliyyatlardan biri dərinlik xəritəsinin alınmasıdır. Bunu etmək üçün sadəcə iki fərqli çərçivə toplamaq və obyektlərin onların üzərində necə yerdəyişdiyini hesablamaq lazımdır. Daha çox yerdəyişmə kameradan uzaqlaşmaq deməkdir.
Google bu yaxınlarda Lytro-nu satın aldı və öldürdü, lakin texnologiyasını VR və… Pixel-dəki kamera üçün istifadə etdi. Pixel 2-dən başlayaraq, ilk dəfə kamera yalnız iki pikseldən ibarət çoxluqlarla olsa da, "bir qədər" plenoptik oldu. Bu, Google-a bütün digər uşaqlar kimi ikinci kamera quraşdırmamağa, dərinlik xəritəsini yalnız bir fotoşəkildən hesablamağa imkan verdi.
Dərinlik xəritəsi bir subpiksellə sürüşdürülmüş iki çərçivədən qurulur. Bu, ikili dərinlik xəritəsini hesablamaq və ön planı arxa plandan ayırmaq və sonuncunu indi dəbdə olan bokehdə bulandırmaq üçün kifayətdir. Belə bir təbəqələşmənin nəticəsi hələ də dərinlik xəritələrini yaxşılaşdırmaq üçün öyrədilmiş neyron şəbəkələri tərəfindən hamarlanır və "təkmilləşir" (bir çox insanın düşündüyü kimi bulanıq deyil).
Başqa bir hiylə odur ki, biz smartfonlarda plenoptikləri demək olar ki, pulsuz əldə etdik. İşıq çıxışını birtəhər artırmaq üçün bu kiçik matrislərə artıq linzalar qoyuruq. Növbəti Pixel-də Google daha da irəli getməyi və dörd fotodiodu obyektivlə əhatə etməyi planlaşdırır.
Mənbə: 3dnews.ru