מאמר חדש: צילום חישובי

המאמר המקורי פורסם באתר Vastrik.ru ופורסם ב-3DNews באישור המחבר. אנו מספקים את הטקסט המלא של המאמר, למעט מספר עצום של קישורים - הם יהיו שימושיים למי שמתעניין ברצינות בנושא ורוצה ללמוד את ההיבטים התיאורטיים של צילום חישובי יותר לעומק, אבל בשביל לקהל הרחב ראינו את החומר הזה מיותר.  

כיום, אף מצגת לסמארטפון אינה שלמה מבלי ללקק את המצלמה שלה. מדי חודש אנו שומעים על ההצלחה הבאה של מצלמות ניידות: גוגל מלמדת את פיקסל לצלם בחושך, את Huawei לבצע זום כמו משקפת, סמסונג מכניסה לידר ואפל עושה את הפינות העגולות בעולם. יש מעט מקומות שבהם החדשנות זורמת כל כך מהר בימינו.

יחד עם זאת, נראה שהמראות מסמנות זמן. סוני מרעיפה מדי שנה על כולם מטריצות חדשות, והיצרנים מעדכנים בעצלתיים את ספרת הגרסה העדכנית וממשיכים להירגע ולעשן מהצד. יש לי DSLR של $3000 על השולחן שלי, אבל כשאני נוסע, אני לוקח את האייפון שלי. למה?

כמו שאמר הקלאסי, נכנסתי לאינטרנט עם השאלה הזו. שם הם דנים בכמה "אלגוריתמים" ו"רשתות עצביות", מבלי שיש להם מושג איך בדיוק הם משפיעים על הצילום. עיתונאים קוראים בקול רם את מספר המגה-פיקסל, בלוגרים מנסרים את ה-unboxings בתשלום ביחד, ואסתטיות מורחות את עצמן ב"תפיסה חושנית של פלטת הצבעים של המטריצה". הכל כרגיל.

הייתי צריך לשבת, לבלות חצי מחיי ולהבין הכל בעצמי. במאמר זה אספר לכם מה למדתי.

⇡#מהו צילום חישובי?

בכל מקום, כולל ויקיפדיה, הם נותנים משהו כמו ההגדרה הזו: צילום חישובי הוא כל טכניקת לכידה ועיבוד תמונה המשתמשת במחשוב דיגיטלי במקום טרנספורמציות אופטיות. הכל בו טוב, חוץ מזה שזה לא מסביר כלום. אפילו פוקוס אוטומטי מתאים לזה, אבל plenotics, שכבר הביאה לנו הרבה דברים שימושיים, לא מתאימה. נראה שהעמימות של ההגדרות הרשמיות רומזת שאין לנו מושג על מה אנחנו מדברים.

חלוץ הצילום החישובי, פרופסור סטנפורד מארק לוי (שאחראי כיום על המצלמה בגוגל פיקסל) נותן הגדרה נוספת - סט של שיטות הדמיה ממוחשבת המשפרות או מרחיבות את יכולות הצילום הדיגיטלי, באמצעותן מתקבל צילום רגיל אשר לא ניתן לצלם באופן טכני עם מצלמה זו בדרך המסורתית. במאמר אני מקפיד על כך.

אז, הסמארטפונים היו אשמים בכל דבר.

לסמארטפונים לא הייתה ברירה אלא להוליד סוג חדש של צילום: צילום חישובי.

המטריצות הקטנות והרועשות שלהם ועדשות הקטנטנות עם הצמצם האיטי, על פי כל חוקי הפיזיקה, היו צריכים להביא רק כאב וסבל. הם עשו זאת עד שהמפתחים שלהם הבינו כיצד להשתמש בחוזקות שלהם כדי להתגבר על החולשות שלהם - תריסים אלקטרוניים מהירים, מעבדים חזקים ותוכנה.

רוב המחקרים המתוקשרים בתחום הצילום החישובי התרחשו בין השנים 2005 ל-2015, שבמדע נחשב ממש אתמול. ממש עכשיו, לנגד עינינו ובכיסנו, מתפתח תחום ידע וטכנולוגיה חדש שלא היה קיים מעולם.

צילום חישובי הוא לא רק סלפי עם נוירו-בוקה. הצילום האחרון של חור שחור לא היה אפשרי ללא טכניקות צילום חישוביות. כדי לצלם תמונה כזו בטלסקופ רגיל, נצטרך להפוך אותה לגודל של כדור הארץ. עם זאת, על ידי שילוב נתונים משמונה טלסקופי רדיו בנקודות שונות על הכדור שלנו וכתיבת כמה תסריטים בפייתון, השגנו את התצלום הראשון בעולם של אופק האירועים. טוב גם לסלפי.

⇡#התחלה: עיבוד דיגיטלי

בואו נדמיין שחזרנו ב-2007. אמא שלנו היא אנרכיה, והתמונות שלנו הן ג'יפים רועשים של 0,6 מגה-פיקסל שצולמו על סקייטבורד. בערך אז יש לנו את הרצון הראשון שאי אפשר לעמוד בפניו לפזר עליהם הגדרות קבועות מראש כדי להסתיר את העליבות של מטריצות ניידות. בואו לא נתכחש לעצמנו.

⇡#מתן ואינסטגרם

עם יציאת אינסטגרם, כולם נהיו אובססיביים לפילטרים. כמי שתכנן לאחור את ה-X-Pro II, Lo-Fi ולנסיה למטרות מחקר, אני עדיין זוכר שהם כללו שלושה מרכיבים:

• הגדרות צבע (גוון, רוויה, בהירות, ניגודיות, רמות וכו') - מקדמים דיגיטליים פשוטים, בדיוק כמו כל הגדרות קבועות מראש שצלמים השתמשו בהן מאז ימי קדם.
• מיפויי טון הם וקטורים של ערכים, שכל אחד מהם אמר לנו: "יש להפוך את הצבע האדום עם גוון 128 לגוון של 240."
• שכבת-על היא תמונה שקופה עם אבק, גרגרים, וינייטה וכל דבר אחר שניתן להניח מעל כדי לקבל את האפקט הכלל לא בנאלי של סרט ישן. לא תמיד היה נוכח.   

פילטרים מודרניים לא רחוקים מהשלישיה הזו, הם רק הפכו קצת יותר מורכבים במתמטיקה. עם הופעת הצללות החומרה ו-OpenCL בסמארטפונים, הם נכתבו מחדש במהירות עבור ה-GPU, וזה נחשב מגניב להפליא. לשנת 2012, כמובן. כיום, כל סטודנט יכול לעשות את אותו הדבר ב-CSS, ועדיין הוא לא יקבל את ההזדמנות לסיים את לימודיו.

עם זאת, התקדמות המסננים לא נעצרה היום. החבר'ה מדהנסר, למשל, מעולים בשימוש במסננים לא ליניאריים - במקום מיפוי גוונים פרולטארי, הם משתמשים בטרנספורמציות לא ליניאריות מורכבות יותר, מה שלדבריהם פותח הרבה יותר אפשרויות.

אתה יכול לעשות הרבה דברים עם טרנספורמציות לא ליניאריות, אבל הם מורכבים להפליא, ואנחנו, בני האדם, טיפשים להפליא. ברגע שזה מגיע לטרנספורמציות לא ליניאריות במדע, אנחנו מעדיפים ללכת לשיטות מספריות ולדחוס רשתות עצביות בכל מקום כדי שיכתבו לנו יצירות מופת. זה היה אותו דבר כאן.

⇡#אוטומציה וחלומות על כפתור "יצירת מופת".

ברגע שכולם התרגלו לפילטרים, התחלנו לבנות אותם ישירות לתוך מצלמות. ההיסטוריה מסתירה איזה יצרן היה הראשון, אבל רק כדי להבין לפני כמה זמן זה היה - ב-iOS 5.0, ששוחרר עוד ב-2011, כבר היה ממשק API ציבורי ל-Auto Enhancing Images. רק ג'ובס יודע כמה זמן הוא היה בשימוש לפני שנפתח לציבור.

האוטומציה עשתה את אותו הדבר שכל אחד מאיתנו עושה כשפותחים תמונה בעורך - היא שלפה פערים באור ובצללים, הוסיפה רוויה, הסירה עיניים אדומות וקיבעה גוון עור. המשתמשים אפילו לא הבינו ש"המצלמה המשופרת באופן דרמטי" בסמארטפון החדש היא רק הכשרון של כמה הצללות חדשות. נותרו עוד חמש שנים לפני יציאת ה-Google Pixel ותחילת ההייפ של הצילום החישובי.

כיום, הקרב על כפתור "יצירת המופת" עבר לתחום למידת המכונה. לאחר ששיחקו מספיק עם מיפוי גוונים, כולם מיהרו לאמן CNNs ו-GANs להזיז סליידרים במקום המשתמש. במילים אחרות, מתוך תמונת הקלט, קבע קבוצה של פרמטרים אופטימליים שיקרבו את התמונה הזו להבנה סובייקטיבית מסוימת של "צילום טוב". מיושם באותם Pixelmator Pro ובעורכים אחרים. זה עובד, כפי שאתה יכול לנחש, לא ממש טוב ולא תמיד. 

⇡#הערמה היא 90% מההצלחה של מצלמות ניידות

צילום חישובי אמיתי התחיל בערימה - ריבוי תצלומים מרובים זה על גבי זה. זו לא בעיה לסמארטפון ללחוץ על תריסר פריימים בחצי שנייה. למצלמות שלהם אין חלקים מכניים איטיים: הצמצם קבוע, ובמקום וילון נע יש תריס אלקטרוני. המעבד פשוט מצווה על המטריצה ​​כמה מיקרו-שניות הוא צריך לתפוס פוטונים פראיים, והוא קורא את התוצאה.

טכנית, הטלפון יכול לצלם תמונות במהירות וידאו, ווידאו ברזולוציית תמונה, אבל הכל תלוי במהירות האוטובוס והמעבד. זו הסיבה שהם תמיד מציבים גבולות לתוכנית.

ההימור עצמו מלווה אותנו כבר הרבה זמן. אפילו סבים התקינו תוספים ב-Photoshop 7.0 כדי להרכיב מספר תצלומים ל-HDR מושך את העין או לחבר פנורמה של 18000 × 600 פיקסלים ו... למעשה, אף אחד מעולם לא הבין מה לעשות איתם הלאה. חבל שהזמנים היו עשירים ופראיים.

עכשיו הפכנו למבוגרים וקוראים לזה "צילום אפסילון" - כאשר על ידי שינוי אחד מפרמטרי המצלמה (חשיפה, מיקוד, מיקום) ותפירת הפריימים שנוצרו, אנו מקבלים משהו שלא ניתן היה ללכוד בפריים אחד. אבל זה כינוי לתיאורטיקנים; בפועל, שם אחר השתרש - תקיעה. כיום, למעשה, 90% מכל החידושים במצלמות הסלולר מבוססות עליו.

משהו שהרבה אנשים לא חושבים עליו, אבל חשוב להבין את כל הצילום במובייל ובמחשוב: המצלמה בסמארטפון מודרני מתחילה לצלם ברגע שפותחים את האפליקציה שלה. וזה הגיוני, כי היא צריכה איכשהו להעביר את התמונה למסך. עם זאת, בנוסף למסך, הוא שומר מסגרות ברזולוציה גבוהה במאגר הלולאה שלו, שם הוא מאחסן אותן למשך מספר שניות נוספות.

כאשר אתה לוחץ על כפתור "צלם", הוא למעשה כבר צולם, המצלמה פשוט מצלמת את התמונה האחרונה מהמאגר.

כך עובדת היום כל מצלמה ניידת. לפחות בכל ספינות הדגל לא מערימות האשפה. חציצה מאפשרת לך להבין לא רק אפס השהיית תריס, שצלמים חלמו עליו מזמן, אלא אפילו שליליות - כאשר אתה לוחץ על כפתור, הסמארטפון מסתכל אל העבר, פורק את 5-10 התמונות האחרונות מהמאגר ומתחיל לנתח בטירוף ולהדביק אותם. לא עוד לחכות שהטלפון ילחץ על פריימים עבור HDR או מצב לילה - פשוט קחו אותם מהמאגר, המשתמש אפילו לא יידע.

אגב, בעזרת השהיית תריס שלילית מיושמת Live Photo באייפון, ול-HTC היה משהו דומה עוד ב-2013 בשם המוזר זואי.

⇡#ערימת חשיפה - HDR ומאבק בשינויי בהירות

האם חיישני מצלמה מסוגלים ללכוד את כל טווח הבהירות הנגיש לעינינו הוא נושא לוהט ישן של ויכוח. יש שאומרים שלא, כי העין מסוגלת לראות עד 25 עצירות f, בעוד שאפילו ממטריצת מסגרת מלאה עליונה אתה יכול לקבל מקסימום 14. אחרים מכנים את ההשוואה לא נכונה, מכיוון שהמוח עוזר לעין על ידי התאמה אוטומטית האישון והשלמת התמונה עם הרשתות העצביות שלו, והרגע הטווח הדינמי של העין הוא למעשה לא יותר מסתם 10-14 עצירות f. בואו נשאיר את הדיון הזה לטובי הוגי הכורסאות באינטרנט.

העובדה נשארת בעינה: כשאתה מצלם חברים על רקע שמיים בהירים ללא HDR בכל מצלמה ניידת, אתה מקבל או שמיים רגילים ופנים שחורות של חברים, או חברים מצויירים היטב, אבל שמיים חרוכים למוות.

הפתרון כבר מזמן הומצא - להרחיב את טווח הבהירות באמצעות HDR (High dynamic range). אתה צריך לקחת כמה פריימים במהירויות תריס שונות ולתפור אותם יחד. כך שהאחד "נורמלי", השני בהיר יותר, השלישי כהה יותר. אנחנו לוקחים מקומות חשוכים ממסגרת בהירה, ממלאים חשיפת יתר מחשיפת חשוכה - רווח. כל שנותר הוא לפתור את בעיית הסוגרים האוטומטיים - כמה להזיז את החשיפה של כל פריים כדי לא להגזים, אבל עכשיו סטודנט שנה ב' באוניברסיטה טכנית יכול להתמודד עם קביעת הבהירות הממוצעת של תמונה.

באייפון, פיקסל וגלקסי העדכניים ביותר, מצב HDR מופעל באופן אוטומטי כאשר אלגוריתם פשוט בתוך המצלמה קובע שאתה מצלם משהו עם ניגודיות ביום שמש. ניתן אפילו לשים לב כיצד הטלפון מעביר את מצב ההקלטה למאגר על מנת לחסוך פריימים המוזזים בחשיפה - ה-fps במצלמה יורד, והתמונה עצמה הופכת עסיסית יותר. רגע המעבר נראה בבירור באייפון X שלי כאשר מצלמים בחוץ. תסתכל מקרוב על הטלפון החכם שלך גם בפעם הבאה.

החיסרון של HDR עם סוגר חשיפה הוא חוסר האונים הבלתי חדיר שלו בתאורה לקויה. אפילו עם אור של מנורת חדר, המסגרות הופכות כהות עד שהמחשב לא יכול ליישר ולתפור אותן יחד. כדי לפתור את הבעיה עם האור, ב-2013 גוגל הראתה גישה שונה ל-HDR בסמארטפון Nexus ששוחרר אז. הוא השתמש בערימת זמן.

⇡#ערימת זמן - הדמיית חשיפה ארוכה וזמן lapse

ערימת זמן מאפשרת לך ליצור חשיפה ארוכה באמצעות סדרה של קצרות. החלוצים היו חובבי צילום שבילי כוכבים בשמי הלילה, אשר מצאו שלא נוח לפתוח את התריס לשעתיים בבת אחת. היה כל כך קשה לחשב את כל ההגדרות מראש, והטלטול הקטן ביותר היה הורס את כל הפריים. הם החליטו לפתוח את התריס רק לכמה דקות, אבל הרבה פעמים, ואז הלכו הביתה והדביקו את הפריימים שנוצרו בפוטושופ.

מסתבר שהמצלמה מעולם לא צילמה במהירות תריס ארוכה, אבל קיבלנו את האפקט של הדמיה על ידי חיבור של כמה פריימים שצולמו ברצף. יש הרבה אפליקציות שנכתבו לסמארטפונים שמשתמשות בטריק הזה כבר הרבה זמן, אבל כולן אינן נחוצות מאז שהתכונה נוספה כמעט לכל המצלמות הסטנדרטיות. כיום, אפילו אייפון יכול בקלות לתפור חשיפה ארוכה מ-Live Photo.

בואו נחזור לגוגל עם ה-HDR הלילי שלה. התברר ששימוש בסוגר זמן אתה יכול ליישם HDR טוב בחושך. הטכנולוגיה הופיעה לראשונה ב-Nexus 5 ונקראה HDR+. שאר מכשירי האנדרואיד קיבלו את זה כאילו במתנה. הטכנולוגיה עדיין כל כך פופולרית שהיא אפילו זוכה לשבחים בהצגת הפיקסלים העדכניים ביותר.

HDR+ עובד די פשוט: לאחר שקבעתם שאתם מצלמים בחושך, המצלמה פורקת את 8-15 תמונות ה-RAW האחרונות מהמאגר על מנת לכסות אותן זו על גבי זו. כך, האלגוריתם אוסף מידע נוסף על האזורים הכהים של הפריים כדי למזער את הרעש - פיקסלים שבהם, משום מה, המצלמה לא הצליחה לאסוף את כל המידע ושגה.

זה כאילו אם לא היית יודע איך נראית קפיברה ותבקש מחמישה אנשים לתאר אותה, הסיפורים שלהם יהיו בערך אותו דבר, אבל כל אחד מהם מזכיר איזה פרט ייחודי. בדרך זו תוכל לאסוף יותר מידע מאשר רק לשאול אחד. זה אותו דבר עם פיקסלים.

הוספת פריימים שצולמו מנקודה אחת נותנת את אותו אפקט חשיפה ארוך מזויף כמו עם הכוכבים למעלה. החשיפה של עשרות פריימים מסוכמת, טעויות באחד ממוזערות באחרות. תארו לעצמכם כמה פעמים תצטרכו ללחוץ על תריס ה-DSLR בכל פעם כדי להשיג זאת.

כל שנותר היה לפתור את בעיית תיקון הצבע האוטומטי - מסגרות שצולמו בחושך בדרך כלל יוצאות צהובות או ירוקות, ואנחנו די רוצים את העושר של אור היום. בגרסאות מוקדמות של HDR+, זה נפתר על ידי התאמה פשוטה של ​​ההגדרות, כמו במסננים א-לה אינסטגרם. אחר כך הם קראו לרשתות עצביות לעזור.

כך הופיעה Night Sight - הטכנולוגיה של "צילום לילה" ב-Pixel 2 ו-3. בתיאור אומרים: "טכניקות למידת מכונה שנבנו על גבי HDR+, שגורמות ל-Night Sight לעבוד". בעצם, זוהי האוטומציה של שלב תיקון הצבע. המכונה הוכשרה על בסיס נתונים של תמונות "לפני" ו"אחרי" כדי ליצור תמונה אחת יפה מכל סט של תמונות עקומות כהות.

אגב, מערך הנתונים הפך לזמין לציבור. אולי החבר'ה מאפל ייקחו את זה ולבסוף ילמדו את אתי הזכוכית שלהם לצלם כמו שצריך בחושך.

בנוסף, Night Sight משתמש בחישוב וקטור התנועה של אובייקטים בפריים כדי לנרמל את הטשטוש שבוודאי יתרחש עם מהירות תריס ארוכה. אז, הטלפון החכם יכול לקחת חלקים ברורים ממסגרות אחרות ולהדביק אותם.

⇡#ערימת תנועה - פנורמה, זום סופר והפחתת רעש

פנורמה היא בילוי פופולרי עבור תושבי האזורים הכפריים. ההיסטוריה עדיין לא יודעת על מקרים שבהם צילום נקניק יעניין מישהו אחר מלבד מחברו, אבל אי אפשר להתעלם ממנו - עבור רבים, כאן החלה הערימה מלכתחילה.

הדרך השימושית הראשונה להשתמש בפנורמה היא להשיג צילום ברזולוציה גבוהה יותר ממה שמטריצת המצלמה מאפשרת על ידי תפירת מספר פריימים. צלמים כבר מזמן משתמשים בתוכנות שונות עבור מה שנקרא תצלומים ברזולוציית על - כאשר נראה כי תצלומים מוזזים מעט משלימים זה את זה בין הפיקסלים. כך תוכלו לקבל תמונה של לפחות מאות גיגה-פיקסל, מה שמאוד שימושי אם צריך להדפיס אותה על פוסטר פרסומי בגודל של בית.

גישה נוספת ומעניינת יותר היא ה-Pixel Shifting. כמה מצלמות חסרות מראה כמו סוני ואולימפוס החלו לתמוך בה כבר ב-2014, אבל עדיין היה עליהן להדביק את התוצאה ביד. חידושים אופייניים למצלמות גדולות.

הסמארטפונים הצליחו כאן מסיבה מצחיקה - כשאתה מצלם, הידיים שלך רועדות. בעיה זו, לכאורה, היוותה את הבסיס ליישום של רזולוציית סופר מקורית בסמארטפונים.

כדי להבין איך זה עובד, אתה צריך לזכור איך המטריצה ​​של כל מצלמה בנויה. כל אחד מהפיקסלים שלו (פוטודיודה) מסוגל לתעד רק את עוצמת האור - כלומר את מספר הפוטונים הנכנסים. עם זאת, פיקסל לא יכול למדוד את צבעו (אורך הגל). כדי לקבל תמונת RGB, היינו צריכים להוסיף גם כאן קביים - לכסות את כל המטריצה ​​עם רשת של חתיכות זכוכית רב-צבעוניות. המימוש הפופולרי ביותר שלו נקרא מסנן Bayer והוא נמצא בשימוש ברוב המטריצות כיום. נראה כמו התמונה למטה.

מסתבר שכל פיקסל של המטריצה ​​תופס רק את הרכיב R-, G- או B, כי הפוטונים הנותרים משתקפים ללא רחם על ידי מסנן באייר. הוא מזהה את הרכיבים החסרים על ידי ממוצע בוטה של ​​הערכים של פיקסלים שכנים.

יש יותר תאים ירוקים בפילטר של באייר - זה נעשה באנלוגיה לעין האנושית. מסתבר שמתוך 50 מיליון פיקסלים על המטריצה, ירוק יקלוט 25 מיליון, אדום וכחול - 12,5 מיליון כל אחד. השאר יהיו בממוצע - התהליך הזה נקרא debayerization או demosaicing, וזה קב מצחיק כל כך על שהכל נח.

למעשה, לכל מטריצה ​​יש אלגוריתם פטנט ערמומי משלה, אך למטרות הסיפור הזה נזניח זאת.

סוגים אחרים של מטריצות (כגון Foveon) איכשהו עדיין לא תפסו. למרות שחלק מהיצרנים מנסים להשתמש בחיישנים ללא מסנן של באייר כדי לשפר את החדות והטווח הדינמי.

כאשר יש מעט אור או הפרטים של עצם זעירים מאוד, אנו מאבדים מידע רב מכיוון שהמסנן של באייר מנתק באופן בוטה פוטונים בעלי אורך גל לא רצוי. זו הסיבה שהם הגיעו עם Pixel Shifting - הזזת המטריצה ​​בפיקסל 1 למעלה-למטה-ימינה-שמאלה כדי לתפוס את כולם. במקרה זה, התמונה לא מתבררת כגדולה פי 4, כפי שזה אולי נראה, המעבד פשוט משתמש בנתונים האלה כדי לתעד בצורה מדויקת יותר את הערך של כל פיקסל. הממוצע אינו על השכנים שלו, כביכול, אלא על ארבעה ערכים של עצמו.

רעד הידיים שלנו בעת צילום תמונות בטלפון הופך את התהליך הזה לתוצאה טבעית. בגרסאות האחרונות של גוגל פיקסל, הדבר הזה מיושם ונדלק בכל פעם שאתה משתמש בזום בטלפון - זה נקרא Super Res Zoom (כן, אני גם אוהב את השם חסר הרחמים שלהם). הסינים גם העתיקו אותו ללאופונים שלהם, למרות שזה יצא קצת יותר גרוע.

שכבת תצלומים שהוזזו מעט זה על גבי זה מאפשרת לאסוף מידע נוסף על הצבע של כל פיקסל, כלומר הפחתת הרעש, הגדלת החדות והעלאת הרזולוציה מבלי להגדיל את המספר הפיזי של מגה פיקסל של המטריצה. ספינות הדגל המודרניות של אנדרואיד עושות זאת באופן אוטומטי, מבלי שהמשתמשים שלהן אפילו חושבים על זה.

⇡#ערימת פוקוס - כל עומק שדה ומיקוד מחדש בפוסט פרודקשן

השיטה מגיעה מצילום מאקרו, שבו עומק שדה רדוד תמיד היה בעיה. כדי שהאובייקט כולו יהיה בפוקוס, היית צריך לקחת כמה פריימים כשהפוקוס עובר קדימה ואחורה, ואז לתפור אותם יחד לאחד חד. באותה שיטה השתמשו לעתים קרובות על ידי צלמי נוף, מה שהופך את החזית והרקע לחדים כמו שלשול.

כל זה עבר גם לסמארטפונים, אם כי בלי הרבה הייפ. בשנת 2013, נוקיה Lumia 1020 עם "אפליקציית Refocus" שוחררה, ובשנת 2014, Samsung Galaxy S5 עם מצב "סלקטיבי פוקוס". הם עבדו לפי אותה סכימה: על ידי לחיצה על כפתור, הם צילמו במהירות 3 תצלומים - אחד עם פוקוס "רגיל", השני עם המוקד הוסט קדימה והשלישי עם הפוקוס הוסט אחורה. התוכנית יישרה מסגרות ואיפשרה לך לבחור אחת מהן, שהוגדרה כבקרת מיקוד "אמיתית" בפוסט-פרודקשן.

לא היה עיבוד נוסף, כי אפילו הפריצה הפשוטה הזו הספיקה כדי לנעוץ מסמר נוסף במכסה של ליטרו ועמיתיו עם מיקוד ישר שלהם. אגב, בואו נדבר עליהם (מעבר מאסטר 80 lvl).

⇡#מטריצות חישוביות - שדות אור ופלנופטיקה

כפי שהבנו למעלה, המטריצות שלנו הן זוועה על קביים. פשוט התרגלנו לזה ומנסים לחיות עם זה. המבנה שלהם השתנה מעט מאז ראשית הזמן. רק שיפרנו את התהליך הטכני - צמצמנו את המרחק בין הפיקסלים, נלחמנו נגד רעשי הפרעות, והוספנו פיקסלים מיוחדים למיקוד אוטומטי לזיהוי פאזה. אבל אם תיקחו אפילו את ה-DSLR היקר ביותר ותנסו לצלם איתו חתול רץ בתאורת החדר - החתול, בלשון המעטה, ינצח.

ניסינו להמציא משהו טוב יותר כבר הרבה זמן. הרבה ניסיונות ומחקרים בתחום הזה מחפשים בגוגל "חיישן חישובי" או "חיישן שאינו בייר", ואפילו ניתן לייחס את הדוגמה של ה-Pixel Shifting לעיל לניסיונות לשפר מטריצות באמצעות חישובים. עם זאת, הסיפורים המבטיחים ביותר בעשרים השנים האחרונות הגיעו אלינו דווקא מעולם המצלמות הפלנופטיות כביכול.

כדי שלא תירדם מהציפייה למילים מורכבות הממשמשות ובא, אזרוק פנימה שהמצלמה של ה-Google Pixel העדכנית היא רק "קצת" פלנופטית. רק שני פיקסלים, אבל אפילו זה מאפשר לו לחשב את העומק האופטי הנכון של המסגרת גם ללא מצלמה שנייה, כמו כולם.

פלנופטיקה היא נשק רב עוצמה שעדיין לא ירה. הנה קישור לאחד האהובים עליי לאחרונה. מאמרים על היכולות של מצלמות פלנופטיות והעתיד שלנו איתן, משם שאלתי את הדוגמאות.

⇡#

מצלמה פלנופטית - בקרוב

הומצא ב-1994, נאסף בסטנפורד ב-2004. מצלמת הצרכנים הראשונה, Lytro, שוחררה בשנת 2012. תעשיית ה-VR מתנסה כעת באופן פעיל בטכנולוגיות דומות.

מצלמה פלנופטית שונה ממצלמה רגילה בשינוי אחד בלבד - המטריצה ​​שלה מכוסה ברשת של עדשות, שכל אחת מהן מכסה כמה פיקסלים אמיתיים. משהו כזה:

אם תחשב נכון את המרחק מהרשת למטריצה ​​ואת גודל הצמצם, בתמונה הסופית יהיו אשכולות ברורים של פיקסלים - מעין מיני גרסאות של התמונה המקורית.

מסתבר שאם תיקחו, נניח, פיקסל מרכזי אחד מכל אשכול ותדביקו את התמונה רק באמצעותם, היא לא תהיה שונה מזו שצולמה במצלמה רגילה. כן, איבדנו קצת ברזולוציה, אבל אנחנו פשוט נבקש מסוני להוסיף עוד מגה פיקסל במטריצות החדשות.

הכיף רק מתחיל. אם תיקח פיקסל נוסף מכל אשכול ותחבר את התמונה שוב, תקבל שוב תמונה רגילה, רק כאילו צולם בהזזה של פיקסל אחד. לפיכך, עם אשכולות של 10 × 10 פיקסלים, נקבל 100 תמונות של האובייקט מנקודות "קצת" שונות.

גודל אשכול גדול יותר פירושו יותר תמונות, אך רזולוציה נמוכה יותר. בעולם הסמארטפונים עם מטריצות של 41 מגה-פיקסל, למרות שאנחנו יכולים להזניח מעט את הרזולוציה, יש גבול לכל דבר. צריך לשמור על איזון.

אוקיי, הרכבנו מצלמה פלנופטית, אז מה זה נותן לנו?

מיקוד ישר

התכונה שכל העיתונאים זמזמו עליה בכתבות על ליטרו הייתה היכולת להתאים בכנות את המיקוד בפוסט-פרודקשן. בפי הוגן אנו מתכוונים שאיננו משתמשים באלגוריתמים מטשטשים כלשהם, אלא משתמשים אך ורק בפיקסלים שבהישג יד, בוחרים או ממצים אותם מקבוצות לפי הסדר הנדרש.

צילום RAW ממצלמה פלנופטית נראה מוזר. כדי להוציא ממנו את הג'יפ החד הרגיל, תחילה יש להרכיב אותו. לשם כך, עליך לבחור כל פיקסל של הג'יפ מאחד מאשכולות ה-RAW. בהתאם לאופן בו נבחר אותם, התוצאה תשתנה.

לדוגמה, ככל שהמקבץ רחוק יותר מנקודת ההתרחשות של הקרן המקורית, כך הקרן הזו יוצאת מפוקוס. כי אופטיקה. כדי לקבל תמונה שהוסטה בפוקוס, אנחנו רק צריכים לבחור פיקסלים במרחק הרצוי מהמקורי - קרוב יותר או רחוק יותר.

 

היה קשה יותר להעביר את המיקוד לכיוון עצמך - מבחינה פיזית גרידא, היו פחות פיקסלים כאלה באשכולות. בהתחלה, המפתחים אפילו לא רצו לתת למשתמש את היכולת להתמקד עם הידיים - המצלמה עצמה החליטה זאת בתוכנה. המשתמשים לא אהבו את העתיד הזה, אז הם הוסיפו תכונה בקושחה מאוחרת יותר שנקראת "מצב יצירתי", אבל הפכו את המיקוד מחדש בו מוגבל מאוד בדיוק מהסיבה הזו.

מפת עומק ותלת מימד ממצלמה אחת   

אחת הפעולות הפשוטות ביותר בפלנופטיקה היא השגת מפת עומק. כדי לעשות זאת, אתה רק צריך לאסוף שתי מסגרות שונות ולחשב כמה האובייקטים שבהם מוזזים. יותר תזוזה פירושה התרחקות מהמצלמה.

לאחרונה גוגל קנתה והרגה את Lytro, אבל השתמשה בטכנולוגיה שלה עבור ה-VR שלה ו... עבור מצלמת ה-Pixel. החל מ-Pixel 2, המצלמה הפכה "קצת" לפלנופטית בפעם הראשונה, אם כי עם אשכולות של שני פיקסלים בלבד. זה נתן לגוגל את ההזדמנות לא להתקין מצלמה שנייה, כמו כל שאר החבר'ה, אלא לחשב את מפת העומק רק מתמונה אחת.

מפת העומק בנויה באמצעות שתי פריימים המוזזים בתת-פיקסל אחד. זה מספיק כדי לחשב מפת עומק בינארית ולהפריד את החזית מהרקע ולטשטש את האחרון בבוקה האופנתי כעת. התוצאה של שכבות כזו מוחלקת ו"משופרת" גם על ידי רשתות עצביות שמאומנות לשפר מפות עומק (ולא לטשטש, כפי שאנשים רבים חושבים).

החוכמה היא שקיבלנו פלנופטיקה בסמארטפונים כמעט בחינם. כבר שמנו עדשות על המטריצות הזעירות האלה כדי להגביר איכשהו את שטף האור. בפיקסל הבא, גוגל מתכננת ללכת רחוק יותר ולכסות ארבע פוטודיודות בעדשה.

מקור: 3dnews.ru