تم نشر المقالة الأصلية على الموقع ونشرت على 3DNews بإذن من المؤلف. نقدم النص الكامل للمقال ، باستثناء عدد هائل من الروابط - ستكون مفيدة لأولئك المهتمين بجدية بالموضوع ويرغبون في دراسة الجوانب النظرية للتصوير الحسابي بمزيد من التعمق ، لكننا نظرنا هذه المواد زائدة عن الحاجة لجمهور واسع.
اليوم ، لا يكتمل أي عرض تقديمي للهاتف الذكي دون لعق الكاميرا. نسمع كل شهر عن نجاح آخر لكاميرات الهواتف المحمولة: تعلم Google Pixel كيفية التصوير في الظلام ، وتقوم Huawei بالتكبير مثل المنظار ، وتضع Samsung الليدار ، وتقوم Apple بعمل الزوايا المستديرة في العالم. هناك عدد قليل من الأماكن التي يتدفق فيها الابتكار بجرأة كبيرة الآن.
يبدو أن المرايا في نفس الوقت تحدد الوقت. تغمر Sony الجميع بمصفوفات جديدة كل عام ، ويقوم المصنعون بتحديث أحدث رقم من الإصدار بشكل كسول ويواصلون التدخين بشكل مريح على الهامش. لدي كاميرا DSLR بقيمة 3000 دولار على مكتبي ، لكن عندما أسافر ، أحمل جهاز iPhone. لماذا؟
كما قال الكلاسيكي ، دخلت عبر الإنترنت مع هذا السؤال. تمت مناقشة بعض "الخوارزميات" و "الشبكات العصبية" هناك ، وليس لدي أي فكرة عن كيفية تأثيرها بالضبط على التصوير الفوتوغرافي. قرأ الصحفيون بصوت عالٍ عدد الميغابكسل ، وشاهد المدونون عروض بيع مدفوعة في الكورس ، وشوه الجماليات أنفسهم بـ "الإدراك الحسي للوحة ألوان المصفوفة". كل شيء كالمعتاد.
كان علي أن أجلس وأقضي نصف حياتي وأكتشف ذلك بنفسي. سأخبرك في هذا المقال بما تعلمته.
ما هو التصوير الحاسوبي؟
في كل مكان ، بما في ذلك ويكيبيديا ، يقدمون شيئًا مثل هذا: التصوير الحسابي هو أي تقنية لالتقاط الصور ومعالجتها حيث يتم استخدام الحسابات الرقمية بدلاً من التحويلات البصرية. كل ما يتعلق به جيد ، إلا أنه لا يشرح شيئًا. حتى الضبط البؤري التلقائي يناسبه ، لكن الألواح الضوئية ، التي جلبت لنا بالفعل الكثير من الأشياء المفيدة ، لا تتناسب. يلمح غموض التعريفات الرسمية ، إذا جاز التعبير ، إلى أنه ليس لدينا أي فكرة عما نتحدث عنه.
يقدم رائد التصوير الحاسوبي في ستانفورد البروفيسور مارك ليفوي (المسؤول الآن عن الكاميرا في Google Pixel) تعريفًا مختلفًا - مجموعة من تقنيات التصوير بالكمبيوتر التي تعمل على تحسين أو توسيع إمكانيات التصوير الرقمي ، والتي عند استخدامها ، ينتج عنها عرض منتظم الصورة التي لا يمكن التقاطها من الناحية الفنية بهذه الكاميرا بالطريقة التقليدية. في المقال ، ألتزم به.
لذلك ، كانت الهواتف الذكية هي المسؤولة عن كل شيء.
لم يكن أمام الهواتف الذكية خيار سوى إعطاء الحياة لنوع جديد من التصوير: التصوير الحاسوبي.
يجب أن تسبب مصفوفاتهم الصغيرة المزعجة وعدساتهم الصغيرة غير المزودة بفتحة ، وفقًا لجميع قوانين الفيزياء ، الألم والمعاناة فقط. لقد فعلوا ذلك ، حتى اكتشف مطوروهم كيفية استخدام نقاط قوتهم بذكاء للتغلب على نقاط ضعفهم - مصاريع إلكترونية سريعة ومعالجات وبرامج قوية.
تقع معظم الأبحاث رفيعة المستوى في مجال التصوير الفوتوغرافي الحاسوبي في الفترة 2005-2015 ، والتي تعتبر في العلوم بالأمس حرفيًا. الآن ، أمام أعيننا وفي جيوبنا ، يتم تطوير مجال جديد من المعرفة والتكنولوجيا لم يكن موجودًا من قبل.
التصوير الحسابي لا يقتصر فقط على صور السيلفي ذات البوكيه العصبي. لم تكن الصورة الحديثة للثقب الأسود ممكنة بدون تقنيات التصوير الحاسوبي. لالتقاط مثل هذه الصورة باستخدام تلسكوب تقليدي ، يجب أن نجعلها بحجم الأرض. ومع ذلك ، من خلال دمج بيانات ثمانية تلسكوبات راديوية في نقاط مختلفة من منطادنا وكتابة بعض نصوص بيثون ، حصلنا على أول صورة في العالم لأفق الحدث. جيد للصور الشخصية أيضا.
البداية: المعالجة الرقمية
دعونا نتخيل أننا عدنا عام 2007. والدتنا في حالة فوضى وصورنا صاخبة 0,6 ميجابكسل سيارات جيب مسجلة على لوح تزلج. في ذلك الوقت ، كانت لدينا أول رغبة لا تقاوم لصب الإعدادات المسبقة عليها لإخفاء بؤس المصفوفات المتنقلة. دعونا لا ننكر أنفسنا.
ماتان وإنستغرام
مع إصدار Instagram ، أصبح الجميع مهووسًا بالفلاتر. بصفتي شخصًا قام بإجراء هندسة عكسية لـ X-Pro II و Lo-Fi و Valencia لأغراض البحث (ek) بالطبع ، ما زلت أتذكر أنها تتكون من ثلاثة مكونات:
- تعد إعدادات اللون (تدرج اللون ، والتشبع ، والإضاءة ، والتباين ، والمستويات ، وما إلى ذلك) نسبًا رقمية بسيطة ، تمامًا مثل أي إعداد مسبق استخدمه المصورون منذ العصور القديمة.
- تعيينات النغمة - متجهات القيم ، كل منها يخبرنا: "يجب أن يتحول اللون الأحمر مع تدرج لوني 128 إلى لون 240."
- تراكب - صورة نصف شفافة بها غبار وحبوب ونقوش صغيرة وكل شيء آخر يمكن تركيبه في الأعلى للحصول على تأثير فيلم قديم ليس عاديًا على الإطلاق. لم يكن دائما حاضرا.
المرشحات الحديثة ليست بعيدة عن هؤلاء الثلاثة ، لكنهم فقط أصبحوا أكثر تعقيدًا في الرياضيات. مع ظهور أدوات تظليل الأجهزة و OpenCL على الهواتف الذكية ، تمت إعادة كتابتها بسرعة لوحدة معالجة الرسومات (GPU) ، واعتبرت رائعة للغاية. لعام 2012 بالطبع. اليوم ، يمكن لأي طالب أن يفعل الشيء نفسه في CSS ، ولا يزال غير قادر على التخرج.
ومع ذلك ، فإن تقدم المرشحات اليوم لم يتوقف. الرجال من Dehanser ، على سبيل المثال ، رائعون في المرشحات غير الخطية - بدلاً من تعيين النغمة البروليتارية ، يستخدمون تحويلات غير خطية أكثر تعقيدًا ، والتي ، وفقًا لهم ، تفتح المزيد من الاحتمالات.
يمكن عمل الكثير من الأشياء باستخدام التحولات غير الخطية ، لكنها معقدة بشكل لا يصدق ، ونحن البشر أغبياء بشكل لا يصدق. بمجرد أن يتعلق الأمر بالتحولات غير الخطية في العلوم ، فإننا نفضل الخوض في الأساليب العددية وحشر الشبكات العصبية في كل مكان حتى يكتبوا لنا روائع. كان هو نفسه هنا.
أتمتة وأحلام الزر "تحفة"
بمجرد أن يعتاد الجميع على الفلاتر ، بدأنا في تركيبها مباشرة في الكاميرات. يخفي التاريخ الشركة المصنعة التي كانت الأولى ، ولكن فقط لفهم كم مضى عليها - في iOS 5.0 ، الذي تم إصداره بالفعل في عام 2011 ، كانت هناك بالفعل واجهة برمجة تطبيقات عامة لتحسين الصور تلقائيًا. وحده جوبز يعرف كم من الوقت كان قيد الاستخدام قبل طرحه للجمهور.
فعلت الأتمتة نفس الشيء مثل كل واحد منا ، حيث فتحت صورة في المحرر - سحبت الانخفاضات في الضوء والظلال ، وتراكمت على التشبع ، وأزيلت العيون الحمراء وثبتت البشرة. لم يعرف المستخدمون حتى أن "الكاميرا المحسّنة بشكل كبير" في الهاتف الذكي الجديد كانت فقط ميزة اثنين من أدوات التظليل الجديدة. مرت خمس سنوات قبل ظهور Google Pixel وبدء ضجيج التصوير الحاسوبي.
اليوم ، انتقلت المعارك من أجل زر "التحفة" إلى مجال التعلم الآلي. بعد أن لعب ما يكفي باستخدام تعيين النغمة ، سارع الجميع إلى تدريب شبكات CNN و GAN على تحريك أشرطة التمرير بدلاً من المستخدم. بمعنى آخر ، باستخدام صورة الإدخال ، حدد مجموعة من المعلمات المثلى التي من شأنها أن تجعل هذه الصورة أقرب إلى بعض الفهم الذاتي "للتصوير الفوتوغرافي الجيد". تم تنفيذه في نفس Pixelmator Pro والمحررين الآخرين. إنه يعمل ، كما قد تتخيل ، ليس كثيرًا وليس دائمًا.
يمثل التكديس 90٪ من نجاح كاميرا الهاتف المحمول
بدأ التصوير الحاسوبي الحقيقي بالتكديس - تكديس صور متعددة فوق بعضها البعض. لا يمثل الهاتف الذكي مشكلة في التقاط عشرات الإطارات في نصف ثانية. لا توجد أجزاء ميكانيكية بطيئة في الكاميرات: الفتحة مثبتة ، وبدلاً من الستار المتحرك ، يوجد مصراع إلكتروني. المعالج ببساطة يأمر المصفوفة بعدد ميكروثانية لالتقاط الفوتونات البرية ، ويقرأ النتيجة نفسها.
من الناحية الفنية ، يمكن للهاتف التقاط الصور بسرعة الفيديو والفيديو بدقة الصورة ، لكن كل شيء يعتمد على سرعة الناقل والمعالج. لذلك ، يضعون دائمًا حدودًا للبرامج.
كانت الرهانات نفسها معنا لفترة طويلة. حتى الأجداد قاموا بتثبيت المكونات الإضافية على Photoshop 7.0 لدمج العديد من الصور في HDR لافتة للنظر أو لصق بانوراما 18000 × 600 بكسل معًا و ... في الواقع ، لم يكتشف أحد ما يجب فعله بها بعد ذلك. كانت الأوقات الغنية ، للأسف ، جامحة.
الآن أصبحنا بالغين ونسميها "تصوير إبسيلون" - عندما ، عن طريق تغيير أحد معلمات الكاميرا (التعريض ، التركيز ، الموضع) ولصق الإطارات الناتجة ، نحصل على شيء لا يمكن التقاطه في إطار واحد. لكن هذا المصطلح يشير إلى المنظرين ، ولكن من الناحية العملية ترسخ اسم آخر - Staking. اليوم ، في الواقع ، 90٪ من جميع الابتكارات في الكاميرات المحمولة مبنية عليها.
شيء لا يفكر فيه الكثيرون ، ولكنه ضروري لفهم جميع صور الهاتف المحمول والحوسبة: تبدأ الكاميرا على الهاتف الذكي الحديث في التقاط الصور بمجرد فتح التطبيق. وهذا أمر منطقي ، لأنها تحتاج بطريقة ما إلى نقل الصورة إلى الشاشة. ومع ذلك ، بالإضافة إلى الشاشة ، فإنه يحفظ الإطارات عالية الدقة في المخزن المؤقت الدائري الخاص به ، حيث يحتفظ بها لبضع ثوانٍ أخرى.
عندما تضغط على زر "التقاط صورة" - تم التقاطها بالفعل ، تلتقط الكاميرا ببساطة الصورة الأخيرة من المخزن المؤقت.
هذه هي الطريقة التي تعمل بها أي كاميرا محمولة اليوم. على الأقل في كل الرائد ، وليس من أكوام القمامة. يسمح لك التخزين المؤقت بتنفيذ ليس فقط تأخر الغالق الصفري ، الذي كان المصورون يحلمون به لفترة طويلة ، ولكن حتى تأثير سلبي - عندما تضغط على الزر ، ينظر الهاتف الذكي إلى الماضي ، ويقوم بإفراغ آخر 5-10 صور من عازلة ويبدأ تحليلها بشكل محموم ولصقها. لا مزيد من الانتظار حتى ينقر الهاتف على الإطارات لـ HDR أو الوضع الليلي - فقط خذها من المخزن المؤقت ، لن يعرف المستخدم حتى.
بالمناسبة ، بمساعدة تأخر الغالق السلبي ، تم تنفيذ Live Photo في أجهزة iPhone ، وكان لدى HTC شيء مشابه في عام 2013 تحت الاسم الغريب Zoe.
تكديس التعرض - HDR ومحاربة اختلافات السطوع
ما إذا كانت مصفوفات الكاميرا قادرة على التقاط النطاق الكامل للسطوع المتاح لأعيننا هو موضوع ساخن قديم للنقاش. يقول البعض لا ، لأن العين قادرة على رؤية ما يصل إلى 25 نقطة توقف ، في حين يمكن سحب 14 كحد أقصى من أعلى مصفوفة كاملة الإطار. يصف البعض الآخر المقارنة بأنها غير صحيحة ، لأن الدماغ يساعد العين عن طريق الضبط التلقائي التلميذ وإكمال الصورة بشبكاتها العصبية ، وعلى الفور لا يزيد النطاق الديناميكي للعين عن 10-14 توقفات فقط. دعنا نترك هذه الحجج لأفضل مفكري الإنترنت.
تبقى الحقيقة: عند تصوير الأصدقاء في مواجهة سماء ساطعة بدون HDR على أي كاميرا محمولة ، ستحصل إما على سماء عادية ووجوه سوداء لأصدقائك ، أو أصدقاء مرسومين ، ولكن سماء محترقة حتى الموت.
تم اختراع الحل منذ فترة طويلة - لتوسيع نطاق السطوع باستخدام HDR (النطاق الديناميكي العالي). تحتاج إلى التقاط عدة لقطات بسرعات مصراع مختلفة ولصقها معًا. بحيث يكون أحدهما "عاديًا" ، والثاني أخف ، والثالث أغمق. نأخذ الأماكن المظلمة من إطار فاتح ، ونملأ التعرض المفرط من إطار مظلم - الربح. يبقى فقط حل مشكلة التصحيح التلقائي - كم يتم تحويل التعريض الضوئي لكل إطار حتى لا تبالغ فيه ، لكن طالبًا في السنة الثانية من الجامعة التقنية سوف يتعامل الآن مع تحديد متوسط سطوع الصورة.
على أحدث أجهزة iPhone و Pixels و Galaxy HDR ، يتم تشغيلها تلقائيًا بشكل عام عندما تحدد خوارزمية بسيطة داخل الكاميرا أنك تقوم بتصوير شيء ما مع التباين في يوم مشمس. يمكنك حتى أن تلاحظ كيف يقوم الهاتف بتحويل وضع التسجيل إلى المخزن المؤقت من أجل حفظ الإطارات التي تم تغييرها في التعريض الضوئي - تنخفض الإطارات في الثانية في الكاميرا ، وتصبح الصورة نفسها أكثر جاذبية. تظهر نقطة التبديل بوضوح على جهاز iPhone X الخاص بي عند التصوير في الهواء الطلق. ألق نظرة فاحصة على هاتفك الذكي في المرة القادمة أيضًا.
عيب HDR مع التعرض بين قوسين هو عجزه الذي لا يمكن اختراقه في الإضاءة السيئة. حتى تحت ضوء مصباح الغرفة ، تكون الإطارات مظلمة جدًا بحيث يتعذر على الكمبيوتر تقويمها ولصقها. لحل مشكلة الضوء في عام 2013 ، أظهرت Google طريقة مختلفة لتقنية HDR في هاتف Nexus الذكي الذي تم إصداره آنذاك. لقد استخدم وقت المداومة.
التراص الزمني - محاكاة التعريض الطويل والفاصل الزمني
يتيح لك تكديس الوقت الحصول على تعريض ضوئي طويل مع سلسلة من التعريضات القصيرة. كان الرواد من عشاق تصوير آثار النجوم في سماء الليل ، وكان من غير الملائم بالنسبة لهم فتح المصراع لمدة ساعتين في وقت واحد. كان من الصعب جدًا حساب جميع الإعدادات مسبقًا ، ومن أدنى اهتزاز ، خرج الإطار بالكامل مدللًا. قرروا فتح الغالق لبضع دقائق فقط ، ولكن عدة مرات ، ثم العودة إلى المنزل ولصق الإطارات الناتجة في Photoshop.
اتضح أن الكاميرا لم تلتقط في الواقع بسرعة مصراع بطيئة ، لكننا حصلنا على تأثير تقليدها من خلال إضافة عدة لقطات تم التقاطها على التوالي. بالنسبة للهواتف الذكية ، تمت كتابة مجموعة من التطبيقات لفترة طويلة باستخدام هذه الخدعة ، ولكن لم تعد هناك حاجة إليها جميعًا حيث تمت إضافة الميزة إلى جميع الكاميرات القياسية تقريبًا. اليوم ، حتى iPhone يمكنه بسهولة تجميع تعريض طويل من Live Photo.
دعنا نعود إلى Google مع HDR الليلي. اتضح أنه بمساعدة قصر الوقت ، يمكنك تحقيق HDR جيد في الظلام. ظهرت التقنية لأول مرة في Nexus 5 وسميت HDR +. تلقته بقية هواتف Android كهدية. لا تزال هذه التقنية شائعة جدًا لدرجة أنها تم الإشادة بها في العروض التقديمية لأحدث وحدات البكسل.
تعمل تقنية HDR + بكل بساطة: بعد أن قررت أنك تقوم بالتصوير في الظلام ، تقوم الكاميرا بتفريغ آخر 8-15 صورة بتنسيق RAW من المخزن المؤقت لتركيبها فوق بعضها البعض. وبالتالي ، فإن الخوارزمية تجمع المزيد من المعلومات حول المناطق المظلمة من الإطار لتقليل التشويش - البكسل ، حيث لسبب ما لم تتمكن الكاميرا من جمع كل المعلومات وإفسادها.
يبدو الأمر كما لو كنت لا تعرف شكل كابيبارا وطلبت من خمسة أشخاص أن يصفوها - ستكون قصصهم متشابهة إلى حد كبير ، لكن سيذكر كل منهم بعض التفاصيل الفريدة. بهذه الطريقة ستجمع معلومات أكثر من مجرد سؤال واحد. الشيء نفسه مع البكسل.
إضافة إطارات مأخوذة من نقطة واحدة تعطي نفس تأثير التعريض الطويل الزائف كما هو الحال مع النجوم أعلاه. يتم تلخيص التعرض لعشرات الإطارات ، ويتم تقليل الأخطاء على أحدها إلى الحد الأدنى في الآخرين. تخيل عدد المرات التي ستضطر فيها إلى النقر فوق مصراع الكاميرا الرقمية ذات العدسة الأحادية العاكسة (DSLR) لتحقيق ذلك.
بقي فقط لحل مشكلة التصحيح التلقائي للألوان - اللقطات التي يتم التقاطها في الظلام عادة ما تكون صفراء أو خضراء دون استثناء ، ونحن نريد نوعًا ما من ضوء النهار. في الإصدارات المبكرة من HDR + ، تم حل ذلك ببساطة عن طريق تعديل الإعدادات ، كما هو الحال في المرشحات على instagram. ثم طلبوا مساعدة الشبكات العصبية.
هكذا ظهر Night Sight - تقنية "التصوير الليلي" في Pixel 2 و 3. الوصف يقول ذلك: "تقنيات التعلم الآلي المبنية على HDR + ، والتي تجعل Night Sight تعمل". في الواقع ، هذا هو أتمتة مرحلة تصحيح الألوان. تم تدريب السيارة على مجموعة بيانات من صور "قبل" و "بعد" من أجل إنشاء واحدة جميلة من أي مجموعة من الصور الملتوية الداكنة.
بالمناسبة ، تم إتاحة مجموعة البيانات للجمهور. ربما يأخذها الرجال من Apple ويعلمون أخيرًا مجارفهم الزجاجية أن تطلق النار بشكل صحيح في الظلام.
بالإضافة إلى ذلك ، يستخدم Night Sight حساب متجه حركة الكائنات في الإطار لتطبيع التمويه ، والذي من المؤكد أنه يحدث بسرعات مصراع بطيئة. لذلك ، يمكن للهاتف الذكي أخذ أجزاء واضحة من الإطارات الأخرى ولصقها.
تكديس الحركة - بانوراما ، تكبير / تصغير فائق وتقليل الضوضاء
البانوراما هي هواية شعبية لسكان الريف. لا يعرف التاريخ حتى الآن الحالات التي تكون فيها صورة النقانق مثيرة للاهتمام لشخص آخر غير مؤلفها ، لكن من المستحيل عدم ذكرها - فبالنسبة للكثيرين ، بدأ التعقيد بهذا.
أول طريقة مفيدة لاستخدام البانوراما هي الحصول على صورة بدقة أعلى مما تسمح به مصفوفة الكاميرا عن طريق لصق عدة إطارات معًا. يستخدم المصورون منذ فترة طويلة برامج مختلفة لما يسمى بالصور فائقة الدقة - عندما يبدو أن الصور المنقولة قليلاً تكمل بعضها البعض بين وحدات البكسل. بهذه الطريقة ، يمكنك الحصول على صورة لا تقل عن مئات الجيجا بكسل ، وهو أمر مفيد للغاية إذا كنت بحاجة إلى طباعتها على ملصق إعلان بحجم المنزل.
طريقة أخرى أكثر إثارة للاهتمام هي Pixel Shifting. بدأت بعض الكاميرات التي لا تحتوي على مرايا مثل Sony و Olympus في دعمها منذ عام 2014 ، لكنهم ما زالوا مجبرين على لصق النتيجة يدويًا. ابتكارات نموذجية للكاميرات الكبيرة.
لقد نجحت الهواتف الذكية هنا لسبب مضحك - عندما تلتقط صورة ، ترتجف يديك. شكلت هذه المشكلة على ما يبدو الأساس لتنفيذ الدقة الفائقة الأصلية على الهواتف الذكية.
لفهم كيفية عملها ، عليك أن تتذكر كيف يتم ترتيب مصفوفة أي كاميرا. كل بكسل من وحدات البكسل (الثنائي الضوئي) قادر على تسجيل شدة الضوء فقط - أي عدد الفوتونات التي تطير فيها. ومع ذلك ، لا يمكن للبكسل قياس لونه (الطول الموجي). للحصول على صورة RGB ، كان علي أن أكدس هنا أيضًا على عكازات - قم بتغطية المصفوفة بأكملها بشبكة من الزجاج متعدد الألوان. يُطلق على التطبيق الأكثر شيوعًا اسم مرشح Bayer ويستخدم في معظم المصفوفات اليوم. تبدو مثل الصورة أدناه.
اتضح أن كل بكسل من المصفوفة لا يمسك إلا بمكون R- أو G- أو B ، لأن باقي الفوتونات ينعكس بلا رحمة بواسطة مرشح Bayer. يتعرف على المكونات المفقودة عن طريق حساب متوسط قيم وحدات البكسل المجاورة.
يوجد المزيد من الخلايا الخضراء في مرشح Bayer - تم إجراء ذلك عن طريق القياس بالعين البشرية. اتضح أنه من بين 50 مليون بكسل على المصفوفة ، سيتم التقاط 25 مليون بكسل للأخضر ، و 12,5 مليون لكل منهما للأحمر والأزرق. وسيتم حساب متوسط الباقي - تسمى هذه العملية إزالة الطبقة أو demomosaic ، وهذا عكاز مضحك للغاية كل شيء يقع.
في الواقع ، كل مصفوفة لها خوارزمية demosaicing الخاصة الحاصلة على براءة اختراع ، ولكن في إطار هذه القصة ، سوف نتجاهل ذلك.
الأنواع الأخرى من المصفوفات (مثل Foveon) لم تتجذر بعد على الإطلاق. على الرغم من أن بعض الشركات المصنعة تحاول استخدام المصفوفات بدون مرشح Bayer لتحسين الحدة والنطاق الديناميكي.
عندما يكون هناك القليل من الضوء أو تكون تفاصيل الكائن صغيرة جدًا ، فإننا نفقد الكثير من المعلومات ، لأن مرشح Bayer يقطع الفوتونات ذات الطول الموجي غير المرغوب فيه بوقاحة. لذلك ، توصلوا إلى فكرة القيام بـ Pixel Shifting - تحويل المصفوفة بمقدار 1 بكسل من أعلى إلى أسفل - يمين - يسار لالتقاطهم جميعًا. لا تظهر الصورة أكبر بـ 4 مرات ، كما قد يبدو ، يستخدم المعالج هذه البيانات ببساطة لتسجيل قيمة كل بكسل بدقة أكبر. إنه متوسط ليس على الجيران ، إذا جاز التعبير ، ولكن أكثر من أربع قيم لنفسه.
إن مصافحة أيدينا عند التقاط الصور بهاتفنا تجعل هذه العملية نتيجة طبيعية. في أحدث إصدارات Google Pixel ، يتم تنفيذ هذا الشيء وتشغيله كلما استخدمت ميزة التكبير / التصغير على الهاتف - يطلق عليه Super Res Zoom (نعم ، أنا أيضًا أحب تسميتها التي لا ترحم). قام الصينيون أيضًا بنسخها في لغتهم ، على الرغم من أنها اتضح أنها أسوأ قليلاً.
يتيح لك تراكب الصور المنقولة قليلاً فوق بعضها البعض جمع مزيد من المعلومات حول لون كل بكسل ، مما يعني تقليل التشويش وزيادة الحدة ورفع الدقة دون زيادة العدد المادي للميغابكسل للمصفوفة. تقوم شركات Android الحديثة بذلك تلقائيًا قبل أن يفكر المستخدمون في ذلك.
تكديس التركيز - أي عمق مجال وإعادة التركيز في مرحلة ما بعد الإنتاج
تأتي الطريقة من تصوير الماكرو ، حيث لطالما كان عمق المجال الضحل يمثل مشكلة. لكي يكون الكائن بأكمله في بؤرة التركيز ، كان علي أن آخذ عدة إطارات مع تحول التركيز للخلف وللأمام ، من أجل دمجها في إطار واحد حاد. غالبًا ما يستخدم مصورو المناظر الطبيعية نفس الطريقة ، مما يجعل المقدمة والخلفية حادة مثل الإسهال.
كل هذا انتقل أيضًا إلى الهواتف الذكية ، وإن لم يكن هناك الكثير من الضجيج. في عام 2013 ، تم طرح هاتف Nokia Lumia 1020 مع "تطبيق Refocus" ، وفي عام 2014 ، تم إصدار Samsung Galaxy S5 بوضع "التركيز الانتقائي". لقد عملوا وفقًا لنفس المخطط: بالضغط على زر ، التقطوا 3 صور بسرعة - واحدة ذات تركيز بؤري "عادي" ، والثانية مع تحويل للأمام والثالثة مع التبديل للخلف. يتيح لك البرنامج محاذاة الإطارات وتتيح لك تحديد أحدها ، والذي تم وصفه بأنه عنصر تحكم تركيز "حقيقي" في مرحلة ما بعد الإنتاج.
لم يكن هناك مزيد من المعالجة ، لأنه حتى هذا الاختراق البسيط كان كافياً لدفع مسمار آخر في غلاف Lytro ونظائره مع إعادة تركيزهم الصادق. بالمناسبة ، دعنا نتحدث عنهم (الانتقال الرئيسي 80 مستوى لفي).
المصفوفات الحسابية - الحقول الضوئية و plenoptics
كما فهمنا أعلاه ، فإن مصفوفاتنا هي الرعب على العكازين. لقد اعتدنا على ذلك للتو ونحاول التعايش معه. من حيث هيكلها ، فقد تغيرت قليلاً منذ بداية الزمن. لقد قمنا بتحسين العملية التقنية فقط - قللنا المسافة بين وحدات البكسل ، وعانينا من تشويش التداخل ، وأضفنا وحدات البكسل الخاصة للتركيز التلقائي للكشف عن الطور. لكن الأمر يستحق أخذ حتى أغلى DSLR ومحاولة إطلاق النار على قطة قيد التشغيل في إضاءة الغرفة - القطة ، بعبارة ملطفة ، ستفوز.
لقد حاولنا ابتكار شيء أفضل لفترة طويلة. تم البحث عن الكثير من المحاولات والأبحاث في هذا المجال من أجل "مستشعر حسابي" أو "مستشعر غير ثنائي الطبقات" ، وحتى مثال Pixel Shifting أعلاه يمكن أن يُعزى إلى محاولات تحسين المصفوفات باستخدام الحسابات. ومع ذلك ، فإن أكثر القصص الواعدة في العشرين عامًا الماضية تأتي إلينا على وجه التحديد من عالم ما يسمى بكاميرات plenoptic.
حتى لا تغفو تحسبا لوقوع كلمات صعبة وشيكة ، سألقي نظرة من الداخل على أن كاميرا أحدث Google Pixels هي مجرد نسخة "صغيرة". وحدتا بكسل فقط ، ولكن حتى هذا يسمح له بحساب عمق بصري صادق للإطار بدون كاميرا ثانية ، مثل أي شخص آخر.
إن Plenooptic هو سلاح قوي لم يطلق النار بعد. هنا رابط لواحد من المفضلين لدي حيث استعرت أمثلة من.
كاميرا Plenoptic - سيتم طرحها قريبًا
اخترع في عام 1994 ، وتم تجميعه في ستانفورد في عام 2004. تم إصدار أول كاميرا للمستهلك ، Lytro ، في عام 2012. تقوم صناعة الواقع الافتراضي بتجربة تقنيات مماثلة بنشاط.
تختلف الكاميرا العادية عن الكاميرا التقليدية في تعديل واحد فقط - المصفوفة الموجودة فيها مغطاة بشبكة من العدسات ، يغطي كل منها عدة وحدات بكسل حقيقية. شيء من هذا القبيل:
إذا قمت بحساب المسافة من الشبكة إلى المصفوفة بشكل صحيح وحجم الفتحة ، فإن الصورة النهائية ستنتج عناقيد واضحة من البكسل - نوع من نسخة مصغرة من الصورة الأصلية.
اتضح أنه إذا التقطت ، على سبيل المثال ، بكسلًا مركزيًا واحدًا من كل مجموعة وقمت بلصق الصورة عليها فقط ، فلن تختلف بأي شكل من الأشكال عن تلك التي تم التقاطها بكاميرا تقليدية. نعم ، فقدنا القليل من الدقة ، لكننا سنطلب من Sony فقط إضافة المزيد من الميغابكسل في المصفوفات الجديدة.
المتعة بدأت للتو. إذا أخذت بكسلًا آخر من كل مجموعة وقمت بلصق الصورة مرة أخرى ، فستحصل مرة أخرى على صورة عادية ، فقط كما لو تم التقاطها مع إزاحة بمقدار بكسل واحد. وبالتالي ، بوجود مجموعات من 10 × 10 بكسل ، سنحصل على 100 صورة للموضوع من نقاط مختلفة "قليلاً".
حجم المجموعة الأكبر يعني المزيد من الصور ، ولكن دقة أقل. في عالم الهواتف الذكية ذات المصفوفات بدقة 41 ميجابكسل ، على الرغم من أنه يمكننا إهمال الدقة قليلاً ، إلا أن كل شيء له حدود. عليك أن تحافظ على التوازن.
حسنًا ، لقد قمنا بتجميع كاميرا متكاملة ، وماذا يعطينا هذا؟
صادقة إعادة التركيز
الميزة التي أثارها جميع الصحفيين في مقالات حول Lytro كانت القدرة على ضبط التركيز بصدق في مرحلة ما بعد الإنتاج. من خلال الإنصاف ، فإننا نعني أننا لا نستخدم أي خوارزميات مزعجة ، ولكننا نستخدم فقط وحدات البكسل الموجودة في متناول اليد ، ونختارها أو نضعها في المتوسط من المجموعات بالترتيب الصحيح.
تبدو صورة RAW من الكاميرا المكشوفة غريبة. لإخراج سيارة الجيب الحادة المعتادة منها ، يجب عليك أولاً تجميعها. للقيام بذلك ، تحتاج إلى تحديد كل بكسل في الجيب من إحدى مجموعات RAW. اعتمادًا على كيفية اختيارنا لهم ، ستتغير النتيجة.
على سبيل المثال ، كلما كانت الكتلة أبعد من المكان الذي سقط فيه الشعاع الأصلي ، كلما كان هذا الشعاع خارج نطاق التركيز. لأن البصريات. للحصول على صورة غير مركزة ، نحتاج فقط إلى تحديد وحدات البكسل على المسافة التي نحتاجها من الأصل - إما أقرب أو أبعد.
كان من الصعب تحويل التركيز إلى الذات - جسديًا بحتًا ، كان هناك عدد أقل من وحدات البكسل في المجموعات. في البداية ، لم يرغب المطورون في منح المستخدم الفرصة للتركيز بأيديهم - فالكاميرا نفسها حلت هذا برمجيًا. لم يعجب المستخدمون بهذا المستقبل ، لأنه تمت إضافة ميزة في البرامج الثابتة لاحقًا تسمى "الوضع الإبداعي" ، ولكن إعادة التركيز فيها كانت محدودة للغاية لهذا السبب بالضبط.
خريطة العمق و 3 D من كاميرا واحدة
واحدة من أبسط العمليات في plenoptics هي الحصول على خريطة العمق. للقيام بذلك ، تحتاج فقط إلى جمع إطارين مختلفين وحساب كيفية إزاحة الكائنات عليهما. المزيد من التحول يعني الابتعاد عن الكاميرا.
اشترت Google مؤخرًا Lytro وقتلته ، لكنها استخدمت تقنيتها في VR و ... للكاميرا على Pixel. بدءًا من Pixel 2 ، ولأول مرة ، أصبحت الكاميرا "نوعًا ما" plenoptic ، وإن كان ذلك بمجموعات مكونة من وحدتي بكسل فقط. جعل هذا من الممكن لـ Google عدم تثبيت كاميرا ثانية ، مثل جميع اللاعبين الآخرين ، ولكن لحساب خريطة العمق من صورة واحدة فقط.
تم إنشاء خريطة العمق من إطارين تم إزاحتهما بواسطة بكسل فرعي واحد. هذا كافٍ تمامًا لحساب خريطة العمق الثنائية وفصل المقدمة عن الخلفية وطمس الأخير في بوكيه المألوف الآن. لا تزال نتيجة مثل هذه الطبقات يتم تنعيمها و "تحسينها" بواسطة الشبكات العصبية التي تم تدريبها لتحسين خرائط العمق (وليس التمويه ، كما يعتقد الكثير من الناس).
حيلة أخرى هي أننا حصلنا على plenoptics في الهواتف الذكية مجانًا تقريبًا. لقد وضعنا العدسات بالفعل على هذه المصفوفات الصغيرة من أجل زيادة ناتج الضوء بطريقة ما. في Pixel التالي ، تخطط Google للذهاب إلى أبعد من ذلك وتغطية أربعة صمامات ثنائية ضوئية بعدسة.
المصدر: 3dnews.ru