اصل مقاله در وب سایت قرار داده شده است و با اجازه نویسنده در 3DNews منتشر شد. ما متن کامل مقاله را به استثنای تعداد زیادی پیوند ارائه می دهیم - آنها برای کسانی که به طور جدی به موضوع علاقه مند هستند و مایلند جنبه های نظری عکاسی محاسباتی را با عمق بیشتری مطالعه کنند مفید خواهد بود. مخاطب عام ما این مطالب را اضافی در نظر گرفتیم.
امروزه حتی یک گوشی هوشمند بدون لیس زدن دوربین آن کامل نمی شود. هر ماه در مورد موفقیت بعدی دوربین های موبایل می شنویم: گوگل به پیکسل می آموزد که در تاریکی عکاسی کند، هوآوی مانند دوربین دوچشمی زوم کند، سامسونگ لیدار را وارد می کند و اپل گردترین گوشه های دنیا را می سازد. این روزها مکان های کمی وجود دارد که نوآوری به این سرعت در آن جریان دارد.
در عین حال، به نظر می رسد آینه ها زمان را نشان می دهند. سونی سالانه همه را با ماتریس‌های جدید پر می‌کند و سازندگان با تنبلی آخرین رقم نسخه را به‌روزرسانی می‌کنند و به استراحت و سیگار کشیدن در حاشیه ادامه می‌دهند. من یک DSLR 3000 دلاری روی میزم دارم، اما وقتی سفر می کنم، آیفونم را می گیرم. چرا؟
همانطور که کلاسیک گفت، من با این سوال آنلاین شدم. در آنجا آنها درباره برخی «الگوریتم‌ها» و «شبکه‌های عصبی» بحث می‌کنند، بدون اینکه هیچ ایده‌ای داشته باشند که دقیقاً چگونه بر عکاسی تأثیر می‌گذارند. روزنامه‌نگاران با صدای بلند تعداد مگاپیکسل‌ها را می‌خوانند، وبلاگ‌نویس‌ها جعبه‌گشایی‌های پولی را یکپارچه می‌بینند، و زیبایی‌شناسان خود را با «درک حسی از پالت رنگ ماتریس» آغشته می‌کنند. همه چیز طبق معمول است.
مجبور شدم بنشینم، نیمی از عمرم را صرف کنم و خودم همه چیز را بفهمم. در این مقاله آنچه را که یاد گرفتم به شما خواهم گفت.
عکاسی محاسباتی چیست؟
همه جا، از جمله ویکی‌پدیا، چیزی شبیه به این تعریف می‌کنند: عکاسی محاسباتی هر تکنیکی برای ضبط و پردازش تصویر است که از محاسبات دیجیتال به جای تبدیل‌های نوری استفاده می‌کند. همه چیز در مورد آن خوب است، به جز اینکه چیزی را توضیح نمی دهد. حتی فوکوس خودکار برای آن مناسب است، اما Plenoptics که قبلاً چیزهای مفید زیادی را برای ما به ارمغان آورده است، مناسب نیست. به نظر می رسد مبهم بودن تعاریف رسمی نشان می دهد که ما نمی دانیم در مورد چه چیزی صحبت می کنیم.
پیشگام عکاسی محاسباتی، پروفسور استنفورد، مارک لووی (که اکنون مسئول دوربین گوگل پیکسل است) تعریف دیگری ارائه می دهد - مجموعه ای از روش های تجسم رایانه ای که قابلیت های عکاسی دیجیتال را بهبود می بخشد یا گسترش می دهد، که با استفاده از آنها یک عکس معمولی به دست می آید. از نظر فنی نمی توان با این دوربین به روش سنتی گرفت. در مقاله من به این پایبند هستم.
بنابراین، گوشی های هوشمند مقصر همه چیز بودند.
گوشی های هوشمند چاره ای جز تولد نوع جدیدی از عکاسی نداشتند: عکاسی محاسباتی.
ماتریس های کوچک پر سر و صدا و لنزهای کوچک با دیافراگم آهسته آنها، طبق تمام قوانین فیزیک، باید فقط درد و رنج را به همراه داشته باشند. آنها این کار را انجام دادند تا زمانی که توسعه دهندگانشان متوجه شدند که چگونه می توانند به طور هوشمندانه از نقاط قوت خود برای غلبه بر نقاط ضعف خود استفاده کنند - شاترهای الکترونیکی سریع، پردازنده های قدرتمند و نرم افزار.
بیشتر تحقیقات پرمخاطب در زمینه عکاسی محاسباتی بین سال‌های 2005 تا 2015 رخ داده است که در علم به معنای واقعی کلمه دیروز در نظر گرفته می‌شود. در حال حاضر، در مقابل چشمان ما و در جیب ما، حوزه جدیدی از دانش و فناوری در حال توسعه است که قبلاً وجود نداشته است.
عکاسی محاسباتی فقط سلفی با نورو بوکه نیست. عکاسی اخیر از یک سیاهچاله بدون تکنیک های عکاسی محاسباتی امکان پذیر نبود. برای گرفتن چنین عکسی با یک تلسکوپ معمولی، باید آن را به اندازه زمین بسازیم. با این حال، با ترکیب داده های هشت تلسکوپ رادیویی در نقاط مختلف توپ و نوشتن چند اسکریپت به زبان پایتون، اولین عکس جهان از افق رویداد را به دست آوردیم. برای سلفی هم خوبه
شروع: پردازش دیجیتال
بیایید تصور کنیم که سال 2007 برگشتیم. مادر ما هرج و مرج است و عکس های ما جیپ های پر سر و صدا 0,6 مگاپیکسلی هستند که روی اسکیت بورد گرفته شده اند. تقریباً در آن زمان، ما اولین میل مقاومت ناپذیر را داریم که تنظیمات از پیش تعیین شده را روی آنها بپاشیم تا بدبختی ماتریس های متحرک را پنهان کنیم. خودمان را انکار نکنیم.
متان و اینستاگرام
با انتشار اینستاگرام همه گرفتار فیلترها شدند. به عنوان کسی که X-Pro II، Lo-Fi و Valencia را برای اهداف تحقیقاتی مهندسی معکوس انجام داد، هنوز به یاد دارم که آنها از سه جزء تشکیل شده بودند:
- تنظیمات رنگ (رنگ، اشباع، روشنایی، کنتراست، سطوح، و غیره) - ضرایب دیجیتال ساده، دقیقاً مانند هر پیش تنظیمی که عکاسان از زمان های قدیم استفاده می کردند.
- Tone Mappings بردار مقادیری هستند که هر کدام به ما می‌گویند: "رنگ قرمز با ته رنگ 128 باید به ته رنگ 240 تبدیل شود."
- روکش تصویری شفاف با گرد و غبار، دانه، وینیت و هر چیز دیگری است که می‌توان آن را روی آن قرار داد تا جلوه‌ی نه پیش پاافتاده یک فیلم قدیمی را به دست آورد. همیشه حضور نداشت.
فیلترهای مدرن از این سه گانه دور نیستند، فقط در ریاضیات کمی پیچیده تر شده اند. با ظهور سایه‌زن‌های سخت‌افزاری و OpenCL در گوشی‌های هوشمند، آنها به سرعت برای GPU بازنویسی شدند و این بسیار جالب در نظر گرفته شد. البته برای سال 2012. امروزه، هر دانش آموزی می تواند همین کار را در CSS انجام دهد و هنوز فرصتی برای فارغ التحصیلی پیدا نمی کند.
با این حال، پیشرفت فیلترها امروز متوقف نشده است. برای مثال، بچه‌های Dehanser در استفاده از فیلترهای غیرخطی عالی هستند - به جای نقشه‌برداری تن پرولتری، از تبدیل‌های غیرخطی پیچیده‌تر استفاده می‌کنند، که به گفته آنها، امکانات بسیار بیشتری را باز می‌کند.
شما می توانید بسیاری از کارها را با تبدیل های غیرخطی انجام دهید، اما آنها فوق العاده پیچیده هستند و ما انسان ها فوق العاده احمق هستیم. به محض اینکه نوبت به تحولات غیرخطی در علم می‌رسد، ترجیح می‌دهیم به سراغ روش‌های عددی برویم و همه جا شبکه‌های عصبی را پر کنیم تا برای ما شاهکار بنویسند. اینجا هم همینطور بود.
اتوماسیون و رویای یک دکمه "شاهکار".
وقتی همه به فیلترها عادت کردند، شروع کردیم به ساخت مستقیم آنها در دوربین. تاریخ پنهان می کند که کدام سازنده اولین بوده است، اما فقط برای اینکه بفهمیم چند وقت پیش بوده است - در iOS 5.0 که در سال 2011 منتشر شد، قبلاً یک API عمومی برای تصاویر بهبود خودکار وجود داشت. فقط جابز می داند که قبل از باز شدن برای عموم چه مدت استفاده شده است.
اتوماسیون همان کاری را انجام داد که هر یک از ما هنگام باز کردن عکس در ویرایشگر انجام می دهیم - شکاف های نور و سایه ها را از بین می برد، اشباع را اضافه می کند، قرمزی چشم ها را حذف می کند و رنگ چهره را ثابت می کند. کاربران حتی متوجه نشدند که "دوربین بهبود چشمگیر" در تلفن هوشمند جدید فقط شایستگی چند سایه زن جدید است. هنوز پنج سال تا انتشار گوگل پیکسل و شروع تبلیغات عکاسی محاسباتی باقی مانده بود.
امروز، نبرد برای دکمه "شاهکار" به حوزه یادگیری ماشینی منتقل شده است. پس از بازی به اندازه کافی با نگاشت تن، همه عجله کردند تا CNN و GAN را آموزش دهند تا به جای کاربر، اسلایدرها را جابجا کنند. به عبارت دیگر، از تصویر ورودی، مجموعه‌ای از پارامترهای بهینه را تعیین کنید که این تصویر را به درک ذهنی خاصی از «عکاسی خوب» نزدیکتر می‌کند. در همان Pixelmator Pro و سایر ویرایشگرها پیاده سازی شده است. همانطور که ممکن است حدس بزنید، کار می کند، نه خیلی خوب و نه همیشه.
Stacking 90 درصد از موفقیت دوربین های موبایل است
عکاسی محاسباتی واقعی با انباشتن چند عکس روی هم شروع شد. برای یک گوشی هوشمند مشکلی نیست که در نیم ثانیه روی ده فریم کلیک کند. دوربین های آنها هیچ بخش مکانیکی کندی ندارند: دیافراگم ثابت است و به جای پرده متحرک یک شاتر الکترونیکی وجود دارد. پردازنده به سادگی به ماتریس دستور می دهد که چند میکروثانیه باید فوتون های وحشی را بگیرد و نتیجه را می خواند.
از نظر فنی، گوشی می‌تواند با سرعت فیلمبرداری و با وضوح عکس فیلم بگیرد، اما همه اینها به سرعت اتوبوس و پردازنده بستگی دارد. به همین دلیل است که آنها همیشه محدودیت های برنامه را تعیین می کنند.
خود Staking برای مدت طولانی با ما بوده است. حتی پدربزرگ‌ها پلاگین‌هایی را روی فتوشاپ 7.0 نصب می‌کردند تا چندین عکس را در HDR چشم‌نواز جمع کنند یا یک پانورامای 18000 × 600 پیکسل را به هم بچسبانند و در واقع، هیچ‌کس نمی‌دانست که بعداً با آنها چه کند. حیف که روزگار غنی و وحشی بود.
اکنون ما بالغ شده ایم و آن را "عکاسی اپسیلون" می نامیم - وقتی با تغییر یکی از پارامترهای دوربین (نور، فوکوس، موقعیت) و دوختن فریم های به دست آمده، چیزی به دست می آوریم که نمی توان آن را در یک فریم ثبت کرد. اما این یک اصطلاح برای نظریه پردازان است؛ در عمل نام دیگری ریشه دوانده است - staking. امروزه در واقع 90 درصد از تمام نوآوری ها در دوربین های موبایل مبتنی بر آن است.
چیزی که بسیاری از مردم به آن فکر نمی کنند، اما برای درک همه عکاسی با موبایل و کامپیوتر مهم است: دوربین یک تلفن هوشمند مدرن به محض باز کردن برنامه آن شروع به عکس گرفتن می کند. این منطقی است، زیرا او باید به نحوی تصویر را به صفحه نمایش منتقل کند. با این حال، علاوه بر صفحه نمایش، فریم های با وضوح بالا را در بافر حلقه خود ذخیره می کند، جایی که آنها را برای چند ثانیه دیگر ذخیره می کند.
هنگامی که دکمه "عکس گرفتن" را فشار می دهید، در واقع قبلاً گرفته شده است، دوربین به سادگی آخرین عکس را از بافر می گیرد.
امروزه هر دوربین موبایلی اینگونه عمل می کند. حداقل در همه پرچمداران نه از انبوه زباله. بافر به شما این امکان را می دهد که نه تنها تاخیر شاتر صفر را که عکاسان مدت ها رویای آن را در سر می پرورانند، بلکه حتی منفی نیز درک کنید - وقتی دکمه ای را فشار می دهید، گوشی هوشمند به گذشته نگاه می کند، 5-10 عکس آخر را از بافر تخلیه می کند و شروع به تجزیه و تحلیل دیوانه وار می کند. و آنها را بچسبانید. دیگر منتظر کلیک کردن روی فریم‌ها برای HDR یا حالت شب نباشید - فقط آنها را از بافر بردارید، کاربر حتی نمی‌داند.
به هر حال، با کمک تاخیر شاتر منفی است که Live Photo در آیفون ها پیاده سازی می شود و HTC در سال 2013 چیزی مشابه با نام عجیب Zoe داشت.
انباشته شدن نوردهی - HDR و مبارزه با تغییرات روشنایی
اینکه آیا سنسورهای دوربین قادر به ثبت کل محدوده روشنایی قابل دسترسی برای چشمان ما هستند یا خیر، موضوع داغ قدیمی بحث است. برخی می گویند نه، زیرا چشم قادر است تا 25 f-stop را ببیند، در حالی که حتی از یک ماتریس فول فریم بالا می توانید حداکثر 14 را دریافت کنید. برخی دیگر این مقایسه را نادرست می گویند، زیرا مغز با تنظیم خودکار به چشم کمک می کند. مردمک و تکمیل تصویر با شبکه های عصبی آن، و آنی محدوده دینامیکی چشم در واقع بیش از 10-14 f-stop نیست. بیایید این بحث را به بهترین متفکران صندلی راحتی در اینترنت بسپاریم.
واقعیت همچنان باقی است: وقتی با هر دوربین موبایلی از دوستانتان در برابر آسمان روشن بدون HDR عکس می‌گیرید، یا یک آسمان معمولی و چهره‌های سیاه دوستان خواهید داشت یا دوستانی که به خوبی طراحی شده‌اند، اما آسمانی که تا حد مرگ می‌سوزد.
این راه حل مدت هاست اختراع شده است - برای گسترش محدوده روشنایی با استفاده از HDR (محدوده دینامیکی بالا). شما باید چندین فریم را با سرعت های مختلف شاتر بگیرید و آنها را به هم بپیچید. به طوری که یکی "عادی" است، دوم روشن تر است، سوم تیره تر است. ما مکان های تاریک را از یک قاب روشن می گیریم، نوردهی بیش از حد را از یک قاب تاریک پر می کنیم - سود. تنها چیزی که باقی می ماند حل مشکل براکت کردن خودکار است - چقدر باید نوردهی هر فریم را تغییر داد تا زیاده روی نشود، اما اکنون یک دانشجوی سال دوم در یک دانشگاه فنی می تواند با تعیین میانگین روشنایی یک عکس کار کند.
در جدیدترین آیفون‌ها، پیکسل و گلکسی، حالت HDR معمولاً به‌طور خودکار روشن می‌شود زمانی که یک الگوریتم ساده در داخل دوربین مشخص می‌کند که در یک روز آفتابی از چیزی با کنتراست عکس می‌گیرید. حتی می توانید متوجه شوید که چگونه تلفن حالت ضبط را به بافر تغییر می دهد تا فریم های تغییر یافته در نوردهی را ذخیره کند - فریم در ثانیه دوربین کاهش می یابد و خود تصویر آبدارتر می شود. لحظه تعویض به وضوح در آیفون X من هنگام فیلمبرداری در فضای باز قابل مشاهده است. دفعه بعد نیز نگاه دقیق تری به گوشی هوشمند خود بیندازید.
نقطه ضعف HDR با براکتینگ نوردهی، درماندگی غیرقابل نفوذ آن در نور ضعیف است. حتی با نور یک لامپ اتاق، قاب‌ها آنقدر تیره می‌شوند که کامپیوتر نمی‌تواند آنها را تراز کرده و به هم بپیچد. برای حل مشکل نور، در سال 2013 گوگل رویکرد متفاوتی را به HDR در گوشی هوشمند Nexus که در آن زمان عرضه شد نشان داد. او از زمان انباشته استفاده می کرد.
زمان انباشته - شبیه سازی نوردهی طولانی و گذشت زمان
انباشته زمان به شما امکان می دهد با استفاده از یک سری نوردهی کوتاه، یک نوردهی طولانی ایجاد کنید. پیشگامان از طرفداران عکاسی از مسیرهای ستارگان در آسمان شب بودند که باز کردن شاتر به مدت دو ساعت به طور همزمان برایشان ناخوشایند بود. محاسبه همه تنظیمات از قبل بسیار دشوار بود و کوچکترین تکان دادن کل کادر را خراب می کرد. آنها تصمیم گرفتند شاتر را فقط برای چند دقیقه باز کنند، اما بارها، و سپس به خانه رفتند و فریم های حاصل را در فتوشاپ چسباندند.
به نظر می رسد که دوربین در واقع هرگز با سرعت شاتر طولانی عکاسی نکرده است، اما ما با جمع کردن چندین فریم پشت سر هم، اثر شبیه سازی آن را دریافت کردیم. تعداد زیادی اپلیکیشن برای گوشی‌های هوشمند نوشته شده‌اند که از این ترفند برای مدت طولانی استفاده می‌کنند، اما از آنجایی که این ویژگی تقریباً به همه دوربین‌های استاندارد اضافه شده است، به همه آنها نیازی نیست. امروزه حتی یک آیفون می‌تواند به راحتی نوردهی طولانی را از یک عکس زنده به هم بچسباند.
بیایید با HDR شبانه خود به گوگل برگردیم. معلوم شد که با استفاده از زمان براکت می توانید HDR خوب را در تاریکی پیاده سازی کنید. این فناوری ابتدا در Nexus 5 ظاهر شد و HDR+ نام داشت. بقیه گوشی های اندرویدی آن را به عنوان هدیه دریافت کردند. این فناوری هنوز آنقدر محبوب است که حتی در ارائه جدیدترین پیکسل ها مورد تحسین قرار می گیرد.
HDR+ کاملاً ساده کار می‌کند: دوربین با تشخیص اینکه در تاریکی عکاسی می‌کنید، 8 تا 15 عکس RAW آخر را از بافر خارج می‌کند تا آنها را روی هم قرار دهد. بنابراین، الگوریتم اطلاعات بیشتری را در مورد نواحی تاریک قاب جمع‌آوری می‌کند تا نویز را به حداقل برساند - پیکسل‌هایی که به دلایلی دوربین قادر به جمع‌آوری تمام اطلاعات نبود و به خطا رفت.
مثل این است که اگر نمی‌دانستید یک کاپیبارا چه شکلی است و از پنج نفر می‌خواهید آن را توصیف کنند، داستان‌هایشان تقریباً یکسان بود، اما هر کدام جزئیات منحصربه‌فردی را ذکر می‌کردند. به این ترتیب شما اطلاعات بیشتری نسبت به درخواست یک نفر جمع آوری می کنید. در مورد پیکسل ها هم همینطور است.
افزودن فریم‌های گرفته‌شده از یک نقطه، همان اثر نوردهی طولانی جعلی را مانند ستاره‌های بالا می‌دهد. قرار گرفتن در معرض ده‌ها فریم خلاصه می‌شود، خطاها در یکی به حداقل می‌رسد. تصور کنید برای رسیدن به این هدف باید هر بار چند بار روی شاتر DSLR کلیک کنید.
تنها چیزی که باقی مانده بود حل مشکل تصحیح خودکار رنگ بود - فریم هایی که در تاریکی گرفته می شوند معمولاً زرد یا سبز می شوند و ما به نوعی غنای نور روز را می خواهیم. در نسخه‌های اولیه HDR+، این مشکل با تغییر تنظیمات، مانند فیلترهای اینستاگرام، حل شد. سپس از شبکه های عصبی برای کمک خواستند.
Night Sight اینگونه ظاهر شد - فناوری "عکاسی در شب" در Pixel 2 و 3. در توضیحات آنها می گویند: "تکنیک های یادگیری ماشینی ساخته شده بر روی HDR+ که باعث می شود Night Sight کار کند." در اصل، این اتوماسیون مرحله تصحیح رنگ است. این دستگاه بر روی مجموعه داده‌ای از عکس‌های «قبل» و «بعد» آموزش داده شد تا از هر مجموعه ای از عکس‌های کج تیره، یک عکس زیبا بسازد.
به هر حال، مجموعه داده در دسترس عموم قرار گرفت. شاید بچه های اپل آن را بگیرند و در نهایت به بیل های شیشه ای خود یاد بدهند که در تاریکی درست عکس بگیرند.
علاوه بر این، Night Sight از محاسبه بردار حرکت اجسام در کادر استفاده می کند تا تاری را که مطمئناً با سرعت شاتر طولانی رخ می دهد، عادی کند. بنابراین، گوشی هوشمند می تواند قطعات شفاف را از سایر قاب ها گرفته و آنها را بچسباند.
انباشته حرکت - پانوراما، سوپر زوم و کاهش نویز
پانوراما یک سرگرمی محبوب برای ساکنان مناطق روستایی است. تاریخ هنوز هیچ موردی را نمی شناسد که در آن یک عکس سوسیس برای کسی غیر از نویسنده آن جالب باشد، اما نمی توان آن را نادیده گرفت - برای بسیاری، در وهله اول انباشتن از اینجا شروع شد.
اولین راه مفید برای استفاده از پانوراما، به دست آوردن عکسی با وضوح بالاتر از آنچه ماتریس دوربین اجازه می دهد با دوخت چندین فریم به یکدیگر است. عکاسان مدتهاست که از نرم‌افزارهای مختلف برای عکس‌های به اصطلاح با وضوح فوق‌العاده استفاده می‌کنند - زمانی که عکس‌های کمی جابه‌جا شده به نظر می‌رسد که یکدیگر را بین پیکسل‌ها تکمیل می‌کنند. به این ترتیب می توانید تصویری با حداقل صدها گیگاپیکسل دریافت کنید که در صورت نیاز به چاپ آن بر روی پوستر تبلیغاتی به اندازه یک خانه بسیار مفید است.
یکی دیگر از رویکردهای جالب تر، تغییر پیکسل است. برخی از دوربین‌های بدون آینه مانند سونی و Olympus در سال 2014 شروع به پشتیبانی از آن کردند، اما همچنان باید نتیجه را با دست چسباندند. نوآوری های معمولی دوربین بزرگ.
گوشی‌های هوشمند به یک دلیل خنده‌دار در اینجا موفق شده‌اند - وقتی عکس می‌گیرید، دستان شما می‌لرزند. این مشکل به ظاهر پایه ای برای اجرای وضوح فوق العاده بومی بر روی گوشی های هوشمند بود.
برای درک اینکه چگونه این کار می کند، باید به یاد داشته باشید که ساختار ماتریس هر دوربین چگونه است. هر یک از پیکسل های آن (فتودیود) تنها قادر به ثبت شدت نور است - یعنی تعداد فوتون های ورودی. با این حال، یک پیکسل نمی تواند رنگ (طول موج) خود را اندازه گیری کند. برای به دست آوردن یک تصویر RGB، ما مجبور شدیم عصا را در اینجا نیز اضافه کنیم - کل ماتریس را با شبکه ای از قطعات شیشه ای چند رنگ بپوشانیم. محبوب ترین پیاده سازی آن فیلتر Bayer نام دارد و امروزه در اکثر ماتریس ها استفاده می شود. شبیه تصویر زیر است.
معلوم می شود که هر پیکسل ماتریس فقط جزء R-، G- یا B را می گیرد، زیرا فوتون های باقی مانده به طور بی رحمانه توسط فیلتر بایر منعکس می شوند. مولفه های گمشده را با میانگین گیری مستقیم مقادیر پیکسل های همسایه تشخیص می دهد.
سلول های سبز بیشتری در فیلتر Bayer وجود دارد - این کار با قیاس با چشم انسان انجام شد. به نظر می رسد که از 50 میلیون پیکسل روی ماتریس، سبز 25 میلیون، قرمز و آبی - هر کدام 12,5 میلیون پیکسل را به تصویر می کشد. که همه چیز آرام می گیرد
در واقع، هر ماتریس الگوریتم تخریب اختراع حیله‌گر خود را دارد، اما برای اهداف این داستان، ما از این موضوع غفلت خواهیم کرد.
انواع دیگر ماتریس ها (مانند Foveon) به نوعی هنوز مورد استفاده قرار نگرفته اند. اگرچه برخی از تولید کنندگان سعی می کنند از سنسورهای بدون فیلتر Bayer برای بهبود وضوح و محدوده دینامیکی استفاده کنند.
هنگامی که نور کمی وجود دارد یا جزئیات یک جسم بسیار کوچک است، اطلاعات زیادی را از دست می دهیم زیرا فیلتر بایر فوتون های با طول موج ناخواسته را به طور آشکار قطع می کند. به همین دلیل است که آنها Pixel Shifting را ارائه کردند - ماتریس را 1 پیکسل به بالا به پایین-راست-چپ تغییر دادند تا همه آنها را بگیرند. در این حالت، عکس 4 برابر بزرگتر به نظر نمی رسد، همانطور که به نظر می رسد، پردازنده به سادگی از این داده ها برای ثبت دقیق تر مقدار هر پیکسل استفاده می کند. به اصطلاح نه از همسایگان خود، بلکه بیش از چهار مقدار از خود میانگین می گیرد.
لرزش دستان ما هنگام عکس گرفتن با گوشی این فرآیند را به یک پیامد طبیعی تبدیل می کند. در آخرین نسخه‌های Google Pixel، هر زمان که از زوم روی گوشی استفاده می‌کنید، این مورد اجرا می‌شود و روشن می‌شود - به آن Super Res Zoom می‌گویند (بله، نام‌گذاری بی‌رحمانه آنها را هم دوست دارم). چینی ها نیز آن را در لائوفون خود کپی کردند، اگرچه کمی بدتر شد.
قرار دادن عکس‌های کمی جابه‌جا شده روی هم به شما امکان می‌دهد اطلاعات بیشتری در مورد رنگ هر پیکسل جمع‌آوری کنید، که به معنای کاهش نویز، افزایش وضوح و افزایش وضوح بدون افزایش تعداد فیزیکی مگاپیکسل ماتریس است. پرچمداران اندرویدی مدرن این کار را به صورت خودکار انجام می دهند، بدون اینکه کاربرانشان حتی به آن فکر کنند.
انباشته شدن فوکوس - هر عمق میدان و تمرکز مجدد در پس از تولید
این روش از عکاسی ماکرو می آید، جایی که عمق میدان کم همیشه یک مشکل بوده است. برای اینکه کل جسم در فوکوس قرار گیرد، باید چندین فریم را با فوکوس به جلو و عقب می‌گرفتید و سپس آنها را به هم وصل می‌کردید تا به یک فریم واضح تبدیل شود. از همین روش اغلب توسط عکاسان منظره استفاده می‌شد و پیش‌زمینه و پس‌زمینه را مانند اسهال واضح می‌کردند.
همه اینها به گوشی های هوشمند نیز منتقل شده است، اگرچه بدون هیاهو زیاد. در سال 2013، نوکیا لومیا 1020 با «برنامه فوکوس مجدد» و در سال 2014، سامسونگ گلکسی اس 5 با حالت «فوکوس انتخابی» عرضه شد. آنها طبق همان طرح کار می کردند: با فشار دادن یک دکمه، آنها به سرعت 3 عکس گرفتند - یکی با فوکوس "عادی"، دومی با فوکوس به جلو و سومی با فوکوس به عقب. این برنامه فریم ها را تراز کرد و به شما اجازه داد یکی از آنها را انتخاب کنید، که در پس از تولید به عنوان کنترل فوکوس "واقعی" تبلیغ می شد.
هیچ پردازش دیگری وجود نداشت، زیرا حتی همین هک ساده نیز کافی بود تا با تمرکز مجدد صادقانه، میخ دیگری را به درب Lytro و همتایان آن وارد کند. به هر حال، بیایید در مورد آنها صحبت کنیم (transition master 80 lvl).
ماتریس های محاسباتی - میدان های نوری و پلنوپتیک
همانطور که در بالا فهمیدیم، ماتریس های ما ترسناک روی عصا هستند. ما تازه به آن عادت کرده ایم و سعی می کنیم با آن زندگی کنیم. ساختار آنها از آغاز زمان اندکی تغییر کرده است. ما فقط فرآیند فنی را بهبود دادیم - فاصله بین پیکسل ها را کاهش دادیم، با نویز تداخلی مبارزه کردیم و پیکسل های ویژه ای برای فوکوس خودکار تشخیص فاز اضافه کردیم. اما اگر حتی گران‌ترین DSLR را بگیرید و سعی کنید با آن از یک گربه در حال اجرا در نور اتاق عکس بگیرید - گربه، به بیان ملایم، برنده خواهد شد.
ما مدتهاست که سعی کرده ایم چیز بهتری اختراع کنیم. بسیاری از تلاش‌ها و تحقیقات در این زمینه برای «حسگر محاسباتی» یا «حسگر غیر بایر» در گوگل جستجو شده‌اند، و حتی مثال تغییر پیکسل در بالا را می‌توان به تلاش‌ها برای بهبود ماتریس‌ها با استفاده از محاسبات نسبت داد. با این حال، امیدوارکننده‌ترین داستان‌ها در بیست سال اخیر دقیقاً از دنیای دوربین‌های موسوم به plenoptic به ما رسیده است.
برای اینکه از انتظار کلمات پیچیده قریب‌الوقوع به خواب نروید، به این نکته اشاره می‌کنم که دوربین جدیدترین Google Pixel فقط «کمی» پر نور است. فقط دو پیکسل، اما حتی این به آن اجازه می دهد تا عمق نوری صحیح قاب را حتی بدون دوربین دوم، مانند بقیه، محاسبه کند.
Plenoptics یک سلاح قدرتمند است که هنوز شلیک نکرده است. در اینجا یک پیوند به یکی از موارد اخیر مورد علاقه من است. ، که نمونه ها را از آنجا وام گرفتم.
دوربین Plenoptic - به زودی
در سال 1994 اختراع شد و در سال 2004 در استنفورد جمع آوری شد. اولین دوربین مصرفی، Lytro، در سال 2012 عرضه شد. صنعت VR اکنون به طور فعال در حال آزمایش با فناوری های مشابه است.
یک دوربین پلنوپتیک با یک دوربین معمولی تنها در یک اصلاح متفاوت است - ماتریس آن با شبکه ای از لنزها پوشیده شده است که هر کدام چندین پیکسل واقعی را پوشش می دهد. چیزی شبیه به این:
اگر فاصله شبکه تا ماتریس و اندازه دیافراگم را به درستی محاسبه کنید، تصویر نهایی دارای خوشه‌های واضحی از پیکسل خواهد بود - نوعی نسخه کوچک از تصویر اصلی.
معلوم می‌شود که اگر مثلاً یک پیکسل مرکزی را از هر خوشه بردارید و فقط با استفاده از آنها تصویر را به هم بچسبانید، تفاوتی با آنچه با یک دوربین معمولی گرفته می‌شود، نخواهد داشت. بله، وضوح کمی از دست داده ایم، اما فقط از سونی می خواهیم که مگاپیکسل های بیشتری را در ماتریس های جدید اضافه کند.
سرگرمی تازه شروع شده است. اگر یک پیکسل دیگر از هر خوشه بردارید و دوباره عکس را به هم بچسبانید، دوباره یک عکس معمولی خواهید داشت، فقط انگار با جابجایی یک پیکسل گرفته شده است. بنابراین، با داشتن خوشه های 10 × 10 پیکسل، 100 تصویر از شی را از نقاط "کمی" متفاوت دریافت خواهیم کرد.
اندازه خوشه بزرگتر به معنای تصاویر بیشتر، اما وضوح کمتر است. در دنیای گوشی‌های هوشمند با ماتریس‌های ۴۱ مگاپیکسلی، اگرچه می‌توانیم کمی از رزولوشن غافل شویم، اما هر چیزی محدودیتی دارد. شما باید تعادل را حفظ کنید.
خوب، ما یک دوربین Plenoptic مونتاژ کرده ایم، پس چه چیزی به ما می دهد؟
تمرکز مجدد صادقانه
ویژگی‌ای که همه روزنامه‌نگاران در مقاله‌های مربوط به Lytro درباره آن صحبت می‌کردند، توانایی تنظیم صادقانه تمرکز در پس از تولید بود. منظور ما از عادلانه این است که از هیچ الگوریتم رفع تاری استفاده نمی کنیم، بلکه منحصراً از پیکسل های موجود استفاده می کنیم و آنها را از خوشه ها به ترتیب مورد نیاز انتخاب می کنیم یا میانگین می گیریم.
عکاسی RAW از یک دوربین plenoptic عجیب به نظر می رسد. برای بیرون آوردن جیپ تیز معمولی از آن، ابتدا باید آن را مونتاژ کنید. برای این کار باید هر پیکسل جیپ را از یکی از خوشه های RAW انتخاب کنید. بسته به نحوه انتخاب آنها، نتیجه تغییر خواهد کرد.
به عنوان مثال، هر چه خوشه از نقطه برخورد پرتو اصلی دورتر باشد، این پرتو از فوکوس خارج می شود. چون اپتیک. برای به دست آوردن یک تصویر با تغییر فوکوس، فقط باید پیکسل ها را در فاصله دلخواه از تصویر اصلی انتخاب کنیم - نزدیکتر یا دورتر.
تغییر تمرکز به سمت خود دشوارتر بود - صرفاً از نظر فیزیکی، چنین پیکسل‌هایی در خوشه‌ها کمتر بود. در ابتدا، توسعه‌دهندگان حتی نمی‌خواستند به کاربر این امکان را بدهند که با دستان خود فوکوس کند - خود دوربین این را در نرم‌افزار تصمیم گرفت. کاربران این آینده را دوست نداشتند، بنابراین آنها یک ویژگی در سیستم عامل بعدی به نام "حالت خلاق" اضافه کردند، اما تمرکز مجدد در آن را دقیقاً به همین دلیل بسیار محدود کردند.
نقشه عمق و سه بعدی از یک دوربین
یکی از ساده ترین عملیات در پلنوپتیک به دست آوردن نقشه عمق است. برای این کار فقط باید دو فریم مختلف را جمع آوری کنید و محاسبه کنید که اشیاء در آنها چقدر جابجا شده اند. جابجایی بیشتر به معنای دورتر شدن از دوربین است.
گوگل اخیرا Lytro را خرید و از بین برد، اما از فناوری آنها برای VR و... برای دوربین پیکسل استفاده کرد. با شروع پیکسل 2، دوربین برای اولین بار "کمی" پر نور شد، البته با خوشه های تنها دو پیکسل. این به گوگل این فرصت را داد که مانند همه افراد دیگر دوربین دوم را نصب نکند، بلکه نقشه عمق را تنها از روی یک عکس محاسبه کند.
نقشه عمق با استفاده از دو فریم که با یک زیرپیکسل جابجا شده اند ساخته شده است. این برای محاسبه یک نقشه عمق باینری و جدا کردن پیش‌زمینه از پس‌زمینه و محو کردن دومی در بوکه مد روز کافی است. نتیجه چنین لایه‌بندی نیز توسط شبکه‌های عصبی که برای بهبود نقشه‌های عمق آموزش داده شده‌اند هموار و «بهبود» می‌یابند (و نه تاری، همانطور که بسیاری از مردم فکر می‌کنند).
ترفند این است که ما پلنوپتیک را در تلفن های هوشمند تقریباً رایگان دریافت کردیم. ما قبلاً لنزهایی را روی این ماتریس های کوچک قرار داده ایم تا به نحوی شار نور را افزایش دهیم. در پیکسل بعدی، گوگل قصد دارد پا را فراتر بگذارد و چهار فتودیود را با یک لنز بپوشاند.
منبع: 3dnews.ru