Өгүүллийн эхийг вэбсайтад нийтэлсэн мөн зохиогчийн зөвшөөрөлтэйгээр 3DNews дээр нийтэлсэн. Маш олон тооны холбоосыг эс тооцвол бид нийтлэлийг бүрэн эхээр нь хүргэж байна - энэ нь сэдвийг нухацтай сонирхож байгаа болон тооцооллын гэрэл зургийн онолын талыг илүү гүнзгий судлахыг хүсч буй хүмүүст хэрэгтэй болно, гэхдээ нийтлэг үзэгчид бид энэ материалыг шаардлагагүй гэж үзсэн.
Өнөөдөр нэг ч ухаалаг гар утасны танилцуулга камерыг долоохгүй байж болохгүй. Гар утасны камерын дараагийн амжилтын тухай бид сар бүр сонсдог: Google Pixel-д харанхуйд зураг авахыг, Huawei нь дуран шиг томруулахыг заадаг, Samsung lidar оруулдаг, Apple нь дэлхийн хамгийн дугуй булангуудыг хийдэг. Өнөө үед инноваци ийм хурдацтай хөгжиж байгаа газар цөөхөн байна.
Үүний зэрэгцээ толь нь цагийг тэмдэглэж байх шиг байна. Sony жил бүр хүн бүрийг шинэ матрицаар шүршүүрт оруулдаг бөгөөд үйлдвэрлэгчид хамгийн сүүлийн үеийн хувилбарын цифрийг залхуугаар шинэчилж, хажуу тийшээ амарч, тамхи татсаар байна. Миний ширээн дээр 3000 долларын үнэтэй DSLR байдаг ч аялахдаа iPhone-оо авдаг. Яагаад?
Сонгодог хэлснээр би энэ асуултаар интернетэд орлоо. Тэнд тэд гэрэл зурагт хэрхэн нөлөөлдөг талаар ямар ч ойлголтгүйгээр "алгоритм" болон "мэдрэлийн сүлжээ"-ийн талаар ярилцдаг. Сэтгүүлчид мегапикселийн тоог чангаар уншиж, блогчид төлбөртэй хайрцгийг нэг дор хөрөөдөж, гоо зүйчид "матрицын өнгөт палитрыг мэдрэхүйн мэдрэмжээр" өөрсдийгөө бохирдуулж байна. Бүх зүйл ердийнх шигээ.
Би суугаад амьдралынхаа хагасыг өнгөрөөж, бүх зүйлийг өөрөө шийдэх хэрэгтэй болсон. Энэ нийтлэлд би юу сурч мэдсэнээ танд хэлэх болно.
Тооцооллын гэрэл зураг гэж юу вэ?
Википедиа гэлтгүй хаа сайгүй тэд ийм тодорхойлолт өгдөг: тооцооллын гэрэл зураг гэдэг нь оптик хувиргалтын оронд дижитал тооцоолол ашигладаг аливаа зураг авах, боловсруулах техник юм. Юу ч тайлбарлаагүйг эс тооцвол бүх зүйл сайхан байна. Автофокус ч үүнд тохиромжтой, гэхдээ бидэнд олон ашигтай зүйлийг аль хэдийн авчирсан пленоптик нь тохирохгүй байна. Албан ёсны тодорхойлолтууд тодорхой бус байгаа нь бид юу ярьж байгаагаа мэдэхгүй байгааг илтгэж байх шиг байна.
Тооцооллын гэрэл зургийн анхдагч, Стэнфордын профессор Марк Левой (одоо Google Pixel-ийн камерыг хариуцдаг) өөр нэг тодорхойлолтыг өгдөг - дижитал гэрэл зургийн чадавхийг сайжруулдаг эсвэл өргөжүүлдэг компьютерийн дүрслэх аргуудын багц бөгөөд үүнийг ашиглан ердийн гэрэл зургийг авдаг. Энэ камераар техникийн хувьд авах боломжгүй. уламжлалт аргаар камер. Нийтлэлд би үүнийг дагаж мөрддөг.
Тиймээс бүх зүйлд ухаалаг утас буруутай.
Ухаалаг гар утаснууд гэрэл зургийн шинэ төрлийг төрүүлэхээс өөр аргагүй болсон: тооцооллын гэрэл зураг.
Тэдний жижиг чимээ шуугиантай матрицууд, жижиг удаан диафрагмын линз нь физикийн бүх хуулийн дагуу зөвхөн өвдөлт, зовлон зүдгүүрийг авчрах ёстой байв. Хөгжүүлэгчид өөрсдийн сул тал болох хурдан электрон хаалт, хүчирхэг процессор, программ хангамжийг даван туулахын тулд хүч чадлаа хэрхэн ухаалаг ашиглах талаар олж мэдэх хүртэл тэд үүнийг хийсэн.
Тооцооллын гэрэл зургийн чиглэлээр хийгдсэн томоохон судалгааны ихэнх нь 2005-2015 оны хооронд хийгдсэн бөгөөд үүнийг шинжлэх ухаанд өчигдөр шууд утгаар нь авч үздэг. Яг одоо бидний нүдэн дээр, бидний халаасанд урьд өмнө байгаагүй шинэ мэдлэг, технологийн салбар хөгжиж байна.
Тооцооллын гэрэл зураг бол зөвхөн нейро-боке ашиглан сельфи хийх зүйл биш юм. Хар нүхний саяхны зургийг тооцоолох гэрэл зургийн техникгүйгээр авах боломжгүй байсан. Энгийн дурангаар ийм зураг авахын тулд бид үүнийг дэлхийн хэмжээтэй болгох хэрэгтэй. Гэсэн хэдий ч бид бөмбөгөн дээрээ өөр өөр цэгт байрлах найман радио телескопоос авсан өгөгдлийг нэгтгэж, Python хэл дээр цөөн хэдэн скрипт бичснээр дэлхийн хамгийн анхны үйл явдлын тэнгэрийн зургийг авсан. Мөн селфи хийхэд тохиромжтой.
Эхлэх: дижитал боловсруулалт
Бид 2007 онд буцаж ирлээ гэж төсөөлөөд үз дээ. Манай ээж анархи, бидний зураг бол скейтборд дээр авсан шуугиантай 0,6 мегапикселийн жийп юм. Ойролцоогоор бид хөдөлгөөнт матрицын өрөвдөлтэй байдлыг нуухын тулд тэдгээрийн дээр урьдчилан тохируулагчийг цацах анхны эсэргүүцэх хүсэл эрмэлзэлтэй болсон. Өөрсдийгөө үгүйсгэхгүй байцгаая.
Матан ба Instagram
Инстаграмыг гаргаснаар хүн бүр шүүлтүүрт хэт автсан. Мэдээжийн хэрэг судалгааны зорилгоор X-Pro II, Lo-Fi болон Валенсиа загваруудыг урвуу инженерчилсэн хүний хувьд эдгээр нь гурван бүрэлдэхүүн хэсгээс бүрдэж байсныг би одоо ч санаж байна.
- Өнгөний тохиргоо (Өнгө, ханасан байдал, цайвар байдал, тодосгогч, түвшин гэх мэт) - гэрэл зурагчдын эрт дээр үеэс хэрэглэж байсан бүх урьдчилсан тохируулгууд шиг энгийн дижитал коэффициентүүд.
- Өнгөний зураглал нь утгын векторууд бөгөөд тус бүр нь "128-ийн өнгө бүхий улаан өнгийг 240-ийн өнгө болгон хувиргах ёстой."
- Давхарга гэдэг нь тоос шороо, үр тариа, виньет болон бусад бүх зүйлийг агуулсан тунгалаг зураг бөгөөд хуучин хальснаас огт гаж нөлөө үзүүлэхгүй. Байнга байгаагүй.
Орчин үеийн шүүлтүүрүүд энэ гурваас холгүй, зөвхөн математикийн хувьд арай илүү төвөгтэй болсон. Ухаалаг гар утсан дээр техник хангамжийн шэйдер болон OpenCL гарч ирснээр тэдгээрийг GPU-д зориулж хурдан бичсэн бөгөөд энэ нь үнэхээр гайхалтай гэж тооцогддог. Мэдээж 2012 оны хувьд. Өнөөдөр ямар ч оюутан CSS дээр ижил зүйлийг хийж чадна, тэр төгсөх боломж олдохгүй хэвээр байна.
Гэсэн хэдий ч шүүлтүүрийн ажил өнөөдөр зогссонгүй. Жишээлбэл, Дехансерын залуус шугаман бус шүүлтүүрийг ашиглахдаа гайхалтай байдаг - пролетарийн өнгөний зураглалын оронд илүү төвөгтэй шугаман бус хувиргалтыг ашигладаг бөгөөд энэ нь тэдний үзэж байгаагаар илүү их боломжийг нээж өгдөг.
Шугаман бус хувиргалтын тусламжтайгаар та маш олон зүйлийг хийж чадна, гэхдээ тэдгээр нь маш нарийн төвөгтэй бөгөөд хүмүүс бид үнэхээр тэнэг юм. Шинжлэх ухаан дахь шугаман бус хувиргалтуудын тухайд бид тоон аргууд руу шилжиж, мэдрэлийн сүлжээг хаа сайгүй шахаж, бидэнд зориулж шилдэг бүтээл бичихийг илүүд үздэг. Энд ч мөн адил байсан.
Автоматжуулалт ба "бүтээл" товчлуурыг мөрөөддөг
Хүн бүр шүүлтүүрт дассан бол бид тэдгээрийг шууд камер болгон бүтээж эхэлсэн. Түүх нь аль үйлдвэрлэгч болохыг нуудаг, гэхдээ энэ нь хэр удаан байсныг ойлгохын тулд - 5.0 онд гарсан iOS 2011-д зургийг автоматаар сайжруулах олон нийтийн API аль хэдийн байсан. Олон нийтэд нээхээс өмнө хэр удаан ашиглагдаж байсныг зөвхөн Жобс л мэднэ.
Автоматжуулалт нь засварлагч дээр зураг нээхэд бидний хүн нэг бүр хийдэгтэй ижил зүйлийг хийсэн - гэрэл, сүүдрийн цоорхойг гаргаж, ханасан байдлыг нэмж, улаан нүдийг арилгаж, арьсны өнгийг зассан. Хэрэглэгчид шинэ ухаалаг гар утсан дээрх "үнэхээр сайжруулсан камер" нь зөвхөн хэд хэдэн шинэ шэйдерүүдийн гавьяа гэдгийг ойлгосонгүй. Google Pixel худалдаанд гарч, тооцооллын гэрэл зургийн шуугиан эхлэхэд таван жил үлдлээ.
Өнөөдөр "бүтээл" товчлуурын төлөөх тэмцэл машин сургалтын талбарт шилжлээ. Аяны зураглалаар хангалттай тоглосны дараа бүгд CNN болон GAN-уудыг хэрэглэгчийн оронд гулсагчийг хөдөлгөж сургах гэж яарав. Өөрөөр хэлбэл, оруулсан зургаас энэ зургийг "сайн гэрэл зураг" гэсэн тодорхой субъектив ойлголтод ойртуулах оновчтой параметрүүдийг тодорхойлно. Ижил Pixelmator Pro болон бусад редакторуудад хэрэгжсэн. Энэ нь таны таамаглаж байгаагаар тийм ч сайн биш бөгөөд үргэлж ажилладаггүй.
Зөөврийн камерын амжилтын 90% нь давхарлах явдал юм
Жинхэнэ тооцооллын гэрэл зураг нь хэд хэдэн гэрэл зургийг давхарлан байрлуулахаас эхэлсэн. Ухаалаг утас хагас секундын дотор хэдэн арван фрэйм дарна гэдэг асуудал биш. Тэдний камер нь удаан механик хэсгүүдгүй: апертур нь тогтмол, хөдөлгөөнт хөшигний оронд электрон хаалт байдаг. Процессор нь матрицад хэдэн микросекундэд зэрлэг фотонуудыг барихыг командлаад, үр дүнг уншдаг.
Техникийн хувьд утас нь видеоны хурдаар зураг авах боломжтой, мөн зургийн нягтралаар видео авах боломжтой боловч бүх зүйл автобусны хурд болон процессороос хамаарна. Тийм ч учраас тэд үргэлж хөтөлбөрийн хязгаарыг тогтоодог.
Стейкинг өөрөө бидэнтэй хамт байсаар удаж байна. Өвөө нар хүртэл Photoshop 7.0 дээр хэд хэдэн гэрэл зургуудыг анхаарал татахуйц HDR болгон цуглуулж эсвэл 18000 × 600 пикселийн панорама нэгтгэхийн тулд залгаасуудыг суулгасан ба ... үнэндээ хэн ч дараа нь тэдэнтэй юу хийхээ бодож байгаагүй. Цаг үе баян, зэрлэг байсан нь харамсалтай.
Одоо бид насанд хүрэгчид болсон бөгөөд үүнийг "эпсилон гэрэл зураг" гэж нэрлэх болсон - камерын параметрүүдийн аль нэгийг (өртөх, фокус, байрлал) өөрчилснөөр үүссэн хүрээг хооронд нь холбож, нэг кадрт авах боломжгүй зүйлийг олж авдаг. Гэхдээ энэ бол онолчдод зориулсан нэр томъёо бөгөөд практик дээр өөр нэр суурьшсан - гацах. Өнөөдөр гар утасны камерын бүх шинэчлэлийн 90% нь үүн дээр тулгуурладаг.
Олон хүмүүсийн боддоггүй, гэхдээ гар утасны болон компьютерийн гэрэл зургийн талаар бүх зүйлийг ойлгох нь чухал зүйл: орчин үеийн ухаалаг гар утасны камер нь програмаа нээмэгц зураг авч эхэлдэг. Энэ нь логик юм, учир нь тэр ямар нэгэн байдлаар зургийг дэлгэц рүү шилжүүлэх хэрэгтэй. Гэсэн хэдий ч дэлгэцээс гадна өндөр нарийвчлалтай фреймүүдийг өөрийн давталтын буферт хадгалж, хэдэн секундын турш хадгалдаг.
"Зураг авах" товчийг дарахад энэ нь аль хэдийн авсан, камер буферээс хамгийн сүүлийн зургийг авдаг.
Өнөөдөр ямар ч хөдөлгөөнт камер ингэж ажилладаг. Наад зах нь бүх тэргүүлэх үйлдвэрүүдэд хогийн савнаас биш. Буфержуулалт нь гэрэл зурагчдын удаан хугацааны турш мөрөөдөж байсан хөшигний хоцролтыг тэглэхээс гадна сөрөг талыг ойлгох боломжийг олгодог - товчлуурыг дарахад ухаалаг утас өнгөрсөн үеийг харж, буферээс сүүлийн 5-10 зургийг буулгаж, улайран дүн шинжилгээ хийж эхэлдэг. мөн тэдгээрийг буулгана уу. Утаснаас HDR эсвэл шөнийн горимд зориулсан фрэймүүдийг товшихыг хүлээх шаардлагагүй - зүгээр л буферээс ав, хэрэглэгч өөрөө ч мэдэхгүй.
Дашрамд дурдахад, Live Photo програмыг iPhone-д хачирхалтай хоцрогдолтойгоор нэвтрүүлсэн бөгөөд HTC нь 2013 онд Zoe хэмээх хачирхалтай нэрээр ижил төстэй зүйлтэй байсан.
Exposure stacking - HDR болон гэрэлтүүлгийн өөрчлөлттэй тэмцэх
Камерын мэдрэгч нь бидний нүдэнд харагдахуйц гэрэлтүүлгийн бүх хүрээг авах чадвартай эсэх нь маргааны сэдэв юм. Зарим нь үгүй гэж хэлдэг, учир нь нүд нь 25 хүртэлх цэгийг харах чадвартай байдаг бол дээд хэмжээний бүрэн кадртай матрицаас ч дээд тал нь 14-ийг харж болно. Зарим нь энэ харьцуулалтыг буруу гэж нэрлэдэг, учир нь тархи нь нүдийг автоматаар тохируулах замаар нүдэнд тусалдаг. хүүхэн хараа, мэдрэлийн сүлжээнүүдийн тусламжтайгаар дүрсийг дуусгах ба агшин зуур Нүдний динамик хүрээ нь үнэндээ 10-14 f-зогсоолоос хэтрэхгүй. Энэ мэтгэлцээнийг интернетийн шилдэг түшлэгтэй сэтгэгчдэд үлдээе.
Бодит байдал хэвээр байна: ямар ч гар утасны камер дээр HDR-гүй гэрэлт тэнгэрийн эсрэг найзуудаа буудах үед та энгийн тэнгэр, найз нөхдийнхөө хар царай эсвэл сайн зурсан найзуудыг олж авах болно, гэхдээ тэнгэр шатаж үхэх болно.
HDR (Өндөр динамик хүрээ) ашиглан гэрэлтүүлгийн хүрээг өргөжүүлэх шийдэл нь эртнээс зохион бүтээгдсэн. Та янз бүрийн хөшигний хурдтай хэд хэдэн фрэйм авч, тэдгээрийг хооронд нь холбох хэрэгтэй. Тиймээс нэг нь "хэвийн", хоёр дахь нь цайвар, гурав дахь нь бараан өнгөтэй байна. Бид гэрлийн хүрээнээс харанхуй газруудыг авч, харанхуйгаас хэт их өртөлтийг нөхдөг - ашиг. Автомат хаалтанд оруулах асуудлыг шийдэх л үлдлээ - үүнийг хэтрүүлэхгүйн тулд хүрээ тус бүрийн өртөлтийг хэр их шилжүүлэх вэ, гэхдээ одоо техникийн их сургуулийн XNUMX-р курсын оюутан зургийн дундаж тод байдлыг тодорхойлох боломжтой.
Хамгийн сүүлийн үеийн iPhone, Pixel болон Galaxy дээр камер доторх энгийн алгоритм таныг нартай өдөр тодосгогчтой ямар нэгэн зүйл авч байгааг тодорхойлох үед HDR горим ерөнхийдөө автоматаар асдаг. Өртөлтөд шилжсэн фрэймүүдийг хадгалахын тулд утас бичлэгийн горимыг буфер руу хэрхэн шилжүүлж байгааг та анзаарч болно - камер дахь fps буурч, зураг өөрөө илүү шүүслэг болдог. Гадаа зураг авалт хийх үед миний iPhone X дээр шилжих мөч тод харагдаж байна. Дараагийн удаа ч бас ухаалаг утсаа сайтар хараарай.
Өртөх хаалт бүхий HDR-ийн сул тал бол гэрэлтүүлэг муутай үед үл нэвтрэх чадваргүй байдал юм. Өрөөний чийдэнгийн гэрэлтэй байсан ч хүрээнүүд нь харанхуй болж хувирдаг тул компьютер тэдгээрийг хооронд нь холбож, хооронд нь холбож чадахгүй. Гэрлийн асуудлыг шийдэхийн тулд 2013 онд Google тухайн үед Nexus ухаалаг гар утсанд HDR-д өөр хандлагыг харуулсан. Тэрээр цаг овоолох аргыг ашигласан.
Хугацаа овоолох - урт өртөлтийн симуляци ба цаг хугацааны алдагдал
Хугацаа овоолох нь хэд хэдэн богино зургийг ашиглан урт экспозиция үүсгэх боломжийг олгодог. Анхдагчид нь шөнийн тэнгэрт оддын замд гэрэл зураг авах дуртай байсан тул хаалтыг нэг дор хоёр цагийн турш онгойлгох нь тохиромжгүй гэж үздэг байв. Бүх тохиргоог урьдчилан тооцоолоход маш хэцүү байсан бөгөөд бага зэрэг сэгсрэх нь бүхэл бүтэн хүрээг сүйтгэх болно. Тэд хаалтыг хэдхэн минутын турш, гэхдээ олон удаа онгойлгохоор шийдсэн бөгөөд дараа нь гэртээ харьж, үүссэн жаазыг Photoshop дээр буулгав.
Энэ нь камер хэзээ ч урт Хөшигний хурдаар буудаж байгаагүй нь харагдаж байна, гэхдээ бид дараалан авсан хэд хэдэн фрэймийг нэмснээр үүнийг дуурайх эффектийг олж авсан. Ухаалаг гар утсанд зориулж энэ аргыг удаан хугацаанд ашигладаг олон тооны програмууд бичигдсэн байсан ч бараг бүх стандарт камерт энэ функц нэмэгдсэн тул бүгдийг нь ашиглах шаардлагагүй болно. Өнөөдөр iPhone ч гэсэн Live Photo-оос урт хугацааны зургийг хялбархан холбож чаддаг.
Шөнийн HDR-тэй нь Google рүү буцаж орцгооё. Цагийн хаалт ашиглан та харанхуйд сайн HDR-ийг хэрэгжүүлэх боломжтой болсон. Энэхүү технологи нь анх Nexus 5 дээр гарч ирсэн бөгөөд HDR+ гэж нэрлэгддэг. Бусад Андройд утаснууд үүнийг бэлэг болгон авсан. Энэхүү технологи нь маш алдартай хэвээр байгаа тул хамгийн сүүлийн үеийн Pixels-ийн танилцуулгад хүртэл магтдаг.
HDR+ нь маш энгийн байдлаар ажилладаг: таныг харанхуйд зураг авалт хийж байгаа эсэхийг тогтоосны дараа камер сүүлийн 8-15 RAW зургийг буферээс буулгаж, тэдгээрийг давхарлан байрлуулна. Тиймээс алгоритм нь дуу чимээг багасгахын тулд хүрээний харанхуй хэсгүүдийн талаар илүү их мэдээлэл цуглуулдаг - ямар нэг шалтгааны улмаас камер бүх мэдээллийг цуглуулж чадаагүй, алдаа гарсан пиксел.
Хэрэв та капибара ямар байдгийг мэдэхгүй байсан бөгөөд таван хүнээс үүнийг тайлбарлахыг хүссэн бол тэдний түүх бараг ижил байх боловч тус бүр нь өвөрмөц нарийн ширийн зүйлийг дурдах болно. Ингэснээр та зүгээр нэг асуухаас илүү их мэдээлэл цуглуулах болно. Энэ нь пикселийн хувьд мөн адил юм.
Нэг цэгээс авсан фрэймүүдийг нэмэх нь дээрх одтой адил хуурамч урт өртөлтийн эффектийг өгдөг. Олон арван фрэймийн өртөлтийг нэгтгэн дүгнэж, нэг дэх алдааг бусад нь багасгасан. Үүнд хүрэхийн тулд DSLR хаалтыг хэдэн удаа дарах хэрэгтэйг төсөөлөөд үз дээ.
Өнгөний автомат засварын асуудлыг шийдэх л үлдлээ - харанхуйд авсан хүрээ нь ихэвчлэн шар эсвэл ногоон өнгөтэй болдог бөгөөд бид өдрийн гэрлийн баялагийг хүсдэг. HDR+-ийн эхний хувилбаруудад үүнийг Instagram-ийн шүүлтүүрийн нэгэн адил тохиргоог өөрчлөх замаар шийдсэн. Дараа нь тэд мэдрэлийн сүлжээг туслахыг уриалав.
Pixel 2 ба 3-т "шөнийн гэрэл зураг авах" технологи болох "Шөнийн харагдац" ийм байдлаар гарч ирэв. Тайлбар дээр тэд "Шөнийн харааг ажиллуулах HDR+ дээр суурилсан машин сурах арга техник" гэж бичжээ. Үндсэндээ энэ бол өнгө засах үе шатыг автоматжуулах явдал юм. Харанхуй муруй зургуудаас нэг сайхан зургийг гаргахын тулд уг машиныг "өмнө" ба "дараа" зургийн мэдээллийн санд сургасан.
Дашрамд хэлэхэд, мэдээллийн багцыг олон нийтэд нээлттэй болгосон. Магадгүй Apple-ийн залуус үүнийг аваад эцэст нь шилэн хүрзээрээ харанхуйд зөв зураг авахыг зааж өгөх байх.
Нэмж дурдахад, Night Sight нь хөшигний урт хурдтай үед үүсэх гарцаагүй бүдгэрэлтийг хэвийн болгохын тулд хүрээ доторх объектуудын хөдөлгөөний векторын тооцоог ашигладаг. Тиймээс ухаалаг утас нь бусад хүрээнээс тодорхой хэсгүүдийг авч, нааж болно.
Motion stacking - панорама, супер томруулж, дуу чимээг багасгах
Панорама бол хөдөө орон нутгийн оршин суугчдын дунд түгээмэл зугаа цэнгэл юм. Түүх нь хиамны зураг зохиогчоос нь өөр хэний ч сонирхлыг татах ямар ч тохиолдлыг хараахан мэддэггүй, гэхдээ үүнийг үл тоомсорлож болохгүй - олон хүний хувьд эндээс л овоолж эхэлжээ.
Панорама ашиглах эхний ашигтай арга бол хэд хэдэн фреймийг хооронд нь холбож, камерын матрицаас илүү өндөр нарийвчлалтай гэрэл зургийг авах явдал юм. Гэрэл зурагчид хэт нягтралтай гэж нэрлэгддэг гэрэл зургуудад зориулж өөр өөр программ хангамжийг удаан хугацаанд ашиглаж ирсэн - бага зэрэг шилжсэн гэрэл зургууд нь пикселийн хооронд бие биенээ нөхөж байгаа мэт санагддаг. Ингэснээр та дор хаяж хэдэн зуун гигапикселийн зураг авах боломжтой бөгөөд энэ нь байшингийн хэмжээтэй зар сурталчилгааны зурагт хуудас дээр хэвлэх шаардлагатай бол маш ашигтай байдаг.
Өөр нэг илүү сонирхолтой арга бол Pixel Shifting юм. Sony, Olympus зэрэг зарим толин тусгалгүй камерууд үүнийг 2014 онд дэмжиж эхэлсэн ч үр дүнг гараар наах шаардлагатай болсон. Ердийн том камерын шинэчлэл.
Ухаалаг утаснууд энд инээдтэй шалтгаанаар амжилтанд хүрсэн - зураг авах үед таны гар чичирдэг. Энэхүү асуудал нь ухаалаг гар утсанд уугуул супер нягтралыг хэрэгжүүлэх үндэс суурь болсон юм.
Энэ нь хэрхэн ажилладагийг ойлгохын тулд ямар ч камерын матриц хэрхэн бүтэцлэгдсэнийг санах хэрэгтэй. Түүний пиксел (фотодиод) бүр нь зөвхөн гэрлийн эрчмийг, өөрөөр хэлбэл ирж буй фотонуудын тоог бүртгэх чадвартай. Гэсэн хэдий ч пиксел нь өнгө (долгионы урт) хэмжиж чадахгүй. RGB зураг авахын тулд бид энд бас таяг нэмэх шаардлагатай болсон - бүхэл бүтэн матрицыг олон өнгийн шилний тороор бүрхэв. Түүний хамгийн алдартай хэрэгжилтийг Байер шүүлтүүр гэж нэрлэдэг бөгөөд өнөөдөр ихэнх матрицуудад ашиглагддаг. Доорх зураг шиг харагдаж байна.
Үлдсэн фотонуудыг Байер шүүлтүүрээр хайр найргүй тусгадаг тул матрицын пиксел бүр зөвхөн R-, G- эсвэл B-бүрэлдэхүүн хэсгүүдийг барьж авдаг. Энэ нь хөрш зэргэлдээх пикселүүдийн утгыг шууд дундажлах замаар алга болсон бүрэлдэхүүн хэсгүүдийг таньдаг.
Байер шүүлтүүрт илүү олон ногоон эсүүд байдаг - үүнийг хүний нүдтэй адилтган хийсэн. Матриц дээрх 50 сая пикселээс ногоон нь 25 саяыг, улаан, цэнхэр нь тус бүр 12,5 саяыг авах болно. Үлдсэнийг нь дундажлах болно - энэ процессыг debaerization эсвэл demosaicing гэж нэрлэдэг бөгөөд энэ нь ийм бүдүүн инээдтэй таяг юм. бүх зүйл амардаг.
Үнэн хэрэгтээ матриц бүр өөрийн гэсэн зальтай патентлагдсан демозайк алгоритмтай боловч энэ түүхийн үүднээс бид үүнийг үл тоомсорлох болно.
Бусад төрлийн матрицууд (Фовеон гэх мэт) ямар нэгэн байдлаар хараахан баригдаагүй байна. Хэдийгээр зарим үйлдвэрлэгчид тод байдал, динамик хүрээг сайжруулахын тулд Bayer шүүлтүүргүй мэдрэгч ашиглахыг оролдож байна.
Гэрэл багатай эсвэл объектын нарийн ширийн зүйлс маш өчүүхэн үед Байер шүүлтүүр нь хүсээгүй долгионы урттай фотонуудыг илт тасалдаг тул бид маш их мэдээлэл алддаг. Тийм ч учраас тэд бүгдийг барьж авахын тулд матрицыг 1 пикселээр дээш доош-баруун-зүүн тийш шилжүүлж, Pixel Shifting-ийг гаргаж ирэв. Энэ тохиолдолд зураг нь 4 дахин том биш юм шиг санагдаж магадгүй тул процессор нь пиксел бүрийн утгыг илүү нарийвчлалтай бичихийн тулд энэ өгөгдлийг ашигладаг. Энэ нь хөршүүдийнхээ дундаж утгыг биш, харин өөрийнхөө дөрвөн утгыг давдаг.
Утсаар зураг авах үед бидний гар сэгсрэх нь энэ үйл явцыг байгалийн үр дагаварт хүргэдэг. Google Pixel-ийн хамгийн сүүлийн хувилбаруудад энэ зүйл хэрэгжсэн бөгөөд таныг утсан дээрээ томруулж ашиглах болгонд асдаг - үүнийг Super Res Zoom гэж нэрлэдэг (тиймээ, би тэдний хайр найргүй нэрлэхэд дуртай). Хятадууд ч гэсэн арай дордчихсон ч лакфондоо хуулчихсан.
Бага зэрэг шилжсэн гэрэл зургуудыг давхарлан байрлуулах нь пиксел бүрийн өнгөний талаар илүү их мэдээлэл цуглуулах боломжийг олгодог бөгөөд энэ нь матрицын мегапикселийн физик тоог нэмэгдүүлэхгүйгээр чимээ шуугианыг бууруулж, тод байдлыг нэмэгдүүлж, нарийвчлалыг нэмэгдүүлэх гэсэн үг юм. Орчин үеийн Android-ийн тэргүүлэх компаниуд үүнийг автоматаар хийдэг бөгөөд хэрэглэгчид нь энэ талаар огтхон ч бодолгүйгээр хийдэг.
Focus stacking - ямар ч гүн талбайн болон үйлдвэрлэлийн дараах дахин анхаарлаа хандуулах
Энэ арга нь гүехэн талбайн гүн нь үргэлж асуудал байсаар ирсэн макро гэрэл зурагнаас гаралтай. Объект бүхэлдээ фокустай байхын тулд та хэд хэдэн фрэймийг нааш цааш шилжүүлж, дараа нь тэдгээрийг нэг хурц болгон нэгтгэх хэрэгтэй. Үүнтэй ижил аргыг ландшафтын гэрэл зурагчид ихэвчлэн ашигладаг байсан бөгөөд урд болон арын дэвсгэрийг суулгалт шиг хурц болгодог.
Энэ бүхэн нь ухаалаг гар утас руу шилжсэн боловч нэг их шуугиан тарьсангүй. 2013 онд "Refocus App" бүхий Nokia Lumia 1020, 2014 онд "Selective Focus" горимтой Samsung Galaxy S5 гарсан. Тэд ижил схемийн дагуу ажилласан: товчлуур дээр дарснаар тэд хурдан 3 гэрэл зураг авсан - нэг нь "хэвийн" фокустай, хоёр дахь нь урагшаа, гурав дахь нь буцаж шилжсэн. Программ нь фреймүүдийг зэрэгцүүлж, тэдгээрийн аль нэгийг нь сонгох боломжийг танд олгосон бөгөөд энэ нь пост продакшн дээр "бодит" фокусын удирдлага гэж нэрлэгдэж байсан.
Цаашид ямар ч боловсруулалт хийгдээгүй, учир нь энэ энгийн хакерууд хүртэл Литро болон түүний үе тэнгийнхний таган дээр дахин нэг хадаас хаахад хангалттай байсан. Дашрамд хэлэхэд, тэдний талаар ярилцъя (шилжилтийн мастер 80 lvl).
Тооцооллын матрицууд - гэрлийн талбар ба пленоптик
Дээр дурдсанчлан бидний матрицууд таяг дээр аймшигтай байдаг. Бид зүгээр л дасаж, амьдрахыг хичээж байна. Тэдний бүтэц эрт дээр үеэс бараг өөрчлөгдөөгүй. Бид зөвхөн техникийн процессыг сайжруулсан - бид пикселийн хоорондох зайг багасгаж, хөндлөнгийн дуу чимээний эсрэг тэмцэж, фазын автомат фокусыг илрүүлэх тусгай пикселүүдийг нэмсэн. Гэхдээ та хамгийн үнэтэй DSLR авч, өрөөний гэрэлтүүлэг дээр гүйж буй муурны зургийг авахыг оролдвол муур ялах болно.
Бид удаан хугацааны турш илүү сайн зүйлийг зохион бүтээхийг хичээсэн. Энэ чиглэлээр хийсэн олон оролдлого, судалгааг "тооцооллын мэдрэгч" эсвэл "байерын бус мэдрэгч" гэж google-ээр хайдаг бөгөөд дээрх Pixel Shifting жишээг хүртэл тооцоолол ашиглан матрицыг сайжруулах оролдлого гэж үзэж болно. Гэсэн хэдий ч сүүлийн хорин жилийн хамгийн ирээдүйтэй түүхүүд нь пленоптик гэж нэрлэгддэг камерын ертөнцөөс бидэнд ирсэн.
Таныг удахгүй болох ээдрээтэй үгсийн хүлээлтээс унтахгүйн тулд би хамгийн сүүлийн үеийн Google Pixel-ийн камер нь "бага зэрэг" гялалзсан гэдгийг хэлэх болно. Ердөө хоёр пиксел, гэхдээ энэ нь бусад хүмүүсийн адил хоёр дахь камергүй ч гэсэн хүрээний оптик гүнийг зөв тооцоолох боломжийг олгодог.
Пленоптик бол хараахан буудаж амжаагүй хүчирхэг зэвсэг юм. Энд миний хамгийн дуртай сүүлийн үеийн нэг холбоос байна. , Би жишээнүүдийг хаанаас авсан.
Пленоптик камер - тун удахгүй
1994 онд зохион бүтээсэн, 2004 онд Стэнфордод цуглуулсан. Анхны хэрэглэгчийн камер болох Lytro 2012 онд гарсан. VR салбар одоо ижил төстэй технологийг идэвхтэй туршиж байна.
Пленоптик камер нь ердийн камераас зөвхөн нэг өөрчлөлтөөр ялгаатай байдаг - түүний матриц нь линзний тороор бүрхэгдсэн бөгөөд тус бүр нь хэд хэдэн бодит пикселийг хамардаг. Энэ нь иймэрхүү зүйл:
Хэрэв та сүлжээнээс матриц хүртэлх зай, диафрагмын хэмжээг зөв тооцоолвол эцсийн зураг нь тодорхой пикселийн кластертай байх болно - анхны зургийн мини хувилбарууд.
Хэрэв та кластер бүрээс нэг төв пикселийг авч, зөвхөн тэдгээрийг ашиглан зургийг наавал ердийн камер дээр авсан зургаас ялгаагүй болно. Тийм ээ, бид нягтралдаа бага зэрэг алдсан, гэхдээ бид Sony-ээс шинэ матрицад илүү олон мегапиксел нэмэхийг хүсэх болно.
Хөгжил дөнгөж эхэлж байна. Хэрэв та кластер бүрээс өөр пиксел авч, зургийг дахин нийлүүлбэл нэг пикселийн шилжилтээр авсан юм шиг дахин хэвийн гэрэл зураг авах болно. Тиймээс 10х10 пикселийн кластертай бол бид "бага зэрэг" өөр өөр цэгүүдээс объектын 100 дүрсийг авах болно.
Том кластерын хэмжээ нь илүү олон зураг, гэхдээ бага нарийвчлалтай гэсэн үг юм. 41 мегапикселийн матрицтай ухаалаг гар утасны ертөнцөд бид нягтралыг бага зэрэг үл тоомсорлож болох ч бүх зүйлд хязгаар бий. Та тэнцвэрийг хадгалах хэрэгтэй.
За, бид пленоптик камер угсарсан, энэ нь бидэнд юу өгөх вэ?
Шударга дахин анхаарлаа төвлөрүүл
Литрогийн тухай нийтлэлд бүх сэтгүүлчдийн шуугиж байсан онцлог нь пост-продакшн дээр анхаарлаа үнэн зөвөөр тохируулах чадвар байв. Шударга гэдэг нь бид бүдгэрүүлэх алгоритмыг ашигладаггүй, зөвхөн гарт байгаа пикселүүдийг ашиглан кластеруудаас шаардлагатай дарааллаар сонгож эсвэл дундажлана гэсэн үг юм.
Plenoptic камераас RAW зураг авах нь хачирхалтай харагдаж байна. Үүнээс ердийн хурц жийпийг гаргахын тулд эхлээд угсрах хэрэгтэй. Үүнийг хийхийн тулд та RAW кластеруудын аль нэгээс жийпийн пиксел бүрийг сонгох хэрэгтэй. Тэднийг хэрхэн сонгохоос шалтгаалж үр дүн нь өөрчлөгдөнө.
Жишээлбэл, бөөгнөрөл нь анхны туяа тусах цэгээс хол байх тусам энэ туяа илүү фокусгүй болно. Учир нь оптик. Фокусыг өөрчилсөн зургийг авахын тулд бид анхныхаас хүссэн зайд байгаа пикселүүдийг сонгох хэрэгтэй - ойр эсвэл цааш.
Фокусыг өөр рүүгээ шилжүүлэх нь илүү хэцүү байсан - цэвэр физикийн хувьд кластеруудад ийм пиксел цөөн байсан. Эхлээд хөгжүүлэгчид хэрэглэгчдэд гараараа анхаарлаа төвлөрүүлэх чадварыг өгөхийг хүсээгүй - камер өөрөө үүнийг програм хангамжаар шийдсэн. Хэрэглэгчдэд энэ ирээдүй таалагдаагүй тул дараа нь програм хангамжид "бүтээлч горим" хэмээх функцийг нэмсэн боловч яг энэ шалтгааны улмаас дахин анхаарлаа төвлөрүүлэхийг маш хязгаарласан.
Нэг камераас гүн газрын зураг болон 3D
Пленоптикийн хамгийн энгийн үйлдлүүдийн нэг бол гүний зураг авах явдал юм. Үүнийг хийхийн тулд та хоёр өөр хүрээ цуглуулж, тэдгээрийн доторх объектууд хэр их шилжсэнийг тооцоолох хэрэгтэй. Илүү их шилжих нь камераас хол байна гэсэн үг.
Google саяхан Lytro-г худалдаж аваад устгасан боловч өөрсдийн технологийг VR болон ... Pixel камертаа ашигласан. Pixel 2-оос эхлэн камер нь зөвхөн хоёр пикселийн кластертай байсан ч анх удаагаа "бага зэрэг" пленоптик болсон. Энэ нь Google-д бусад залуусын адил хоёр дахь камер суурилуулахгүй, зөвхөн нэг зургаас гүнийн зургийг тооцоолох боломжийг олгосон юм.
Гүн газрын зургийг нэг дэд пикселээр шилжүүлсэн хоёр хүрээ ашиглан бүтээдэг. Энэ нь хоёртын гүнийн газрын зургийг тооцоолоход хангалттай бөгөөд урд талын зургийг арын дэвсгэрээс салгаж, сүүлийн үеийн загварлаг bokeh дээр бүдгэрүүлэхэд хангалттай юм. Ийм давхаргын үр дүн нь гүний газрын зургийг сайжруулахад сургагдсан мэдрэлийн сүлжээнүүдээр жигдэрч, "сайжруулдаг" (олон хүмүүсийн боддог шиг бүдгэрүүлэхгүй).
Бид ухаалаг гар утсанд пленоптикийг бараг үнэ төлбөргүй суулгасан явдал юм. Гэрэлтүүлгийн урсгалыг нэмэгдүүлэхийн тулд бид эдгээр жижиг матрицууд дээр аль хэдийн линз суурилуулсан. Дараагийн Pixel дээр Google цаашаа явж, дөрвөн фотодиодыг линзээр бүрхэхээр төлөвлөж байна.
Эх сурвалж: 3dnews.ru