Bài viết gốc được đăng trên trang web và đăng tải trên 3DNews với sự cho phép của tác giả. Chúng tôi cung cấp toàn bộ nội dung của bài viết, ngoại trừ một số lượng lớn các liên kết - chúng sẽ hữu ích cho những ai thực sự quan tâm đến chủ đề này và muốn nghiên cứu sâu hơn các khía cạnh lý thuyết của nhiếp ảnh tính toán, nhưng với một khán giả nói chung, chúng tôi coi tài liệu này là dư thừa.
Ngày nay, không một bài thuyết trình nào về điện thoại thông minh có thể hoàn thành mà không liếm camera của nó. Hàng tháng, chúng ta đều nghe về thành công tiếp theo của máy ảnh di động: Google dạy Pixel chụp ảnh trong bóng tối, Huawei zoom như ống nhòm, Samsung chèn lidar và Apple tạo ra những góc tròn nhất thế giới. Ngày nay hiếm có nơi nào có sự đổi mới diễn ra nhanh chóng như vậy.
Đồng thời, những tấm gương dường như đang đánh dấu thời gian. Sony hàng năm cung cấp cho mọi người những ma trận mới và các nhà sản xuất lười biếng cập nhật chữ số phiên bản mới nhất và tiếp tục thư giãn và hút thuốc bên lề. Tôi có một chiếc máy ảnh DSLR trị giá 3000 USD trên bàn nhưng khi đi du lịch, tôi lại mang theo iPhone. Tại sao?
Như kinh điển đã nói, tôi đã lên mạng với câu hỏi này. Ở đó, họ thảo luận về một số “thuật toán” và “mạng lưới thần kinh”, mà không biết chính xác chúng ảnh hưởng đến nhiếp ảnh như thế nào. Các nhà báo đang đọc to số megapixel, các blogger đang đồng loạt cưa các hộp mở hộp trả phí, và những người có thẩm mỹ đang tự bôi bẩn mình bằng “nhận thức gợi cảm về bảng màu của ma trận”. Mọi thứ vẫn như thường lệ.
Tôi đã phải ngồi xuống, dành nửa cuộc đời mình và tự mình tìm ra tất cả. Trong bài viết này tôi sẽ cho bạn biết những gì tôi đã học được.
Chụp ảnh tính toán là gì?
Ở mọi nơi, kể cả Wikipedia, họ đều đưa ra định nghĩa như thế này: chụp ảnh điện toán là bất kỳ kỹ thuật chụp và xử lý hình ảnh nào sử dụng điện toán kỹ thuật số thay vì biến đổi quang học. Mọi thứ về nó đều tốt, ngoại trừ việc nó không giải thích được điều gì. Ngay cả lấy nét tự động cũng phù hợp với nó, nhưng plenoptics, vốn đã mang lại cho chúng ta rất nhiều điều hữu ích, lại không phù hợp. Sự mơ hồ của các định nghĩa chính thức dường như ám chỉ rằng chúng ta không biết mình đang nói về điều gì.
Người tiên phong trong lĩnh vực nhiếp ảnh điện toán, giáo sư Marc Levoy của Stanford (hiện đang chịu trách nhiệm về máy ảnh tại Google Pixel) đưa ra một định nghĩa khác - một tập hợp các phương pháp trực quan hóa máy tính nhằm cải thiện hoặc mở rộng khả năng của nhiếp ảnh kỹ thuật số, sử dụng một bức ảnh thông thường để thu được điều đó Về mặt kỹ thuật không thể chụp bằng máy ảnh này theo cách truyền thống. Trong bài viết tôi tuân thủ điều này.
Vì vậy, điện thoại thông minh là nguyên nhân gây ra mọi thứ.
Điện thoại thông minh không còn lựa chọn nào khác ngoài việc khai sinh ra một thể loại nhiếp ảnh mới: nhiếp ảnh điện toán.
Theo tất cả các định luật vật lý, những ma trận ồn ào nhỏ và những thấu kính nhỏ có khẩu độ chậm của chúng đáng lẽ chỉ mang lại đau đớn và khổ sở. Họ đã làm như vậy cho đến khi các nhà phát triển của họ tìm ra cách sử dụng khéo léo điểm mạnh của mình để khắc phục điểm yếu - màn trập điện tử nhanh, bộ xử lý và phần mềm mạnh mẽ.
Hầu hết các nghiên cứu nổi bật trong lĩnh vực chụp ảnh máy tính diễn ra từ năm 2005 đến năm 2015, mà trong khoa học được coi là ngày hôm qua theo đúng nghĩa đen. Ngay bây giờ, trước mắt và trong túi của chúng ta, một lĩnh vực kiến thức và công nghệ mới đang phát triển mà trước đây chưa từng tồn tại.
Nhiếp ảnh điện toán không chỉ là những bức ảnh selfie với hiệu ứng xóa phông thần kinh. Bức ảnh chụp lỗ đen gần đây sẽ không thể thực hiện được nếu không có kỹ thuật chụp ảnh tính toán. Để chụp được một bức ảnh như vậy bằng kính thiên văn thông thường, chúng ta sẽ phải làm cho nó có kích thước bằng Trái đất. Tuy nhiên, bằng cách kết hợp dữ liệu từ tám kính viễn vọng vô tuyến ở các điểm khác nhau trên quả cầu và viết một vài tập lệnh bằng Python, chúng tôi đã thu được bức ảnh đầu tiên trên thế giới về chân trời sự kiện. Tốt cho ảnh tự chụp quá.
Bắt đầu: xử lý kỹ thuật số
Hãy tưởng tượng rằng chúng ta quay trở lại năm 2007. Mẹ của chúng tôi là người vô chính phủ và những bức ảnh của chúng tôi là những chiếc xe jeep 0,6 megapixel ồn ào được chụp trên ván trượt. Vào khoảng thời gian đó, chúng ta có mong muốn không thể cưỡng lại được đầu tiên là rắc các cài đặt trước lên chúng để che giấu sự tồi tệ của ma trận di động. Chúng ta đừng phủ nhận chính mình.
Matan và Instagram
Với việc phát hành Instagram, mọi người đều bị ám ảnh bởi các bộ lọc. Là người đã thiết kế ngược X-Pro II, Lo-Fi và Valencia, tất nhiên là cho mục đích nghiên cứu, tôi vẫn nhớ rằng chúng bao gồm ba thành phần:
- Cài đặt màu sắc (Hue, Saturation, Lightness, Contrast, Levels, v.v.) - các hệ số kỹ thuật số đơn giản, giống hệt như bất kỳ cài đặt trước nào mà các nhiếp ảnh gia đã sử dụng từ thời cổ đại.
- Ánh xạ giai điệu là vectơ của các giá trị, mỗi vectơ cho chúng tôi biết: “Màu đỏ có tông màu 128 sẽ được chuyển thành tông màu 240”.
- Lớp phủ là một hình ảnh mờ có bụi, hạt, họa tiết và mọi thứ khác có thể được đặt lên trên để có được hiệu ứng hoàn toàn không tầm thường của một bộ phim cũ. Không phải lúc nào cũng có mặt.
Các bộ lọc hiện đại không khác xa bộ ba này, chúng chỉ trở nên phức tạp hơn một chút về mặt toán học. Với sự ra đời của shader phần cứng và OpenCL trên điện thoại thông minh, chúng nhanh chóng được viết lại cho GPU và điều này được coi là cực kỳ thú vị. Tất nhiên là cho năm 2012. Ngày nay, bất kỳ sinh viên nào cũng có thể làm được điều tương tự trong CSS và anh ta vẫn sẽ không có cơ hội tốt nghiệp.
Tuy nhiên, tiến độ của các bộ lọc vẫn chưa dừng lại ở ngày hôm nay. Ví dụ, những người đến từ Dehanser rất giỏi sử dụng các bộ lọc phi tuyến - thay vì ánh xạ giai điệu vô sản, họ sử dụng các phép biến đổi phi tuyến phức tạp hơn, theo họ, điều này mở ra nhiều khả năng hơn.
Bạn có thể làm rất nhiều thứ với các phép biến đổi phi tuyến, nhưng chúng cực kỳ phức tạp và con người chúng ta cực kỳ ngu ngốc. Ngay khi nói đến các phép biến đổi phi tuyến trong khoa học, chúng ta thích tìm đến các phương pháp số và nhồi nhét mạng lưới thần kinh ở khắp mọi nơi để chúng viết ra những kiệt tác cho chúng ta. Ở đây cũng vậy.
Tự động hóa và ước mơ về một nút bấm “kiệt tác”
Khi mọi người đã quen với các bộ lọc, chúng tôi bắt đầu xây dựng chúng trực tiếp vào máy ảnh. Lịch sử che giấu nhà sản xuất nào là nhà sản xuất đầu tiên, nhưng để hiểu cách đây bao lâu - trong iOS 5.0, được phát hành vào năm 2011, đã có API công khai cho Tự động sửa hình ảnh. Chỉ có Jobs mới biết nó đã được sử dụng bao lâu trước khi mở cửa cho công chúng.
Quá trình tự động hóa đã thực hiện điều tương tự mà mỗi chúng ta thực hiện khi mở một bức ảnh trong trình chỉnh sửa - nó loại bỏ các khoảng trống về ánh sáng và bóng tối, thêm độ bão hòa, loại bỏ mắt đỏ và cố định nước da. Người dùng thậm chí còn không nhận ra rằng “máy ảnh được cải tiến đáng kể” trên điện thoại thông minh mới chỉ là thành quả của một vài bộ đổ bóng mới. Vẫn còn 5 năm nữa trước khi Google Pixel ra mắt và bắt đầu cơn sốt nhiếp ảnh điện toán.
Ngày nay, cuộc chiến giành nút “kiệt tác” đã chuyển sang lĩnh vực học máy. Sau khi chơi đủ với ánh xạ giai điệu, mọi người lao vào huấn luyện CNN và GAN để di chuyển thanh trượt thay vì người dùng. Nói cách khác, từ hình ảnh đầu vào, hãy xác định một tập hợp các thông số tối ưu để đưa hình ảnh này đến gần hơn với sự hiểu biết chủ quan nhất định về “chụp ảnh đẹp”. Được triển khai trong cùng Pixelmator Pro và các trình chỉnh sửa khác. Nó hoạt động, như bạn có thể đoán, không tốt lắm và không phải lúc nào cũng vậy.
Xếp chồng là 90% thành công của camera di động
Nhiếp ảnh điện toán thực sự bắt đầu bằng việc xếp chồng—xếp nhiều bức ảnh lên nhau. Không có vấn đề gì khi điện thoại thông minh nhấp vào hàng tá khung hình trong nửa giây. Máy ảnh của họ không có bộ phận cơ học chậm: khẩu độ cố định và thay vì màn chuyển động thì có màn trập điện tử. Bộ xử lý chỉ cần ra lệnh cho ma trận cần bắt được các photon hoang dã trong bao nhiêu micro giây và nó sẽ đọc kết quả.
Về mặt kỹ thuật, điện thoại có thể chụp ảnh ở tốc độ video và quay video ở độ phân giải ảnh, nhưng tất cả phụ thuộc vào tốc độ của bus và bộ xử lý. Đó là lý do tại sao họ luôn đặt ra giới hạn cho chương trình.
Bản thân việc đặt cược đã đồng hành cùng chúng tôi trong một thời gian dài. Ngay cả ông nội cũng đã cài đặt plugin trên Photoshop 7.0 để ghép nhiều bức ảnh thành HDR bắt mắt hoặc ghép lại một bức ảnh toàn cảnh 18000 × 600 pixel và... trên thực tế, chưa ai biết phải làm gì với chúng tiếp theo. Tiếc rằng thời đó còn giàu có và hoang dã.
Bây giờ chúng ta đã trở thành người lớn và gọi nó là “chụp ảnh epsilon” - khi thay đổi một trong các thông số máy ảnh (độ phơi sáng, tiêu điểm, vị trí) và ghép các khung hình thu được lại với nhau, chúng ta sẽ thu được thứ không thể chụp được trong một khung hình. Nhưng đây là thuật ngữ dành cho các nhà lý thuyết; trong thực tế, một cái tên khác đã bén rễ - đặt cọc. Trên thực tế, ngày nay, 90% mọi cải tiến về máy ảnh di động đều dựa trên nó.
Điều mà nhiều người không nghĩ tới nhưng điều quan trọng là phải hiểu tất cả về chụp ảnh trên thiết bị di động và điện toán: máy ảnh trên điện thoại thông minh hiện đại bắt đầu chụp ảnh ngay khi bạn mở ứng dụng. Điều này là hợp lý, bởi vì cô ấy cần bằng cách nào đó chuyển hình ảnh lên màn hình. Tuy nhiên, ngoài màn hình, nó còn lưu các khung hình có độ phân giải cao vào bộ đệm vòng lặp riêng, nơi nó lưu trữ chúng trong vài giây nữa.
Khi bạn nhấn nút “chụp ảnh”, nó thực sự đã được chụp, máy ảnh chỉ cần chụp bức ảnh cuối cùng từ bộ đệm.
Đây là cách bất kỳ máy ảnh di động nào hoạt động ngày nay. Ít nhất là trong tất cả các hạm không phải từ đống rác. Bộ đệm cho phép bạn nhận ra không chỉ độ trễ màn trập bằng 5, điều mà các nhiếp ảnh gia đã mơ ước từ lâu, mà thậm chí còn là tiêu cực - khi bạn nhấn nút, điện thoại thông minh sẽ nhìn về quá khứ, tải 10-XNUMX ảnh cuối cùng ra khỏi bộ đệm và bắt đầu phân tích điên cuồng và dán chúng. Không còn phải chờ điện thoại nhấp vào khung hình để chuyển sang chế độ HDR hoặc chế độ ban đêm - chỉ cần lấy chúng từ bộ đệm, người dùng thậm chí sẽ không biết.
Nhân tiện, nhờ sự trợ giúp của độ trễ màn trập âm mà Live Photo đã được triển khai trên iPhone và HTC đã có thứ tương tự vào năm 2013 với cái tên lạ Zoe.
Xếp chồng phơi sáng - HDR và chống thay đổi độ sáng
Liệu cảm biến máy ảnh có khả năng thu được toàn bộ phạm vi độ sáng mà mắt chúng ta có thể tiếp cận hay không vẫn là một chủ đề tranh luận sôi nổi. Một số người nói không, bởi vì mắt có khả năng nhìn thấy tới 25 điểm dừng f, trong khi ngay cả từ ma trận toàn khung hình hàng đầu, bạn có thể nhận được tối đa là 14. Những người khác gọi sự so sánh này là không chính xác, bởi vì não giúp mắt bằng cách tự động điều chỉnh đồng tử và hoàn thiện hình ảnh bằng mạng lưới thần kinh của nó, đồng thời Phạm vi động tức thời của mắt thực tế không quá 10-14 f-stop. Hãy để cuộc tranh luận này cho những nhà tư tưởng về ghế bành giỏi nhất trên Internet.
Sự thật vẫn là: khi bạn chụp bạn bè trên nền trời sáng mà không có HDR trên bất kỳ máy ảnh di động nào, bạn sẽ có bầu trời bình thường và khuôn mặt đen của những người bạn hoặc những người bạn được vẽ đẹp nhưng bầu trời bị thiêu rụi.
Giải pháp đã được phát minh từ lâu - mở rộng phạm vi độ sáng bằng cách sử dụng HDR (Dải động cao). Bạn cần chụp nhiều khung hình ở các tốc độ màn trập khác nhau và ghép chúng lại với nhau. Vậy cái đó là “bình thường”, cái thứ hai nhạt hơn, cái thứ ba đậm hơn. Chúng tôi lấy những nơi tối từ khung sáng, lấp đầy những phần phơi sáng quá mức từ khung tối - lợi nhuận. Tất cả những gì còn lại là giải quyết vấn đề chụp bù trừ tự động - thay đổi mức độ phơi sáng của từng khung hình để không lạm dụng nó, nhưng giờ đây, một sinh viên năm thứ hai tại một trường đại học kỹ thuật có thể xử lý việc xác định độ sáng trung bình của một bức ảnh.
Trên iPhone, Pixel và Galaxy mới nhất, chế độ HDR thường được bật tự động khi một thuật toán đơn giản bên trong máy ảnh xác định rằng bạn đang chụp thứ gì đó có độ tương phản vào một ngày nắng. Bạn thậm chí có thể nhận thấy cách điện thoại chuyển chế độ ghi sang bộ đệm để lưu các khung hình bị dịch chuyển khi phơi sáng - khung hình / giây trong máy ảnh giảm xuống và hình ảnh trở nên đẹp hơn. Khoảnh khắc chuyển đổi hiển thị rõ ràng trên iPhone X của tôi khi quay phim ngoài trời. Hãy xem xét kỹ hơn điện thoại thông minh của bạn vào lần tới.
Nhược điểm của HDR với khung phơi sáng là sự bất lực không thể vượt qua trong điều kiện ánh sáng yếu. Ngay cả khi có ánh sáng của đèn phòng, các khung hình vẫn tối đến mức máy tính không thể căn chỉnh và ghép chúng lại với nhau. Để giải quyết vấn đề về ánh sáng, vào năm 2013, Google đã trình diễn một cách tiếp cận khác với HDR trên điện thoại thông minh Nexus được phát hành vào thời điểm đó. Anh ấy đã sử dụng thời gian để xếp chồng lên nhau.
Xếp chồng thời gian - mô phỏng phơi sáng lâu và tua nhanh thời gian
Xếp chồng thời gian cho phép bạn tạo phơi sáng lâu bằng cách sử dụng một loạt phơi sáng ngắn. Những người tiên phong là những người yêu thích chụp ảnh các vệt sao trên bầu trời đêm, họ cảm thấy bất tiện khi mở cửa trập trong hai giờ cùng một lúc. Thật khó để tính toán trước tất cả các cài đặt và chỉ một rung lắc nhỏ cũng có thể làm hỏng toàn bộ khung hình. Họ quyết định chỉ mở màn trập trong vài phút nhưng nhiều lần, sau đó về nhà và dán các khung hình thu được vào Photoshop.
Hóa ra là máy ảnh chưa bao giờ thực sự chụp ở tốc độ màn trập dài, nhưng chúng tôi đã đạt được hiệu ứng mô phỏng nó bằng cách cộng một số khung hình được chụp liên tiếp. Đã có rất nhiều ứng dụng được viết cho điện thoại thông minh sử dụng thủ thuật này từ lâu, nhưng tất cả chúng đều không cần thiết vì tính năng này đã được thêm vào hầu hết các máy ảnh tiêu chuẩn. Ngày nay, ngay cả iPhone cũng có thể dễ dàng ghép các bức ảnh phơi sáng lâu từ Live Photo lại với nhau.
Hãy quay lại với Google với HDR ban đêm. Hóa ra bằng cách sử dụng khung thời gian, bạn có thể triển khai HDR tốt trong bóng tối. Công nghệ này xuất hiện lần đầu tiên trên Nexus 5 và được gọi là HDR+. Những chiếc điện thoại Android còn lại nhận nó như một món quà. Công nghệ này vẫn còn phổ biến đến mức nó thậm chí còn được ca ngợi trong buổi giới thiệu Pixels mới nhất.
HDR+ hoạt động khá đơn giản: sau khi xác định rằng bạn đang chụp trong bóng tối, máy ảnh sẽ tải 8-15 ảnh RAW cuối cùng ra khỏi bộ đệm để chồng chúng lên nhau. Do đó, thuật toán thu thập thêm thông tin về các vùng tối của khung hình để giảm thiểu nhiễu - các pixel mà vì lý do nào đó, máy ảnh không thể thu thập tất cả thông tin và đã xảy ra lỗi.
Giống như nếu bạn không biết capybara trông như thế nào và bạn yêu cầu năm người mô tả nó, câu chuyện của họ sẽ gần giống nhau, nhưng mỗi người sẽ đề cập đến một số chi tiết độc đáo. Bằng cách này, bạn sẽ thu thập được nhiều thông tin hơn là chỉ hỏi một thông tin. Điều này cũng tương tự với pixel.
Việc thêm các khung hình được chụp từ một điểm sẽ tạo ra hiệu ứng phơi sáng dài giả giống như với các ngôi sao ở trên. Việc hiển thị hàng chục khung hình được tổng hợp lại, lỗi trong một khung hình được giảm thiểu ở các khung hình khác. Hãy tưởng tượng bạn sẽ phải nhấp vào màn trập DSLR bao nhiêu lần mỗi lần để đạt được điều này.
Tất cả những gì còn lại là giải quyết vấn đề tự động hiệu chỉnh màu sắc - các khung hình được chụp trong bóng tối thường chuyển sang màu vàng hoặc xanh lục và chúng tôi muốn có sự phong phú của ánh sáng ban ngày. Trong các phiên bản đầu tiên của HDR+, vấn đề này được giải quyết bằng cách chỉ cần điều chỉnh cài đặt, như trong các bộ lọc giống như Instagram. Sau đó, họ kêu gọi mạng lưới thần kinh giúp đỡ.
Đây là cách mà Chế độ ban đêm xuất hiện - công nghệ “chụp ảnh ban đêm” trong Pixel 2 và 3. Trong phần mô tả, họ nói: “Các kỹ thuật học máy được xây dựng dựa trên HDR+, giúp cho Chế độ ban đêm hoạt động”. Thực chất đây là sự tự động hóa của khâu chỉnh màu. Máy đã được huấn luyện dựa trên tập dữ liệu gồm các bức ảnh “trước” và “sau” để tạo ra một bức ảnh đẹp từ bất kỳ bộ ảnh tối quanh co nào.
Nhân tiện, tập dữ liệu đã được cung cấp công khai. Có thể những người đến từ Apple sẽ lấy nó và cuối cùng dạy cho những chiếc xẻng thủy tinh của họ cách chụp ảnh đúng cách trong bóng tối.
Ngoài ra, Night Sight sử dụng phép tính vectơ chuyển động của các vật thể trong khung hình để bình thường hóa độ mờ chắc chắn xảy ra khi tốc độ màn trập dài. Vì vậy, điện thoại thông minh có thể lấy các bộ phận rõ ràng từ các khung khác và dán chúng lại.
Xếp chồng chuyển động - toàn cảnh, siêu zoom và giảm nhiễu
Toàn cảnh là một trò giải trí phổ biến của người dân vùng nông thôn. Lịch sử vẫn chưa biết bất kỳ trường hợp nào trong đó một bức ảnh xúc xích sẽ được bất kỳ ai khác ngoài tác giả của nó quan tâm, nhưng không thể bỏ qua nó - đối với nhiều người, đây là lúc việc xếp chồng bắt đầu ngay từ đầu.
Cách hữu ích đầu tiên để sử dụng ảnh toàn cảnh là thu được một bức ảnh có độ phân giải cao hơn ma trận máy ảnh cho phép bằng cách ghép nhiều khung hình lại với nhau. Các nhiếp ảnh gia từ lâu đã sử dụng các phần mềm khác nhau để tạo ra cái gọi là ảnh siêu phân giải - khi các bức ảnh hơi dịch chuyển dường như bổ sung cho nhau giữa các pixel. Bằng cách này, bạn có thể có được hình ảnh ít nhất hàng trăm gigapixel, điều này rất hữu ích nếu bạn cần in nó trên một áp phích quảng cáo có kích thước bằng một ngôi nhà.
Một cách tiếp cận khác thú vị hơn là Pixel Shifting. Một số máy ảnh không gương lật như Sony và Olympus đã bắt đầu hỗ trợ tính năng này từ năm 2014, nhưng họ vẫn phải dán kết quả bằng tay. Những cải tiến máy ảnh lớn điển hình.
Điện thoại thông minh đã thành công ở đây vì một lý do buồn cười - khi bạn chụp ảnh, tay bạn sẽ rung. Vấn đề dường như này đã tạo cơ sở cho việc triển khai siêu phân giải gốc trên điện thoại thông minh.
Để hiểu cách thức hoạt động của nó, bạn cần nhớ cấu trúc ma trận của bất kỳ máy ảnh nào. Mỗi pixel của nó (photodiode) chỉ có khả năng ghi lại cường độ ánh sáng - tức là số lượng photon tới. Tuy nhiên, một pixel không thể đo được màu sắc (bước sóng) của nó. Để có được hình ảnh RGB, chúng tôi cũng phải thêm nạng ở đây - bao phủ toàn bộ ma trận bằng một lưới các mảnh kính nhiều màu. Cách triển khai phổ biến nhất của nó được gọi là bộ lọc Bayer và được sử dụng trong hầu hết các ma trận ngày nay. Trông giống như hình ảnh dưới đây.
Hóa ra mỗi pixel của ma trận chỉ bắt được thành phần R-, G- hoặc B, vì các photon còn lại bị bộ lọc Bayer phản xạ không thương tiếc. Nó nhận ra các thành phần bị thiếu bằng cách lấy trung bình một cách rõ ràng các giá trị của các pixel lân cận.
Có nhiều ô màu xanh lá cây hơn trong bộ lọc Bayer - điều này được thực hiện bằng cách tương tự với mắt người. Hóa ra trong số 50 triệu pixel trên ma trận, màu xanh lá cây sẽ thu được 25 triệu, màu đỏ và xanh lam - mỗi màu là 12,5 triệu. Phần còn lại sẽ được tính trung bình - quá trình này được gọi là debayerization hoặc demosaicing, và đây quả là một chiếc nạng hài hước béo bở trên mà mọi thứ đều nghỉ ngơi.
Trên thực tế, mỗi ma trận đều có thuật toán demosaicing được cấp bằng sáng chế xảo quyệt riêng, nhưng vì mục đích của câu chuyện này, chúng ta sẽ bỏ qua điều này.
Các loại ma trận khác (chẳng hạn như Foveon) vẫn chưa được chú ý. Mặc dù một số nhà sản xuất đang cố gắng sử dụng cảm biến không có bộ lọc Bayer để cải thiện độ sắc nét và dải động.
Khi có ít ánh sáng hoặc chi tiết của vật thể quá nhỏ, chúng ta sẽ mất rất nhiều thông tin vì bộ lọc Bayer ngang nhiên cắt bỏ các photon có bước sóng không mong muốn. Đó là lý do tại sao họ nghĩ ra Pixel Shifting - dịch chuyển ma trận 1 pixel lên-xuống-phải-trái để nắm bắt tất cả. Trong trường hợp này, bức ảnh không lớn hơn 4 lần, vì có vẻ như bộ xử lý chỉ sử dụng dữ liệu này để ghi lại giá trị của từng pixel một cách chính xác hơn. Có thể nói, nó tính trung bình không phải trên các nước láng giềng mà là trên bốn giá trị của chính nó.
Việc chúng ta bị run tay khi chụp ảnh trên điện thoại khiến quá trình này trở thành một hệ quả tất yếu. Trong các phiên bản mới nhất của Google Pixel, tính năng này được triển khai và bật bất cứ khi nào bạn sử dụng tính năng thu phóng trên điện thoại - nó được gọi là Super Res Zoom (vâng, tôi cũng thích cách đặt tên tàn nhẫn của chúng). Người Trung Quốc cũng sao chép nó vào laophone của họ, mặc dù nó tệ hơn một chút.
Việc xếp chồng các bức ảnh bị dịch chuyển một chút lên nhau cho phép bạn thu thập thêm thông tin về màu sắc của từng pixel, nghĩa là giảm nhiễu, tăng độ sắc nét và nâng cao độ phân giải mà không làm tăng số megapixel vật lý của ma trận. Các điện thoại Android hàng đầu hiện đại thực hiện việc này một cách tự động mà không cần người dùng phải suy nghĩ về nó.
Xếp chồng tiêu điểm - bất kỳ độ sâu trường ảnh nào và lấy nét lại trong quá trình hậu kỳ
Phương pháp này xuất phát từ chụp ảnh macro, trong đó độ sâu trường ảnh nông luôn là một vấn đề. Để toàn bộ đối tượng được lấy nét, bạn phải chụp một số khung hình với tiêu điểm dịch chuyển qua lại, sau đó ghép chúng lại với nhau thành một khung hình sắc nét. Phương pháp tương tự thường được các nhiếp ảnh gia phong cảnh sử dụng, làm cho tiền cảnh và hậu cảnh sắc nét như tiêu chảy.
Tất cả điều này cũng đã chuyển sang điện thoại thông minh, mặc dù không có nhiều sự cường điệu. Năm 2013, Nokia Lumia 1020 với “Ứng dụng lấy nét lại” đã được phát hành và vào năm 2014, Samsung Galaxy S5 với chế độ “Lấy nét chọn lọc”. Họ làm việc theo cùng một sơ đồ: bằng cách nhấn một nút, họ nhanh chóng chụp 3 bức ảnh - một bức có tiêu điểm “bình thường”, bức thứ hai với tiêu điểm được dịch chuyển về phía trước và bức thứ ba với tiêu điểm được chuyển về phía sau. Chương trình đã căn chỉnh các khung hình và cho phép bạn chọn một trong số chúng, được quảng cáo là kiểm soát lấy nét “thực sự” trong quá trình hậu kỳ.
Không cần xử lý gì thêm, bởi vì ngay cả vụ hack đơn giản này cũng đủ để đóng một chiếc đinh khác vào nắp Lytro và các công ty cùng ngành với sự tập trung trung thực của họ. Nhân tiện, hãy nói về họ (bậc thầy chuyển tiếp 80 lvl).
Ma trận tính toán - trường ánh sáng và quang học
Như chúng tôi đã hiểu ở trên, ma trận của chúng tôi là nỗi kinh hoàng trên đôi nạng. Chúng tôi đã quen với nó và đang cố gắng sống chung với nó. Cấu trúc của chúng đã thay đổi rất ít kể từ đầu thời gian. Chúng tôi chỉ cải tiến quy trình kỹ thuật - chúng tôi giảm khoảng cách giữa các pixel, chống nhiễu và thêm các pixel đặc biệt để lấy nét tự động theo pha. Nhưng nếu bạn lấy ngay cả chiếc máy ảnh DSLR đắt tiền nhất và cố gắng chụp ảnh một con mèo đang chạy với nó trong điều kiện ánh sáng trong phòng - nói một cách nhẹ nhàng thì con mèo sẽ thắng.
Chúng tôi đã cố gắng phát minh ra thứ gì đó tốt hơn trong một thời gian dài. Rất nhiều nỗ lực và nghiên cứu trong lĩnh vực này được tìm kiếm trên Google cho “cảm biến tính toán” hoặc “cảm biến không phải của Bayer” và thậm chí ví dụ về Dịch chuyển pixel ở trên cũng có thể được coi là nỗ lực cải thiện ma trận bằng cách sử dụng phép tính. Tuy nhiên, những câu chuyện hứa hẹn nhất trong hai mươi năm qua đã đến với chúng ta chính xác từ thế giới của cái gọi là máy ảnh toàn quang.
Để bạn không buồn ngủ vì dự đoán những từ phức tạp sắp xảy ra, tôi sẽ tiết lộ với người trong cuộc rằng camera của Google Pixel mới nhất chỉ là "hơi" toàn quang. Chỉ hai pixel, nhưng thậm chí điều này còn cho phép nó tính toán độ sâu quang học chính xác của khung hình ngay cả khi không có camera thứ hai, giống như những người khác.
Plenoptics là một vũ khí mạnh mẽ chưa khai hỏa. Đây là một liên kết đến một trong những cái gần đây yêu thích của tôi. , nơi tôi đã mượn các ví dụ từ đó.
Camera Plenoptic - sắp ra mắt
Được phát minh vào năm 1994, được thu thập tại Stanford vào năm 2004. Chiếc máy ảnh tiêu dùng đầu tiên, Lytro, được ra mắt vào năm 2012. Ngành công nghiệp VR hiện đang tích cực thử nghiệm các công nghệ tương tự.
Máy ảnh đa quang học khác với máy ảnh thông thường chỉ ở một sửa đổi - ma trận của nó được bao phủ bởi một lưới thấu kính, mỗi thấu kính bao phủ một số pixel thực. Một cái gì đó như thế này:
Nếu bạn tính toán chính xác khoảng cách từ lưới đến ma trận và kích thước của khẩu độ, hình ảnh cuối cùng sẽ có các cụm pixel rõ ràng - một loại phiên bản nhỏ của hình ảnh gốc.
Hóa ra là nếu bạn lấy một pixel trung tâm từ mỗi cụm và dán hình ảnh lại với nhau chỉ bằng cách sử dụng chúng, nó sẽ không khác gì ảnh được chụp bằng máy ảnh thông thường. Đúng, chúng tôi đã giảm một chút về độ phân giải, nhưng chúng tôi sẽ chỉ yêu cầu Sony bổ sung thêm nhiều megapixel trong các ma trận mới.
Cuộc vui chỉ mới bắt đầu thôi. nếu bạn lấy một pixel khác từ mỗi cụm và ghép ảnh lại với nhau, bạn sẽ lại có được một bức ảnh bình thường, chỉ như thể nó được chụp với sự dịch chuyển một pixel. Do đó, với các cụm 10 × 10 pixel, chúng ta sẽ thu được 100 hình ảnh của đối tượng từ các điểm “hơi” khác nhau.
Kích thước cụm lớn hơn có nghĩa là nhiều hình ảnh hơn nhưng độ phân giải thấp hơn. Trong thế giới điện thoại thông minh có ma trận 41 megapixel, mặc dù chúng ta có thể bỏ qua độ phân giải một chút nhưng mọi thứ đều có giới hạn. Bạn phải duy trì sự cân bằng.
Được rồi, chúng ta đã lắp ráp một camera toàn quang, vậy nó mang lại cho chúng ta điều gì?
Lấy nét lại một cách trung thực
Tính năng mà tất cả các nhà báo đều bàn tán xôn xao trong các bài viết về Lytro là khả năng điều chỉnh tiêu điểm một cách trung thực trong khâu hậu kỳ. Công bằng mà nói, chúng tôi muốn nói rằng chúng tôi không sử dụng bất kỳ thuật toán làm mờ nào mà chỉ sử dụng các pixel có sẵn, chọn hoặc lấy trung bình chúng từ các cụm theo thứ tự bắt buộc.
Chụp ảnh RAW từ máy ảnh toàn thị trông có vẻ lạ. Để lấy được một chiếc xe jeep sắc bén thông thường ra khỏi nó, trước tiên bạn phải lắp ráp nó. Để thực hiện việc này, bạn cần chọn từng pixel của xe jeep từ một trong các cụm RAW. Tùy thuộc vào cách chúng ta chọn chúng, kết quả sẽ thay đổi.
Ví dụ, cụm càng xa điểm tới của chùm tia ban đầu thì chùm tia này càng mất nét. Bởi vì quang học. Để có được hình ảnh được chuyển tiêu điểm, chúng ta chỉ cần chọn các pixel ở khoảng cách mong muốn so với ảnh gốc - gần hơn hoặc xa hơn.
Việc chuyển trọng tâm về phía bản thân khó khăn hơn - hoàn toàn về mặt vật lý, có ít pixel như vậy hơn trong các cụm. Lúc đầu, các nhà phát triển thậm chí còn không muốn cung cấp cho người dùng khả năng lấy nét bằng tay—chính máy ảnh đã quyết định điều này trong phần mềm. Người dùng không thích tương lai này nên họ đã thêm một tính năng trong phần sụn sau này có tên là “chế độ sáng tạo”, nhưng việc lấy nét lại trong đó rất hạn chế vì chính lý do này.
Bản đồ độ sâu và 3D từ một camera
Một trong những thao tác đơn giản nhất trong quang học là thu được bản đồ độ sâu. Để làm điều này, bạn chỉ cần thu thập hai khung hình khác nhau và tính toán mức độ dịch chuyển của các đối tượng trong đó. Thay đổi nhiều hơn có nghĩa là cách xa máy ảnh hơn.
Google gần đây đã mua và khai tử Lytro nhưng lại sử dụng công nghệ của họ cho VR và... cho máy ảnh Pixel. Bắt đầu với Pixel 2, máy ảnh lần đầu tiên trở nên đa hình một chút, mặc dù chỉ có cụm hai pixel. Điều này mang lại cho Google cơ hội không cài đặt camera thứ hai, giống như tất cả những hãng khác, mà tính toán bản đồ độ sâu chỉ từ một bức ảnh.
Bản đồ độ sâu được xây dựng bằng cách sử dụng hai khung hình được dịch chuyển một pixel phụ. Điều này là khá đủ để tính toán bản đồ độ sâu nhị phân và tách tiền cảnh khỏi hậu cảnh và làm mờ hậu cảnh trong hiệu ứng mờ ảo hiện nay. Kết quả của việc phân lớp như vậy cũng được làm mịn và “cải thiện” bởi các mạng thần kinh được đào tạo để cải thiện bản đồ độ sâu (và không bị mờ như nhiều người nghĩ).
Bí quyết là chúng ta có được quang học đa dạng trên điện thoại thông minh gần như miễn phí. Chúng tôi đã đặt thấu kính lên những ma trận nhỏ bé này để bằng cách nào đó làm tăng quang thông. Trong Pixel tiếp theo, Google có kế hoạch tiến xa hơn và bao phủ bốn điốt quang bằng một ống kính.
Nguồn: 3dnews.ru