Warning: getimagesize(): http:// wrapper is disabled in the server configuration by allow_url_fopen=0 in /home/yfzbjhce/indonesiamendesain.com/wp-content/plugins/td-cloud-library/shortcodes/header/tdb_header_logo.php on line 792

Warning: getimagesize(http://indonesiamendesain.com/wp-content/uploads/2020/09/Screen-Shot-2020-07-16-at-13.07.54-300x136.png): failed to open stream: no suitable wrapper could be found in /home/yfzbjhce/indonesiamendesain.com/wp-content/plugins/td-cloud-library/shortcodes/header/tdb_header_logo.php on line 792

Warning: getimagesize(): http:// wrapper is disabled in the server configuration by allow_url_fopen=0 in /home/yfzbjhce/indonesiamendesain.com/wp-content/plugins/td-cloud-library/shortcodes/header/tdb_header_logo.php on line 792

Warning: getimagesize(http://indonesiamendesain.com/wp-content/uploads/2020/09/Screen-Shot-2020-07-16-at-13.07.54-300x136.png): failed to open stream: no suitable wrapper could be found in /home/yfzbjhce/indonesiamendesain.com/wp-content/plugins/td-cloud-library/shortcodes/header/tdb_header_logo.php on line 792

Fotografi komputasi: Sensor dan optik komputasi

- Advertisement -
- Advertisement -
- Advertisement -

Sensor Komputasi: Plenoptik dan Bidang Cahaya
Nah, sensor kami omong kosong. Kami cukup terbiasa dan berusaha melakukan yang terbaik dengan mereka. Mereka tidak banyak berubah dalam desain mereka dari awal waktu. Proses teknis adalah satu-satunya hal yang ditingkatkan – kami mengurangi jarak antara piksel, melawan kebisingan baca, meningkatkan kecepatan pembacaan dan menambahkan piksel khusus untuk sistem fokus otomatis fase-deteksi. Tetapi bahkan jika kita mengambil kamera yang paling mahal untuk mencoba memotret kucing yang sedang berlari di dalam ruangan, kucing itu akan menang.

Kami telah mencoba menemukan sensor yang lebih baik untuk waktu yang lama. Anda dapat melakukan banyak penelitian di bidang ini dengan pertanyaan “sensor komputasi” atau “sensor non-Bayer”. Bahkan contoh Pixel Shifting dapat disebut sebagai upaya untuk meningkatkan sensor dengan perhitungan.

Namun, kisah paling menjanjikan dari dua puluh tahun terakhir, datang kepada kita dari kamera pleno.

Untuk menenangkan perasaan Anda akan matematika yang membosankan, saya akan memberikan catatan orang dalam – kamera Google Pixel terakhir sedikit plenoptik. Dengan hanya dua piksel dalam satu, masih ada cukup untuk menghitung kedalaman optik yang adil dari peta bidang tanpa memiliki kamera kedua seperti orang lain.

Plenoptics adalah senjata ampuh yang belum pernah ditembakkan.

Kamera Pleno Optik
Diciptakan pada tahun 1994. Untuk pertama kalinya berkumpul di Stanford pada tahun 2004. Produk konsumen pertama – Lytro, dirilis pada tahun 2012. Industri VR sekarang aktif bereksperimen dengan teknologi serupa.

Kamera plenoptik berbeda dari yang normal hanya dengan satu modifikasi. Sensornya ditutupi dengan kisi-kisi lensa, yang masing-masing mencakup beberapa piksel nyata. Sesuatu seperti ini:

Jika kita menempatkan kisi-kisi dan sensor pada jarak yang tepat, kita akan melihat kluster piksel tajam yang berisi versi mini dari gambar asli pada gambar RAW akhir.

Rupanya, jika Anda hanya mengambil satu piksel pusat dari setiap kluster dan membuat gambar hanya dari mereka, itu tidak akan berbeda dari yang diambil dengan kamera standar. Ya, kami kehilangan sedikit dalam resolusi, tetapi kami hanya akan meminta Sony untuk memasukkan lebih banyak megapiksel di sensor berikutnya.

Di situlah bagian yang menyenangkan dimulai. Jika Anda mengambil piksel lain dari setiap kluster dan membuat gambar lagi, Anda kembali mendapatkan foto standar, hanya jika diambil dengan kamera yang digeser satu piksel dalam ruang. Jadi, dengan kluster piksel 10×10, kami mendapatkan 100 gambar dari “sedikit” sudut yang berbeda.

Semakin banyak ukuran cluster, semakin banyak gambar yang kita miliki. Resolusi lebih rendah. Di dunia smartphone dengan sensor 41-megapiksel, semuanya memiliki batas, meski kita bisa sedikit mengabaikan resolusi. Kita harus menjaga keseimbangan.

Tautan: plenoptic.info – tentang plenoptik, dengan sampel kode python
Baiklah, kita punya kamera plenoptik. Apa yang bisa kita lakukan dengannya?

Pemfokusan ulang yang adil
Fitur yang didengungkan oleh semua orang dalam artikel yang meliput Lytro adalah kemungkinan untuk menyesuaikan fokus setelah pemotretan dilakukan. “Adil” berarti kami tidak menggunakan algoritma deblurring apa pun, melainkan hanya piksel yang tersedia, pengambilan atau rata-rata dalam urutan yang benar.

Foto RAW yang diambil dengan kamera pleno terlihat aneh. Untuk mendapatkan JPEG tajam yang biasa, Anda harus merakitnya terlebih dahulu. Hasilnya akan bervariasi tergantung pada bagaimana kami memilih piksel dari RAW.

Semakin jauh klaster berasal dari titik dampak sinar asli, semakin tidak fokus sinar tersebut. Karena optik. Untuk mengalihkan gambar dalam fokus, kita hanya perlu memilih piksel pada jarak yang diinginkan dari aslinya – baik lebih dekat atau lebih jauh.

Gambar harus dibaca dari kanan ke kiri karena kami semacam mengembalikan gambar, mengetahui piksel pada sensor. Kami mendapatkan gambar asli yang tajam di atas, dan di bawah ini kami menghitung apa yang ada di baliknya. Artinya, kami menggeser fokus secara komputasi.
Proses pengalihan fokus ke depan sedikit lebih rumit karena kami memiliki piksel lebih sedikit di bagian-bagian klaster ini. Pada awalnya, pengembang Lytro bahkan tidak ingin membiarkan pengguna fokus secara manual karena itu – kamera membuat keputusan sendiri menggunakan perangkat lunak. Pengguna tidak suka itu, jadi fitur itu ditambahkan di versi akhir sebagai “mode kreatif”, tetapi dengan fokus ulang yang sangat terbatas untuk alasan itu.

Peta Kedalaman dan 3D menggunakan lensa tunggal
Salah satu operasi paling sederhana dalam plenoptik adalah mendapatkan peta kedalaman. Anda hanya perlu mengumpulkan dua gambar berbeda dan menghitung bagaimana benda-benda tersebut bergeser di antara mereka. Semakin banyak pergeseran – semakin jauh dari kamera objeknya.

Google baru-baru ini membeli dan membunuh Lytro, tetapi menggunakan teknologi mereka untuk kamera VR dan … Pixel. Dimulai dengan Pixel 2, kamera menjadi “sedikit” plenoptik, meskipun hanya dengan dua piksel per kluster. Akibatnya, Google tidak perlu memasang kamera kedua seperti semua anak keren lainnya. Sebagai gantinya, mereka dapat menghitung peta kedalaman dari satu foto.

mages yang melihat subpixels atas dan bawah dari kamera Google Pixel. Yang tepat adalah animasi untuk kejelasan (klik untuk memperbesar dan melihat animasi). Sumber: Google
Peta kedalaman juga diproses dengan jaringan saraf untuk membuat latar belakang lebih buram. Sumber: Google

5000/5000Batas karakter: 5000TERJEMAHKAN 5000 BERIKUTNYAPeta kedalaman dibangun pada dua pemotretan yang digeser oleh satu sub-piksel. Ini cukup untuk menghitung peta kedalaman yang belum sempurna dan memisahkan latar depan dari latar belakang untuk mengaburkannya dengan beberapa bokeh modis. Hasil stratifikasi ini masih dihaluskan dan “ditingkatkan” oleh jaringan saraf yang dilatih untuk memperbaiki peta kedalaman (daripada mengamati, seperti yang dipikirkan banyak orang).

Kuncinya adalah kita mendapatkan plenoptik di smartphone hampir tanpa biaya. Kami sudah memasang lensa pada sensor kecil ini untuk meningkatkan fluks bercahaya setidaknya entah bagaimana. Beberapa paten dari Google menunjukkan bahwa ponsel Pixel di masa depan mungkin melangkah lebih jauh dan mencakup empat fotodioda dengan sebuah lensa.

Mengiris lapisan dan benda

Anda tidak melihat hidung Anda karena otak Anda menggabungkan gambar akhir dari kedua mata Anda. Tutup satu mata, dan Anda akan melihat piramida besar Mesir di ujungnya.

Efek yang sama dapat dicapai dalam kamera plenoptik. Dengan merakit gambar yang bergeser dari piksel kluster yang berbeda, kita dapat melihat objek seolah-olah dari beberapa titik. Sama seperti mata kita. Ini memberi kita dua peluang keren. Pertama adalah kita dapat memperkirakan jarak perkiraan ke objek, yang memungkinkan kita dengan mudah memisahkan latar depan dari latar belakang seperti dalam kehidupan. Dan kedua, jika objeknya kecil, kita dapat sepenuhnya menghapusnya dari foto karena kita dapat secara efektif melihat-lihat objek. Seperti hidung. Kloning saja. Secara optis, nyata, tanpa photoshop.

Dengan ini, kita dapat memotong pohon antara kamera dan objek atau menghapus confetti yang jatuh, seperti dalam video di bawah ini.

Stabilisasi “Optik” tanpa optik

Dari RAW plenoptik, Anda dapat membuat ratusan foto dengan beberapa piksel bergeser di seluruh area sensor. Karenanya, kami memiliki tabung diameter lensa di mana kami dapat memindahkan titik pemotretan dengan bebas, sehingga mengimbangi guncangan gambar.

Secara teknis, stabilisasi masih optik, karena kami tidak perlu menghitung apa pun – kami hanya memilih piksel di tempat yang tepat. Di sisi lain, setiap kamera plenoptik mengorbankan jumlah megapiksel demi kemampuan plenoptik, dan setiap penstabil digital bekerja dengan cara yang sama. Sangat menyenangkan untuk memilikinya sebagai bonus, tetapi menggunakannya hanya demi itu mahal.

Semakin besar sensor dan lensa, semakin besar jendela untuk bergerak. Semakin banyak kemampuan kamera, semakin banyak lubang ozon yang memasok sirkus ini dengan listrik dan pendinginan. Ya, teknologi!

Berkelahi dengan filter Bayer

Filter Bayer masih diperlukan bahkan dengan kamera plenoptik. Kami belum menemukan cara lain untuk mendapatkan gambar digital yang berwarna. Dan menggunakan RAW pleno, kita dapat meratakan warna tidak hanya oleh kelompok piksel terdekat, seperti dalam demosaicing klasik, tetapi juga menggunakan lusinan salinannya di kelompok tetangga.

Ini disebut “resolusi super computable” di beberapa artikel, tapi saya akan mempertanyakannya. Bahkan, kami mengurangi resolusi sebenarnya dari sensor dalam beberapa lusin kali ini terlebih dahulu untuk mengembalikannya dengan bangga. Anda harus berusaha keras untuk menjualnya kepada seseorang.

Namun secara teknis, ini masih lebih menarik daripada mengguncang sensor dalam kejang pergeseran piksel.

Aperture komputasi (bokeh)

Mereka yang suka menembak hati bokeh akan senang. Karena kami tahu cara mengontrol fokus ulang, kami dapat beralih dan mengambil hanya beberapa piksel dari gambar yang tidak fokus dan yang lain dari yang normal. Dengan demikian kita bisa mendapatkan bukaan dalam bentuk apa pun. Yay! (Tidak)

Banyak lagi trik untuk video

Jadi, agar tidak pindah terlalu jauh dari topik foto, semua orang yang tertarik harus melihat tautan di atas dan di bawah. Mereka berisi sekitar setengah lusin aplikasi menarik lainnya dari kamera plenoptik.

Bidang Cahaya: Lebih dari foto, kurang dari VR

Biasanya, penjelasan plenoptik dimulai dengan medan cahaya. Dan ya, dari perspektif sains, kamera plenoptik menangkap bidang cahaya, bukan hanya foto. Plenus berasal dari bahasa Latin “penuh”, yaitu, mengumpulkan semua informasi tentang sinar cahaya. Sama seperti sesi pleno Parlemen.

Mari kita ke bagian bawah ini untuk memahami apa bidang cahaya itu dan mengapa kita membutuhkannya.

Foto tradisional bersifat dua dimensi. Ketika sinar menabrak sensor akan ada pixel yang sesuai dalam foto yang merekam intensitasnya saja. Kamera tidak peduli dari mana datangnya sinar, apakah itu jatuh secara tidak sengaja atau dipantulkan dari objek lain. Foto hanya menangkap titik persimpangan sinar dengan permukaan sensor. Jadi agak 2D.

Gambar bidang cahaya serupa, tetapi dengan komponen baru – asal dan sudut setiap sinar. Susunan mikrolensa di depan sensor dikalibrasi sedemikian rupa sehingga setiap lensa mengambil bagian tertentu dari bukaan lensa utama, dan setiap piksel di belakang masing-masing lensa mengambil contoh sudut sinar tertentu. Dan karena sinar cahaya yang berasal dari suatu objek dengan sudut yang berbeda jatuh di piksel yang berbeda pada sensor kamera bidang cahaya, Anda dapat membangun pemahaman tentang semua sudut sinar cahaya yang masuk dari objek ini. Ini berarti kamera secara efektif menangkap vektor ray dalam ruang 3D. Seperti menghitung pencahayaan video game, tetapi sebaliknya – kami mencoba menangkap adegan, bukan menciptakannya.Bidang cahaya adalah himpunan semua sinar cahaya dalam adegan kami – menangkap baik intensitas dan informasi sudut tentang setiap sinar.

Ada banyak model matematika bidang cahaya. Inilah salah satu yang paling representatif.

Bidang cahaya pada dasarnya adalah model visual dari ruang di sekitarnya. Kami dapat dengan mudah menghitung foto apa pun dalam ruang ini secara matematis. Sudut pandang, kedalaman bidang, bukaan – semua ini juga dapat dihitung; Namun, seseorang hanya dapat memposisikan sudut pandang begitu banyak, ditentukan oleh murid pintu masuk lensa utama. Artinya, jumlah kebebasan yang dapat Anda gunakan untuk mengubah bidang pandang tergantung pada luasnya perspektif yang Anda tangkap, yang tentu terbatas.

Saya suka menggambar analogi dengan kota di sini. Fotografi seperti jalur favorit Anda dari rumah ke bar yang selalu Anda ingat, sedangkan bidang cahaya adalah peta seluruh kota. Dengan menggunakan peta, Anda dapat menghitung rute apa pun dari titik A ke B. Dengan cara yang sama, mengetahui bidang cahaya, kita dapat menghitung foto apa pun.

Untuk foto biasa itu berlebihan, saya setuju. Tapi inilah VR, di mana bidang cahaya adalah salah satu bidang pengembangan yang paling menjanjikan.

Memiliki model bidang cahaya dari suatu objek atau ruangan memungkinkan Anda untuk melihat objek atau ruangan ini dari berbagai perspektif, dengan paralaks gerak dan isyarat kedalaman lainnya seperti perubahan tekstur dan pencahayaan yang realistis saat Anda menggerakkan kepala. Anda bahkan dapat melakukan perjalanan melalui ruang, meskipun pada tingkat terbatas. Rasanya seperti realitas virtual, tetapi tidak perlu lagi membangun model 3D ruangan. Kita dapat ‘cukup’ menangkap semua sinar di dalamnya dan menghitung banyak gambar berbeda dari dalam volume itu. Cukup ya. Itulah yang kami perjuangkan.

sumber:dpreview.com

- Advertisement -

Latest articles

15.1k Followers
Follow

Related articles