Fotografi Komputasi: Dari Selfie ke Lubang Hitam
Tidak mungkin membayangkan presentasi smartphone hari ini tanpa menari di sekitar kameranya. Google membuat Pixel mengambil gambar dalam gelap, Huawei melakukan zooming seperti teleskop, Samsung menempatkan lidars di dalamnya, dan Apple menghadirkan sudut-sudut paling bulat di dunia. Tingkat inovasi ilegal terjadi di sini.

DSLR, di sisi lain, tampak setengah mati. Sony menghujani setiap orang dengan hujan sensor-megapiksel baru setiap tahun, sementara para produsen malas memperbarui nomor versi minor dan terus berbaring di tumpukan uang dari para pembuat film. Saya memiliki $ 3000 Nikon di meja saya, tetapi saya mengambil iPhone di perjalanan saya. Mengapa?

Tidak mungkin membayangkan presentasi smartphone hari ini tanpa menari di sekitar kameranya.
Saya online dengan pertanyaan ini. Di sana, saya melihat banyak perdebatan tentang “algoritma” dan “jaringan saraf”, meskipun tidak ada yang bisa menjelaskan bagaimana tepatnya mereka mempengaruhi foto. Para jurnalis dengan keras membaca jumlah megapiksel dari rilis pers, blogger mematikan Internet dengan lebih banyak unboxing, dan kutu buku kamera meluap dengan “persepsi sensual dari palet warna sensor”. Ah, Internet. Anda memberi kami akses ke semua informasi. Cinta kamu.

Jadi, saya menghabiskan setengah dari hidup saya untuk memahami semuanya sendiri. Saya akan mencoba menjelaskan semua yang saya temukan di artikel ini, kalau tidak saya akan melupakannya dalam sebulan.

Apa itu Fotografi Komputasi?
Di mana-mana, termasuk Wikipedia, Anda mendapatkan definisi seperti ini: fotografi komputasi adalah teknik pengambilan dan pemrosesan gambar digital yang menggunakan komputasi digital alih-alih proses optik. Semuanya baik-baik saja kecuali itu omong kosong. Ketidakjelasan definisi resmi menunjukkan bahwa kita masih tidak tahu apa yang sedang kita lakukan.

Stanford Profesor dan pelopor fotografi komputer Marc Levoy (dia juga di belakang banyak inovasi di kamera Pixel Google) memberikan definisi lain – teknik pencitraan komputasi meningkatkan atau memperluas kemampuan fotografi digital di mana outputnya adalah foto biasa, tetapi yang tidak mungkin diambil oleh kamera tradisional. Saya lebih menyukainya, dan dalam artikel ini, saya akan mengikuti definisi ini.

Jadi, smartphone yang harus disalahkan untuk semuanya.
Jadi, smartphone yang harus disalahkan untuk semuanya. Smartphone tidak punya pilihan selain menghidupkan fotografi jenis baru – komputasi.

Mereka memiliki sedikit sensor bising dan lensa lambat kecil. Menurut semua hukum fisika, mereka hanya bisa membawa kita kesakitan dan penderitaan. Dan mereka melakukannya. Sampai beberapa pengembang menemukan cara menggunakan kekuatan mereka untuk mengatasi kelemahan: jendela elektronik cepat, prosesor yang kuat, dan perangkat lunak.

Sebagian besar penelitian signifikan dalam bidang fotografi komputasi dilakukan pada 2005-2015, yang dianggap sebagai kemarin dalam sains. Itu berarti, saat ini, tepat di depan mata kita dan di dalam saku kita, ada bidang baru ilmu pengetahuan dan teknologi yang belum pernah ada sebelumnya.

Fotografi komputasi bukan hanya tentang bokeh selfie. Foto lubang hitam terbaru tidak akan diambil tanpa menggunakan metode fotografi komputasi. Untuk mengambil gambar seperti itu dengan teleskop standar, kita harus membuatnya seukuran Bumi. Namun, dengan menggabungkan data delapan teleskop radio di berbagai lokasi bola Bumi kita dan menulis beberapa skrip Python yang keren, kita mendapatkan gambar pertama dunia tentang cakrawala peristiwa.

Ini masih bagus untuk selfie, jangan khawatir.

(Saya akan memasukkan tautan seperti itu dalam jalannya cerita. Mereka akan mengarahkan Anda ke artikel atau video brilian langka yang saya temukan, dan memungkinkan Anda untuk menyelami topik lebih dalam jika Anda tiba-tiba tertarik. Karena saya secara fisik dapat akan memberitahumu semuanya dalam satu artikel.)

Awal: Pemrosesan Digital
Mari kita kembali ke 2010. Justin Bieber merilis album pertamanya dan Burj Khalifa baru saja dibuka di Dubai, tetapi kami bahkan tidak dapat menangkap dua peristiwa besar dunia ini karena foto-foto kami berisik JPEG 2 megapiksel. Kami memiliki keinginan tak tertahankan pertama untuk menyembunyikan ketidakberdayaan kamera ponsel dengan menggunakan preset “vintage”. Instagram keluar.

Matematika dan Instagram
Dengan dirilisnya Instagram, semua orang terobsesi dengan filter. Sebagai orang yang membalikkan rekayasa X-Pro II, Lo-Fi, dan Valencia untuk, tentu saja, tujuan penelitian (hehe), saya masih ingat bahwa mereka terdiri dari tiga komponen:

Pengaturan warna (Hue, Saturation, Lightness, Contrast, Levels, dll.) Adalah koefisien sederhana, sama seperti pada setiap preset yang digunakan fotografer sejak zaman kuno.

Pemetaan nada adalah vektor nilai, masing-masing memberi tahu kita bahwa “merah dengan rona 128 harus diubah menjadi rona 240”. Ini sering direpresentasikan sebagai gambar piksel tunggal, seperti yang ini. Ini adalah contoh untuk filter X-Pro II.

Overlay – gambar transparan dengan debu, butiran, sketsa, dan segala sesuatu yang dapat diterapkan dari atas untuk mendapatkan efek dangkal (tidak sama sekali, ya) dari film lama. Jarang digunakan

Filter modern tidak jauh dari ketiganya, tetapi menjadi sedikit lebih rumit dari perspektif matematika. Dengan munculnya shader perangkat keras dan OpenCL pada smartphone, mereka dengan cepat ditulis ulang di bawah GPU, dan itu dianggap sangat keren. Untuk 2012, tentu saja. Hari ini setiap anak dapat melakukan hal yang sama pada CSS, tetapi dia masih tidak akan mengundang seorang gadis ke pesta.

Namun, kemajuan di bidang filter tidak berhenti di situ. Orang-orang dari Dehanсer, misalnya, menjadi sangat aktif dengan filter non-linear. Alih-alih pemetaan nada manusia-buruk, mereka menggunakan transformasi non-linear yang lebih mewah dan rumit, yang membuka lebih banyak peluang, menurut mereka.

Dengan dirilisnya Instagram, semua orang terobsesi dengan filter.
Anda dapat melakukan banyak hal dengan transformasi non-linear, tetapi mereka sangat kompleks, dan kita manusia sangat bodoh. Segera setelah transformasi non-linear, kami lebih suka menggunakan metode numerik atau menjalankan jaringan saraf untuk melakukan pekerjaan kami. Hal yang sama terjadi di sini.

Otomasi dan Impian dari Tombol “Mahakarya”
Ketika semua orang terbiasa dengan filter, kami mulai mengintegrasikannya langsung ke kamera kami. Tersembunyi dalam sejarah siapa pun yang merupakan produsen pertama yang mengimplementasikan ini, tetapi hanya untuk memahami sudah berapa lama, pikirkanlah, bahwa di iOS 5.0 yang dirilis pada tahun 2011 kami telah memiliki API publik untuk Gambar Peningkatan Otomatis. Hanya Steve Jobs yang tahu berapa lama itu digunakan sebelum dibuka untuk umum.

Otomasi melakukan hal yang sama seperti yang kita lakukan dengan membuka editor foto – itu memperbaiki lampu dan bayangan, meningkatkan kecerahan, menghilangkan mata merah, dan memperbaiki warna wajah. Pengguna bahkan tidak tahu bahwa “kamera yang ditingkatkan secara dramatis” hanyalah kelebihan beberapa baris kode baru.

Hari ini, pertempuran untuk tombol Mahakarya telah pindah ke bidang pembelajaran mesin. Bosan bermain dengan pemetaan nada, semua orang bergegas ke hype train CNN dan GAN dan mulai memaksa komputer untuk memindahkan slider untuk kita. Dengan kata lain, untuk menggunakan gambar input untuk menentukan serangkaian parameter optimal yang akan membawa gambar yang diberikan lebih dekat ke pemahaman subjektif tertentu dari “fotografi yang baik”. Lihat penerapannya di Pixelmator Pro dan editor lain yang memikat Anda dengan fitur “ML” mewah yang dinyatakan di laman landas. Itu tidak selalu bekerja dengan baik, seperti yang bisa Anda tebak. Tetapi Anda selalu dapat mengambil kumpulan data dan melatih jaringan Anda sendiri untuk mengalahkan orang-orang ini, menggunakan tautan di bawah ini. Atau tidak.

sumber:dpreview.com