NeRF (sumber: https://theaisummer.com/nerf/) 

 

Namanya memang NeRF, tapi ini bukan Nerf mainan pistol itu ya. NeRF di sini adalah sebuah teknik deep learning untuk merepresentasikan scene 3D sebagai fungsi kontinu di dalam jaringan saraf, sehingga dari input gambar 2D saja bisa dirender dan menghasilkan pandangan baru yang fotorealistis dari sudut kamera mana pun.  

 

Get to know: NeRF 

NeRF (Neural Radiance Field) memodelkan sebuah static scene sebagai fungsi 5D yang terdiri dari posisi ruang 

(x,y,z)(x,y,z)

 dan arah pandang 

(θ,ϕ)(𝜃,𝜙)

 yang dipetakan ke warna (radiance) dan densitas pada titik tersebut. Representasi ini bersifat implisit karena seluruh informasi geometri dan view scene disimpan di dalam bobot multilayer perceptron (MLP), bukan dalam mesh atau voxel eksplisit.​ 

Pendekatan ini pertama kali diperkenalkan oleh Mildenhall dkk. pada 2020 dalam “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis” dan sejak itu menjadi topik panas di area computer vision dan graphics. Terutama karena keunggulannya adalah kualitas rekonstruksi 3D yang sangat tinggi bahkan untuk scene kompleks, hanya dari serangkaian gambar statis. 

 

How does it work? 

Pipeline NeRF dimulai dari sekumpulan foto scene dari berbagai sudut dengan pose kamera yang diketahui. Untuk setiap piksel pada suatu citra, NeRF menelusuri sebuah sinar (ray) ke dalam ruang 3D, mengambil banyak sampel titik di sepanjang ray, kemudian memasukkan koordinat 3D dan arah pandang ke jaringan MLP untuk memperoleh warna dan densitas di tiap titik.​ 

Nilai warna dan densitas sepanjang ray kemudian digabung menggunakan teknik volumetric rendering sehingga menghasilkan warna akhir piksel tersebut pada citra sintetik. Dengan mengoptimasi parameter jaringan agar gambar hasil render mendekati gambar input, model dibuat mempelajari struktur 3D, tekstur, dan sifat pantulan cahaya dari scene tersebut, sehingga dapat merender pandangan baru yang sebelumnya tidak pernah dilihat kamera. 

 

Strength? Weakness? 

NeRF tergolong unggul dalam menghasilkan novel view synthesis yang fotorealistis, melampaui banyak metode sebelumnya untuk rekonstruksi 3D dari input gambar multi-sudut. Representasi kontinu memungkinkan detail geometris halus dan efek refleksi yang dapat berubah sesuai sudut pandang, sebuah perkembangan yang penting untuk teknologi mixed reality dan visual effect.​ 

Namun, NeRF versi original masih relatif lambat untuk pelatihan dan rendering karena perlu banyak sampel per ray dan evaluasi jaringan yang berulang-ulang. Penelitian lanjutan yang menjadi variasi dari NeRF seperti PixelNeRF memperkenalkan arsitektur fully convolutional yang tidak lagi membutuhkan kumpulan view yang terkalibrasi dan terorganisir. Mega-NeRD menggunakan teknik clustering geometris dan struktur jaringan yang jarang yang memanfaatkan Sparse Neural Radiance Grid (SNeRG) untuk menangani real world scene dengan pencahayaan yang beragam dan luas. Neural Sparse Voxel Fields (NSVF) mencoba mempercepat kecepatan rendering dengan meng-skip piksel kosong. Pendekatan sparse 3D grid seperti Plenoptic Voxel mempercepat rendering dengan tetap menjaga kualitas visual dengan voxel interpolation. 

 

Real world application 

Di bidang computer graphics dan animasi, NeRF banyak digunakan untuk membuat lingkungan virtual dan efek visual dengan tingkat realisme tinggi terutama pada gim dan film, memudahkan pembuatan set 3D dari foto lokasi nyata. Dalam arsitektur dan real-estate, NeRF membantu visualisasi bangunan dan interior, memungkinkan tur virtual interaktif hanya dari rangkaian foto.​ 

Di bidang lain, NeRF digunakan untuk rekonstruksi 3D dalam kedokteran, misalnya membangun volume CT 3D dari jumlah X-ray yang lebih sedikit sehingga berpotensi mengurangi dosis radiasi. Riset terbaru juga mengeksplorasi penerapan NeRF untuk robotika, ecommerce (sebagai produk 3D interaktif), serta rekonstruksi warisan budaya dan situs sejarah dengan detail tinggi. 

 

Input image and output rendering using NeRV (Srinivasan, et al., 2021) 

 

NeRV? 

Neural Reflectance and Visibility Fields atau NeRV bisa dipandang sebagai ‘lanjutan’ dari NeRF yang secara khusus menangani masalah relighting, yaitu merender scene dari sudut pandang baru sekaligus di bawah kondisi pencahayaan baru yang fleksibel. NeRV memperluas konsep NeRF klasik dengan memodelkan tidak hanya radiance dan densitas, tetapi juga normal permukaan, parameter material, jarak hit pertama, dan visibility field terhadap lingkungan Dengan memisahkan scene menjadi geometri, material, dan visibilitas, NeRV dapat menghitung perubahan pencahayaan secara lebih fisikal saat sumber cahaya berpindah.  

NeRV melatih beberapa MLP yang saling terkait, dimana satu untuk shape/density, satu untuk reflectance, dan satu lagi untuk visibility field yang memperkirakan apakah suatu arah cahaya dari titik tertentu terhalang atau tidak, sehingga perhitungan direct dan indirect illumination menjadi jauh lebih efisien dibanding ray marching brute-force. 

Secara praktis, NeRV mampu menghasilkan representasi 3D yang dapat dirender ulang di bawah pencahayaan kompleks, termasuk environment map, self-shadowing, dan inter-reflection tanpa ememrlukan setup lampu khusus. Eksperimen menunjukkan performanya cukup unggul dibandingkan metode relightable 3D sebelumnya dan menjadi dasar bagi banyak varian modern seperti ReNeRF dan pendekatan visibility field lainnya. 

 

Penulis 

Felicia Natania Lingga, S.Kom. — FDP Scholar 

 

Referensi 

Srinivasan, P.P., Deng, B., Zhang, X., Tancik, M., Mildenhall, B., & Barron, J.T. (2020). NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 7491-7500. https://doi.org/10.1109/CVPR46437.2021.00741  

Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science, vol 12346. Springer, Cham. https://doi.org/10.1007/978-3-030-58452-8_24  

Karagiannakos, S. November 25, 2022. How Neural Radiance Fields (NeRF) and Instant Neural Graphics Primitives work. AI Summer. Retrieved from: https://theaisummer.com/nerf/ on 4 December 2025 

Boesch, G. May 9, 2024. Neural Radiance Fields (NeRFs): A Technical Exploration. Viso.AI. Retrieved from: https://viso.ai/deep-learning/neural-radiance-fields/ on 4 December 2025 

What is NeRF (Neural Radiance Field)? AWS. Retrieved from: https://aws.amazon.com/what-is/neural-radiance-fields/ on 4 December 2025 

October 27, 2024. Realistic 3D Worlds with Neural Radiance Fields. XReco. Retrieved from: https://xreco.eu/realistic-3d-worlds-with-neural-radiance-fields/ on 4 December 2025 

Bogunowicz, D. August 6, 2022. Deep Dive into NeRF (Neural Radiance Fields). Retrieved from: https://dtransposed.github.io/blog/2022/08/06/NeRF/ on 4 December 2025 

Neural Radiance Fields (NeRFs). Huggingface. Retrieved from: https://huggingface.co/learn/computer-vision-course/unit8/nerf on 4 December 2025