MENGUPAS SISTEM REKOMENDASI REAL-TIME NETFLIX DENGAN BIG DATA DAN DEEP LEARNING

Source: Netflix.com (2024)

Netflix bukan hanya layanan streaming film, Netflix adalah salah satu perusahaan teknologi paling maju dalam memanfaatkan Big Data dan AI untuk menghadirkan pengalaman menonton yang sangat personal bagi ratusan juta penggunanya. Dengan lebih dari 200 juta pelanggan di seluruh dunia, tantangan Netflix bukan hanya menyediakan konten berkualitas, tetapi juga menyajikan rekomendasi yang tepat di waktu yang tepat, seolah-olah aplikasi ini “mengenal selera kita lebih baik dari diri kita sendiri”.

Rahasia di balik personalisasi Netflix terletak pada kombinasi antara data pipeline real-time, pemrosesan skala besar, dan pemodelan AI yang canggih. Artikel ini membahas bagaimana Netflix membangun sistem rekomendasi real-time yang efisien, fleksibel, dan sangat responsif.

Data Pipeline Real-Time: Menangkap Perilaku Pengguna Seketika

Ketika pengguna menonton, menjeda, atau mencari film di Netflix, data interaksi tersebut langsung dikirim ke sistem pemrosesan data real-time. Netflix menggunakan beberapa teknologi utama untuk mengatur aliran data besar ini:

1. Apache Kafka: digunakan untuk menangani streaming ingestion secara real-time. Teknologi ini memungkinkan data klik, pencarian, dan interaksi lainnya segera diteruskan ke sistem downstream untuk dianalisis atau disimpan (Netflix Tech Blog, 2025).
2. Apache Chukwa: berperan sebagai pengumpul log dari berbagai sistem dan perangkat Netflix. Dibangun di atas Hadoop Distributed File System (HDFS) dan MapReduce, Chukwa sangat berguna untuk memantau performa sistem secara masif.
3. Cassandra: database NoSQL yang sangat skalabel, menyimpan data riwayat tontonan pengguna. Dengan jutaan sesi streaming yang terjadi setiap hari, Cassandra memastikan Netflix tetap bisa membaca dan menulis data dengan cepat dan andal.
4. Apache Spark: digunakan untuk pemrosesan data historis berskala besar. Teknologi ini memungkinkan Netflix untuk melatih model rekomendasi berdasarkan perilaku pengguna dalam jangka panjang, termasuk pola tontonan, genre favorit, dan kebiasaan waktu menonton.

Foundation Model: Satu Model untuk Banyak Tugas

Netflix mengembangkan foundation model berbasis deep learning yang dilatih menggunakan puluhan miliar data dari berbagai jenis interaksi pengguna. Model ini tidak hanya memprediksi konten apa yang akan disukai pengguna, tetapi juga bertugas untuk tugas-tugas lain seperti:

1. Menentukan urutan konten yang ditampilkan di beranda.
2. Memberikan skor relevansi pada film dan serial tv.
3. Memutuskan apakah suatu judul dimunculkan di kategori “Lanjut Menonton”, “Top 10”, atau “Karena Kamu Menyukai…”.

Pendekatan ini memungkinkan Netflix menggunakan satu model utama untuk banyak jenis personalisasi, yang mengurangi kompleksitas sistem dan mempercepat proses inferensi (Netflix Tech Blog, 2025).

Source: netflixtechblog.com (2025)

Arsitektur: Kombinasi Stateless dan Stateful Processing

Netflix menggunakan arsitektur pemrosesan data bernama Psyberg untuk mendukung dua pendekatan: stateless dan stateful processing (Netflix Tech Blog, 2023):

• Stateless processing digunakan ketika setiap event dapat diproses secara terpisah, tanpa memori atau konteks sebelumnya. Hal ini cocok untuk log sederhana atau analisis dasar yang tidak membutuhkan sejarah data.
• Stateful processing digunakan untuk kasus yang lebih kompleks, seperti mendeteksi anomali atau menghitung rata-rata bitrate selama sesi streaming. Pada kasus ini, sistem perlu mengingat data dari event-event sebelumnya sehingga memerlukan manajemen state yang stabil.

Keunggulan Psyberg terletak pada kemampuannya untuk beroperasi secara fleksibel, mendukung auto-scaling dan load balancing, serta memanfaatkan penyimpanan terdistribusi untuk meminimalkan latensi. Data diproses sedekat mungkin dengan sumbernya untuk menjaga kecepatan dan efisiensi.

Source: AI Generated

Personalisasi Visual dan Tampilan yang Adaptif

Menariknya, sistem rekomendasi Netflix tidak hanya bekerja di belakang layar. Visual yang Anda lihat di beranda, seperti poster film, urutan kategori, bahkan cuplikan yang diputar otomatis semuanya ditentukan oleh model rekomendasi real-time. Netflix menyajikan beranda yang berbeda untuk setiap pengguna, bahkan jika mereka menonton film yang sama. Sistem ini terus belajar dari setiap interaksi dan segera menyesuaikan rekomendasi. Misalnya, jika Anda mulai menonton banyak dokumenter kriminal, beranda Anda akan segera menampilkan lebih banyak konten serupa. Kecepatan penyesuaian inilah yang membuat pengguna merasa bahwa Netflix “mengerti selera mereka”.

Netflix telah membuktikan bahwa pengalaman pengguna bisa didorong oleh kekuatan data. Dengan memanfaatkan teknologi seperti Kafka, Spark, Cassandra, serta fondasi deep learning dan framework seperti Psyberg, Netflix tidak hanya sekadar menayangkan film, tetapi menciptakan sistem yang bisa memprediksi dan mempersonalisasi setiap momen menonton. Sistem rekomendasi mereka bukan hanya soal akurasi, tapi juga tentang kecepatan, skalabilitas, dan relevansi. Dalam dunia di mana perhatian pengguna menjadi komoditas paling berharga, kemampuan untuk menyajikan konten yang tepat, di waktu yang tepat, menjadi senjata utama untuk mempertahankan loyalitas pelanggan.

 

Penulis 

Satriadi Putra Santika, S.Stat., M.Kom – FDP Scholar

 

Daftar Pustaka

Netflix Technology Blog. (2025). Foundation Model for Personalized Recommendation. https://netflixtechblog.com/foundation-model-for-personalized-recommendation-1a0bd8e02d39. Di akses 25 Mei 2025.

Netflix Technology Blog. (2023). Diving Deeper into Psyberg: Stateless vs Stateful Data Processing. https://netflixtechblog.com/2-diving-deeper-into-psyberg-stateless-vs-stateful-data-processing-1d273b3aaefb. Di akses 25 Mei 2025.

GeeksForGeeks. (2025). System Design Netflix – A Complete Architecture. https://www.geeksforgeeks.org/system-design-netflix-a-complete-architecture/. Di akses 25 Mei 2025.

Netflix Help Center. (2025). How does Netflix recommend TV shows and movies? https://help.netflix.com/en/node/100639. Di akses 25 Mei 2025.