Source: Midjourney

Haptic dan sound merupakan elemen yang sangat penting dalam pengembangan teknologi AR, VR, dan MR yang berfungsi untuk meningkatkan pengalaman imersif pengguna. Teknologi juga memanfaatkan berbagai modalitas sensoris lainnya, seperti olfaktori, yang dapat meningkatkan pengalaman pengguna secara keseluruhan. Dikarnakan keduanya memiliki peran yang penting berikut adalah penjelasan berdasarkan peran dan kepentingannya dalam sebuah teknologi Immersive:

  1. Hapic

Dalam penerapanya haptic memiliki fungsi yaitu untuk memberikan umpan balik sensoris melalui sentuhan dan gerakan, yang akan membantu pengguna merasa lebih terhubung dengan lingkungan virtual atau augmented. Baik dalam AR, VR, dan MR, umpan balik haptic digunakan untuk menambah tingkat interaksi pengguna, baik itu melalui perangkat seperti sarung tangan haptic (misalnya Facebook Reality Labs Haptic Gloves) atau melalui umpan balik getaran pada perangkat genggam seperti PS5 DualSense controller seperti pada gambar dibawah ini.

Gambar 1. Facebook Reality Labs Haptic Gloves

Haptic dalam berbagai kategori immersive memiliki peran yang berbeda misalkan dalam VR haptic memberikan sensasi yang realistis, misalnya saat berinteraksi seperti berjabat tangan, atau bersentuhan dengan objek virtual. Sementara dalam AR haptic dapat digunakan untuk memberi tanda tentang konteks tertentu, seperti peringatan atau notifikasi melalui getaran. Selain itu haptic juga dapat membantu dalam pelatihan simulasi, seperti simulasi pembedahan yang meningkatkan keterampilan motorik halus pengguna dengan memberikan sensasi yang mendekati kondisi nyata.

Apabila implementasi yang melibatkan multisensori bagi individu tunanetra, seperti yang dijelaskan dalam studi Multi-sensory learning framework for visually impaired learners: Use of 3D, haptic, audio, olfactory media, haptic sangat memainkan peran penting dalam membantu pengguna mengenali bentuk dan tekstur objek dalam lingkungan virtual, sehingga meningkatkan pemahaman terhadap materi pembelajaran.

  1. Sound

Peran sound dalam immersive technology seperti XR (Extended Reality, mencakup AR, VR, MR) merupakan elemen penting untuk memperkuat pengalaman imersif bagi penggunannya. Adanya audio dapat menciptakan lingkungan yang realistis melalui teknik seperti auralization, di mana suara disimulasikan berdasarkan posisi sumber suara di ruang virtual, memberikan ilusi kehadiran yang lebih kuat bagi pengguna. Auralization memungkinkan pengguna merasakan suasana ruangan secara realistis dengan memperhitungkan akustik lingkungan tempat mereka berada.

Tentunya kehadiran teknologi audio yang baik akan memastikan bahwa setiap suara yang didengar sesuai dengan posisi dan gerakan dalam lingkungan virtual serta visual yang dihadirkan. Hal ini melibatkan simulasi reverb, refleksi suara, serta parameter-parameter lain yang berkontribusi pada pengalaman pengguna. Efisiensi simulasi ini sangat penting terutama pada sistem real-time agar tidak menimbulkan latency yang mengganggu pengalaman pengguna.

Jika dilihat dari hasil beberapa paper dan jurnal misalkan pada Paper berjudul “Multi-sensory Learning Framework for Visually Impaired Learners” (Chit et al., 2024) Dimana dalam penelitian ini mengatakan bahwa, haptic dan sound keduanya memiliki peran sangat penting dalam meningkatkan pengalaman belajar bagi penyandang tunanetra. Sound sendiri berperan sebagai elemen utama dalam membantu peserta mengenali bentuk objek secara akurat, terutama dalam lingkungan virtual. Dan haptic dan olfaktori juga memberikan kontribusi yang signifikan, terutama untuk memperkaya pengalaman sensoris, namun sound dinyatakan sebagai faktor paling dominan dalam meningkatkan akurasi identifikasi objek dan dapat dibukti kan melalui result di gambar berikut.

Gambar 2 Result nilai yang diperoleh oleh para peserta dalam paper (Chit et al., 2024)

Dari gambar ditas nilai-nilai ini diperoleh setelah para peserta menggunakan perangkat haptic dan audio dalam lingkungan pembelajaran virtual untuk mengidentifikasi berbagai objek berdasarkan pengalaman mereka.

Sementara itu dalam paper Integrating VR/AR with Haptics into STEM Education for Multi-Sensory Learning oleh Sanfilippo et al., 2022. Penelitian ini, menunjukan bahwa haptic diidentifikasi sebagai komponen penting dalam pembelajaran STEM, hal ini disebab oleh umpan balik yang membantu siswa mendapatkan pengalaman langsung. Haptic dianggap sangat efektif untuk memberikan pengalaman “Learning by Doing” yang lebih imersif, terutama dalam pendidikan sains dan teknik. Haptic juga berperan dalam menciptakan interaksi fisik yang realistis, yang sangat membantu dalam pembelajaran berbasis laboratorium virtual, di mana interaksi langsung dengan objek penting untuk pembelajaran yang efektif.

Gambar 3. Ilustrasi bagaimana setiap hal berperan dalam meningkatkan pengalaman immersive

Berdasarkan artikel, paper dan jurnal yang ada baik haptic maupun sound memiliki peranan yang sangat penting dalam menghadirkan pengalaman immersive yang baik. Sound membantu dalam memvisualisasikan kedaan secara realistis dan Haptic membantu dengan memberikan sensasi sentuhan sehingga pengalaman immersive benar benar terasa nyata seperti ilustrasi pada gambar 3.

Kesimpulan

Haptic dan sound merupakan dua elemen sensoris utama yang memainkan peran penting dalam membangun pengalaman imersif pada teknologi AR, VR, dan MR. Haptic berfungsi untuk memberikan umpan balik taktil yang memungkinkan pengguna merasakan sensasi fisik seperti sentuhan, getaran, atau tekanan, sehingga interaksi dengan lingkungan virtual terasa lebih nyata dan intuitif. Sementara itu, sound khususnya melalui teknik seperti auralization menambah dimensi spasial dan realisme dengan menyimulasikan sumber suara sesuai posisi pengguna dalam ruang virtual. Kombinasi keduanya menciptakan pengalaman multisensori yang tidak hanya meningkatkan keterlibatan pengguna, tetapi juga efektif dalam konteks pendidikan, pelatihan medis, maupun bagi penyandang disabilitas visual. Berdasarkan berbagai penelitian, haptic membantu memperkuat pengalaman “learning by doing”, sedangkan sound terbukti paling berpengaruh dalam meningkatkan akurasi persepsi dan orientasi ruang. Secara keseluruhan, sinergi antara haptic dan sound menjadi fondasi penting dalam menciptakan dunia imersif yang benar-benar terasa hidup dan responsif terhadap penggunanya.

Penulis: 

Samson Ndruru, S.Kom., M.Kom. (FDP Scholar)

Daftar Pustaka:

  1. Sanfilippo, F., Blazauskas, T., Salvietti, G., Ramos, I., Vert, S., Radianti, J., … & Oliveira, D. (2022). A perspective review on integrating VR/AR with haptics into stem education for multi-sensory learning. Robotics, 11(2), 41.
  2. Chit, S. M., Yap, K. M., & Ahmad, A. (2024). Multi-sensory learning framework for visually impaired learners: Use of 3D, haptic, audio, olfactory media. Multimedia Tools and Applications, 1-13.