Sumber: Unsplash + Personal edit

Perkembangan teknologi digital telah memperluas ruang serangan bagi pelaku kejahatan cyber. Malware atau malicious software kini menjadi alat utama dalam berbagai insiden, mulai dari pencurian data hingga sabotase sistem. Dalam menghadapi ancaman ini, digital forensics memerlukan pendekatan yang lebih dalam untuk memahami cara kerja malware secara teknis. Salah satu pendekatan paling efektif adalah reverse engineering, yaitu proses membongkar dan menganalisis kode biner dari malware untuk mengetahui bagaimana ia bekerja, berinteraksi dengan sistem, dan mencuri data (Aldya et al., 2019).

Reverse engineering memungkinkan analis memahami logika tersembunyi di balik executable file, melacak aktivitas jahat, dan mengidentifikasi tanda-tanda komunikasi dengan command and control (C2) server. Hal ini menjadi sangat krusial ketika malware menggunakan teknik anti-forensik atau mengenkripsi payload-nya agar tidak mudah terdeteksi oleh antivirus.

 

Reverse Engineering Malware

Reverse engineering malware adalah proses membedah struktur internal malware secara teknis agar dapat memahami bagaimana malware bekerja di sistem target. Hal ini mencakup analisis struktur file, pengamatan perilaku saat dijalankan, serta eksplorasi fungsi-fungsi tersembunyi melalui disassembly dan debugging. Reverse engineering digunakan tidak hanya untuk mengungkap cara kerja malware, tetapi juga sebagai bagian dari penyelidikan forensik guna menyusun bukti digital yang valid.

Penelitian oleh Megira et al. (2018) menekankan pentingnya teknik ini dalam menganalisis malware “best.exe” melalui pendekatan sistematis berbasis virtual sandbox. Peneliti dapat mengungkap pola serangan malware termasuk aktivitas pembuatan proses, komunikasi jaringan, serta modifikasi registry sistem, yang sebelumnya tidak dapat dideteksi secara statis.

 

Kapan Reverse Engineering Malware Dilakukan?

Reverse engineering umumnya dilakukan ketika malware yang ditemukan belum terdokumentasi, tidak dapat dikenali oleh antivirus, atau menunjukkan perilaku mencurigakan tanpa payload eksplisit. Teknik ini juga penting bila diperlukan pemahaman lebih dalam terhadap zero-day malware, atau dalam kasus forensik di mana perlu diketahui bagaimana malware menyusup dan apa dampaknya terhadap sistem.

Menurut Aldya et al. (2019), reverse engineering sangat penting dilakukan dalam investigasi malware jenis Remote Access Trojan (RAT) karena malware ini bekerja secara diam-diam dan terkadang menggunakan aplikasi legal sebagai kedok, seperti Flawed Ammyy yang menyamar sebagai software Ammyy Admin. Pada kasus seperti ini, reverse engineering membantu mengidentifikasi fungsi tersembunyi dan titik komunikasi dengan server eksternal.

Teknik Reverse Engineering Malware

Reverse engineering malware dilakukan melalui dua pendekatan utama, yaitu static analysis dan dynamic analysis. Keduanya saling melengkapi dan menjadi fondasi dalam memahami bagaimana malware beroperasi, baik dari struktur kode hingga dampaknya pada sistem.

  • Static Analysis

Static analysis merupakan teknik di mana malware dianalisis tanpa harus dieksekusi. Analis memeriksa struktur file, string tersembunyi, libraries, dan entri API dengan tujuan mengidentifikasi fungsi malware secara aman. Tools seperti IDA Pro, PEStudio, Bintext, dan Ghidra memungkinkan pembedahan kode biner dan disassembly instruksi-instruksi yang digunakan. Menurut Clancy (2022) melalui EC-Council, metode ini sangat berguna untuk malware yang tidak aktif secara otomatis atau memiliki proteksi runtime, serta mengurangi risiko infeksi terhadap sistem analisis. Carter (2023) melalui Huntress menambahkan bahwa analisis statis sangat penting dalam proses pembongkaran malware yang menggunakan teknik obfuscation karena dari sinilah pola enkripsi, payload tersembunyi, atau metode persistence bisa dikenali sejak awal.

  • Dynamic Analysis

Dynamic analysis dilakukan dengan mengeksekusi malware dalam lingkungan terkendali (sandbox atau virtual machine) untuk mengamati perilaku aktualnya secara langsung. Analis dapat melacak perubahan pada sistem file, registry, proses, dan aktivitas jaringan. Tools seperti Cuckoo Sandbox, Process Monitor, Wireshark, dan RegShot menjadi alat utama dalam proses ini. Menurut Khillar (2018) melalui Difference Between, dynamic analysis memberikan informasi yang lebih real-time dibandingkan static analysis karena mampu mengungkap teknik anti-debugging atau evasion yang hanya aktif saat malware dijalankan. SEI CMU (2023) juga menekankan bahwa kombinasi analisis statis dan dinamis adalah kunci untuk memahami varian malware modern yang kompleks dan modular. Dengan pendekatan ini, analis dapat membangun gambaran lengkap, mulai dari fungsi tersembunyi hingga vektor serangan yang sedang berjalan.

Secara ringkas perbedaan antara static analysis dan dynamic analysis dalam reverse engineering malware disajikan pada gambar di bawah ini.

Source: Khillar (2018) via DifferenceBetween.net

 

Langkah-Langkah Reverse Engineering Malware

Proses reverse engineering malware dilakukan melalui beberapa tahapan sistematis yang bertujuan untuk mengidentifikasi, membongkar, dan memahami logika serta dampak dari program jahat tersebut. Berdasarkan kombinasi antara kajian akademik (Megira et al., 2018; Aldya et al., 2019) dan practical guide dari Carter (2023), berikut adalah langkah-langkah umumnya:

  1. Identifikasi Sample

Sample malware biasanya diperoleh dari sistem korban atau melalui threat intelligence feed. Pemeriksaan awal dilakukan menggunakan VirusTotal untuk mengetahui hash, klasifikasi, dan relasi dengan varian lain. Hal ini penting untuk menentukan apakah reverse engineering perlu dilakukan lebih lanjut terhadap malware baru atau tidak dikenal (Carter, 2023).

  1. Hashing dan Integrity Check

Malware diberi nilai hash seperti MD5 atau SHA256 untuk memastikan bahwa setiap perubahan dapat dilacak. Hal ini juga penting untuk validasi forensik dan dokumentasi chain of custody (Aldya et al., 2019).

  1. Setup Environment

Membangun lingkungan uji yang aman, biasanya berupa Virtual Machine (VM) dengan OS yang cocok seperti Windows 7 32-bit. Lingkungan ini dilengkapi dengan snapshot rollback untuk memastikan malware tidak menyebar ke sistem produksi.

  1. Static Analysis Awal

Menggunakan tools seperti PEStudio, Binwalk, dan IDA Pro untuk membongkar struktur file executable, melihat dependencies, dan mengekstrak string. Tahap ini digunakan untuk mengenali indikasi API mencurigakan atau enkripsi.

  1. Dynamic Execution Monitoring

Malware dijalankan dalam sandbox, dan aktivitasnya dipantau menggunakan Process Monitor, RegShot, dan Wireshark. Tujuannya adalah mengidentifikasi komunikasi outbound, perubahan file, registry injection, atau proses new spawn (SEI CMU, 2023).

  1. Disassembly dan Debugging

Dengan tools seperti Ghidra atau x64dbg, analis dapat melangkah instruksi demi instruksi untuk mengamati bagian logika penting seperti decoding payload, persistence mechanism, atau fungsi keylogging. Clancy (2022) menyebutkan bahwa pada tahap ini, pemahaman tentang arsitektur CPU dan assembly sangat dibutuhkan.

  1. Dokumentasi dan Pelaporan

Semua aktivitas harus didokumentasikan secara forensik, mulai dari hash awal, tools yang digunakan, perubahan sistem, hingga kesimpulan fungsi malware. Pelaporan ini menjadi kunci dalam mendukung penyidikan hukum dan pengembangan signature deteksi baru.

 

Tantangan dalam Reverse Engineering Malware

Meskipun reverse engineering adalah teknik penting dalam membongkar dan memahami malware, proses ini tidaklah mudah. Para hackers secara aktif merancang malware dengan kompleksitas tambahan untuk menghindari deteksi dan menyulitkan analisis forensik. Tujuan mereka jelas, yaitu membuat upaya reverse engineering menjadi tugas yang lambat, membingungkan, dan penuh jebakan. Carter (2023) menggambarkan tiga tantangan utama yang sering ditemui oleh analis saat membongkar malware modern.

Source: Carter (2023) via Huntress

  1. Poly/Metamorphic Code

Poly dan metamorphic code adalah teknik canggih yang digunakan malware untuk mengubah struktur internalnya setiap kali dijalankan, tanpa mengubah fungsinya. Dalam kasus polimorfik, malware mengenkripsi dirinya sendiri dengan kunci baru secara dinamis, sementara pada metamorfik, seluruh blok kode direstruktur ulang. Hal ini membuat signature-based detection menjadi tidak efektif dan menyulitkan static analysis karena tidak ada dua sampel yang identik secara biner.

  1. Anti-Analysis Technique

Malware modern sering dilengkapi dengan mekanisme anti-analisis untuk mendeteksi keberadaan debugger, virtual machine, atau tools monitoring. Ketika mendeteksi lingkungan analisis, malware dapat menghentikan eksekusi, mengubah perilaku, atau bahkan menghapus dirinya sendiri. Contoh tekniknya termasuk API checking, pengecekan terhadap nama proses (“procmon.exe” atau “wireshark.exe”), serta time-based checks yang mendeteksi delay debugging. Teknik ini sangat menyulitkan dynamic analysis, karena malware tampak “pasif” atau tidak aktif jika tahu sedang diamati.

  1. Evolving Evasion Techniques

Teknik penghindaran terus berkembang seiring berkembangnya teknologi pertahanan. Malware saat ini mampu memanfaatkan teknik fileless execution, injection ke proses sistem, dan komunikasi terenkripsi dengan command and control (C2) server menggunakan protokol umum seperti HTTPS atau DNS tunneling. Beberapa malware bahkan disisipkan dalam firmware atau sektor disk yang sulit diakses oleh software biasa. Adaptasi cepat ini membuat reverse engineering harus dilakukan dengan pendekatan yang sangat fleksibel dan selalu update terhadap threat landscape terbaru.

 

Kesimpulan

Reverse engineering merupakan teknik esensial dalam analisis malware, terutama untuk mengungkap malware baru atau yang tidak dikenali. Dengan menggabungkan pendekatan statis dan dinamis, analis dapat memperoleh pemahaman menyeluruh terhadap cara kerja malware, tujuannya, serta jejak digital yang ditinggalkan. Hal ini tidak hanya mendukung proses forensik, tetapi juga berkontribusi dalam pengembangan solusi deteksi dan mitigasi malware di masa depan. Dalam konteks RAT seperti Flawed Ammyy maupun Trojan lainnya, reverse engineering membantu mengungkap arsitektur tersembunyi dan jalur komunikasi malware dengan server penyerang. Teknik ini menuntut ketelitian, keahlian teknis, dan lingkungan yang aman agar proses investigasi tidak membahayakan sistem yang digunakan.

 

Penulis

Satriadi Putra Santika, S.Kom., M.Kom.

FDP Scholar

 

Daftar Pustaka

Aldya, A. P., Widiayasono, N., & Setia P. T. (2019). Reverse Engineering untuk Analisis Malware Remote Access Trojan. Jurnal Edukasi dan Penelitian Informatika (JEPIN), 5(1).

Carter, D. (2023). Understanding Evil: How to Reverse Engineer Malware. Huntress. https://www.huntress.com/blog/understanding-evil-how-to-reverse-engineer-malware. Di akses 30 Juli 2025.

Clancy, R. (2022). A Quick Guide to Reverse Engineering Malware. EC-Council. https://www.eccouncil.org/cybersecurity-exchange/ethical-hacking/malware-reverse-engineering/. Di akses 30 Juli 2025.

Khillar, S. (2018). Difference Between Static Malware Analysis and Dynamic Malware Analysis. DifferenceBetween.net. https://www.differencebetween.net/technology/difference-between-static-malware-analysis-and-dynamic-malware-analysis/. Di akses 30 Juli 2025.

Megira, S., Pangesti, A. R., & Wibowo, F. W. (2018). Malware Analysis and Detection Using Reverse Engineering Technique. IOP Conference Series: Journal of Physics. https://.

SEI CMU. (2023). Reverse Engineering for Malware Analysis. Carnegie Mellon Universiy. https://www.sei.cmu.edu/reverse-engineering-for-malware-analysis/. Di akses 30 Juli 2025.