Pendahuluan

Seiring berkembangnya kecerdasan buatan, Large Language Models (LLMs) seperti GPT-4, Claude, dan Gemini telah mendemonstrasikan kapabilitas luar biasa dalam memahami dan menghasilkan teks alami. Namun, model ini sebagian besar terbatas pada komunikasi berbasis bahasa, mereka dapat menyarankan apa yang perlu dilakukan, tetapi tidak mampu melakukan tindakan nyata secara langsung. Hal inilah yang menjadi titik mula munculnya Large Action Models (LAMs), model AI yang tidak hanya “mengerti” perintah, tetapi juga “menjalankan” perintah tersebut dalam dunia digital maupun fisik.

LAM merupakan langkah maju dalam menghubungkan pemahaman bahasa dengan eksekusi tindakan nyata. Alih-alih berhenti pada teks, LAM mengartikulasikan perintah pengguna menjadi aksi konkrit, seperti membuka aplikasi, mengklik tombol, mengisi formulir, atau bahkan mengontrol hardware. LAM membuat AI menjadi sebuah task assistant yang benar-benar otomatis (Wang et al., 2024).

Apa Itu Large Action Models (LAMs)?

Large Action Models adalah model AI yang dirancang untuk mengeksekusi aksi berdasarkan input alami dari pengguna. LAM membangun fondasi dari LLM, tetapi melampaui batasan teks dengan cara mengeksekusi urutan tindakan yang nyata dalam lingkungan digital (seperti sistem operasi atau aplikasi GUI) dan bahkan fisik (seperti robot) (Ishay & Lee, 2025). LAM bukan hanya tentang memahami perintah, tetapi juga tentang menginterpretasikan maksud pengguna, merancang rencana aksi berdasarkan pemahaman tersebut, menjalankan aksi secara langsung, dan beradaptasi berdasarkan feedback real-time. LAM dapat dilatih untuk menyelesaikan tugas-tugas spesifik seperti mengelola file, mengisi data di spreadsheet, mengedit dokumen, atau bahkan mengoperasikan mesin (Wang et al., 2024).

Bagaimana Large Action Models (LAMs) Bekerja?

Untuk dapat menjalankan aksi secara otonom dan kontekstual, Large Action Models (LAM) dirancang dengan proses kerja yang sistematis dan modular. Alih-alih hanya merespons teks seperti halnya LLM, LAM harus memahami instruksi, memodelkan lingkungan, merencanakan urutan aksi, serta menjalankannya dalam bentuk tindakan nyata. Proses ini mencakup berbagai komponen yang saling terintegrasi mulai dari pemrosesan input, perencanaan, hingga eksekusi yang presisi. Secara umum, proses kerja LAM dapat dibagi menjadi lima tahapan utama:

  1. Data Collection
    Mengumpulkan data yang mencakup permintaan pengguna, status lingkungan (misalnya UI atau status sistem), dan aksi-aksi yang dilakukan.
  2. Model Training
    LLM dilatih atau di-fine-tune untuk mengubah permintaan menjadi rencana aksi yang bisa dijalankan. Hal ini mencakup pembelajaran dari task-plan dan task-action.
  3. Integration with Agent
    LAM diintegrasikan dengan sistem agen seperti GUI agent (contohnya UFO dari Microsoft), yang memungkinkan interaksi dengan aplikasi seperti Word atau Excel.
  4. Grounding & Execution
    Model menerjemahkan rencana ke dalam instruksi yang dieksekusi, misalnya klik tombol, ketik teks, atau panggil API tertentu.
  5. Feedback Loop
    Sistem menyimpan memori dan mengadopsi strategi pembelajaran dari pengalaman untuk meningkatkan kinerja di masa depan.

Diagram berikut menyajikan alur kerja konseptual dari LAMs sebagai agen otonom. Model menerima input dari lingkungan (teks, gambar, sinyal UI), kemudian memprosesnya melalui komponen persepsi dan memori. Dengan landasan pengetahuan dan pengalaman sebelumnya, model mengambil keputusan, menyusun rencana, dan akhirnya mengeksekusi aksi dalam bentuk interaksi langsung terhadap lingkungan digital atau fisik.

Source: Klingler (2024)

Perbandingan LAMs dan LLMs

Sebelum memahami bagaimana LAMs mengembangkan kemampuan tindakan, penting untuk memahami keterbatasan pendekatan LLMs saat ini. Gambar berikut memperlihatkan arsitektur dasar LLMs yang mengandalkan ekosistem komponen eksternal untuk memperluas kemampuannya, seperti perencanaan, memori, alat bantu, dan basis pengetahuan. Namun, hubungan antara elemen-elemen ini masih bersifat modular dan tidak selalu terintegrasi secara konseptual dalam pemrosesan aksi.

Source: Ivanov & Ampilogova, 2024

Meski berasal dari fondasi teknologi yang serupa, LAMs dan LLMs memiliki perbedaan mendasar dalam tujuan, arsitektur, dan output yang dihasilkan. LLMs dirancang untuk memahami dan menghasilkan teks berdasarkan konteks linguistik, sementara LAMs melangkah lebih jauh dengan mengubah pemahaman tersebut menjadi tindakan konkret dalam lingkungan digital atau fisik. Perbedaan ini membuat LAMs lebih cocok untuk skenario yang menuntut eksekusi langsung, seperti mengoperasikan aplikasi, merespons perintah pengguna, atau mengendalikan perangkat. Bagian berikut merinci perbedaan utama antara kedua pendekatan ini dalam berbagai aspek teknis dan fungsional (Thomas, 2024; Ivanov & Ampilogova, 2024).

Aspek LLM LAM
Fokus Utama Pemahaman & generasi teks Interpretasi & eksekusi aksi
Output Teks Aksi konkret (misalnya klik, input data)
Kemampuan Interaktif Terbatas pada respon verbal Interaksi langsung dengan aplikasi & perangkat
Lingkup Aplikasi Chatbot, penulisan, penerjemahan Automasi GUI, asisten kerja, kontrol sistem
Komponen Ekstra Tidak selalu memerlukan agent Terintegrasi dengan agen (AppAgent, HostAgent)
Tantangan Halusinasi teks, pemahaman konteks Risiko eksekusi salah, regulasi, latensi

Fitur Utama Large Action Models (LAMs)

Pengembangan LAMs tidak hanya bergantung pada kemampuan bahasa semata, tetapi juga pada fondasi teknis yang kuat dan terstruktur. Dalam praktiknya, terdapat empat pilar utama yang menjadi dasar dalam membangun sistem LAMs yang efektif: mulai dari pemodelan aksi yang terhubung langsung dengan dunia nyata, hingga kemampuan untuk menyimpan memori dan membuat keputusan secara mandiri. Pilar-pilar ini bekerja secara sinergis untuk memastikan bahwa model tidak hanya memahami perintah, tetapi juga mampu mengeksekusinya secara tepat dan adaptif di berbagai konteks.

  1. Grounded Action Modeling
    Model tidak hanya memprediksi aksi, tetapi memetakannya ke elemen nyata (seperti tombol atau field input) yang dapat dioperasikan.
  2. World Modeling
    LAMs memiliki pemahaman tentang status lingkungan dan memperbarui peta dunia virtualnya berdasarkan perubahan yang terjadi.
  3. Memory & Feedback Loop
    Menyimpan riwayat aksi, konteks tugas, dan hasil eksekusi sebelumnya untuk membantu perencanaan dan penyesuaian ke depan.
  4. Autonomous Execution
    Menjalankan tugas dari awal sampai akhir tanpa campur tangan manusia, termasuk pemulihan dari kegagalan parsial.

Pengaplikasian Large Action Models (LAMs)

Seiring berkembangnya kemampuan kecerdasan buatan untuk tidak hanya memahami bahasa tetapi juga menjalankan tindakan, LAMs mulai diterapkan secara luas dalam berbagai domain praktis. Keunggulan LAMs dalam menggabungkan pemahaman kontekstual dengan kemampuan eksekusi membuatnya ideal untuk menyelesaikan tugas-tugas kompleks secara otomatis. Dari automasi antarmuka pengguna hingga sistem navigasi web dan kontrol perangkat, LAMs menunjukkan potensinya dalam meningkatkan efisiensi, akurasi, dan skalabilitas di berbagai sektor teknologi. Beberapa contoh aplikasi nyata berikut ini menggambarkan bagaimana LAM telah diadopsi untuk menyelesaikan beragam permasalahan di dunia nyata.

  1. GUI Automation: Menjalankan tugas desktop seperti membuat slide, mengisi formulir, membuka file, dll. (contoh: UFO dari Microsoft).
  2. Web Navigation: Agen yang dapat melakukan browsing, membeli produk, atau mengisi form web.
  3. Mobile Automation: Sistem seperti MobileAgent digunakan untuk menjalankan aplikasi Android.
  4. Cybersecurity & Monitoring: Untuk memproses log, mendeteksi anomali, dan mengusulkan tindakan mitigasi otomatis.

Tantangan Large Action Models (LAMs)

Meskipun LAMs menawarkan potensi besar dalam menjembatani pemahaman bahasa dan eksekusi tindakan, pengembangannya tidak lepas dari sejumlah tantangan teknis dan konseptual. Kompleksitas arsitektur, kebutuhan data yang tinggi, serta risiko dalam proses eksekusi membuat LAMs memerlukan pendekatan yang lebih hati-hati dibanding model bahasa konvensional. Selain itu, integrasi antara pemahaman semantik dan aksi operasional menuntut sistem yang tidak hanya cerdas, tetapi juga aman, andal, dan dapat diatur. Beberapa tantangan utama berikut ini menjadi perhatian penting dalam pengembangan dan implementasi LAM secara luas.

  1. Kebutuhan Data & Sumber Daya: LAMs membutuhkan data spesifik berbasis aksi dan lingkungan, serta sumber daya komputasi yang besar.
  2. Risiko Keselamatan: Aksi yang salah bisa berdampak besar, misalnya menghapus file penting atau mengirim informasi yang salah.
  3. Masalah Etis & Regulasi: Siapa yang bertanggung jawab jika model salah mengambil tindakan? Apakah model adil terhadap semua pengguna?
  4. Keterbatasan Generalisasi: Banyak LAMs masih spesifik pada satu aplikasi atau OS, dan sulit disesuaikan dengan lingkungan baru.

Penutup

Large Action Models (LAMs) menandai langkah penting dalam evolusi kecerdasan buatan, dari sekadar memahami bahasa, menjadi mampu menjalankan tindakan nyata. Dengan kemampuan untuk merespons perintah, merancang urutan aksi, dan mengeksekusi tugas secara otomatis, LAMs menghadirkan paradigma baru yang menjembatani dunia pemrosesan bahasa alami dan interaksi langsung dengan lingkungan digital maupun fisik. Teknologi ini membuka peluang besar dalam berbagai sektor, mulai dari otomasi kerja, asisten digital, hingga pengendalian sistem kompleks secara adaptif.

Meskipun demikian, pengembangan LAM tidak terlepas dari tantangan serius, baik dari sisi teknis seperti kebutuhan data spesifik dan kompleksitas arsitektur, maupun dari sisi etis dan regulatif, seperti isu akuntabilitas atas tindakan yang dijalankan oleh model. Namun dengan riset yang berkelanjutan dan pendekatan yang kolaboratif antara komunitas akademik dan industri, LAMs memiliki potensi besar untuk menjadi pondasi teknologi menuju Artificial General Intelligence (AGI) yang benar-benar aktif, bertanggung jawab, dan mampu bertindak layaknya mitra cerdas manusia.

 

Penulis 

Satriadi Putra Santika, S.Stat., M.Kom – FDP Scholar

 

Daftar Pustaka

Ishay, A. & Lee, J. (2025). LLM+AL: Bridging Large Language Models and Action Languages for Complex Reasoning About Actions. Arxiv Preprint: arXiv:2501.00830v2.

Ivanov, D. & Ampilogova, A. (2024). What Are Large Action Models and How Do They Work?. Trinetix. https://www.trinetix.com/insights/what-are-large-action-models-and-how-do-they-work. Di akses 19 Juli 2025.

Klingler, N. (2024). Large Action Models: Beyond Language, Into Action. Viso.ai. https://viso.ai/deep-learning/large-action-models-beyond-language-into-action/. Di akses 19 Juli 2025.

Thomas, R. J. (2024). The Rise of Large Action Models, LAMs: How AI Can Understand and Execute Human Intentions?. Medium. https://medium.com/version-1/the-rise-of-large-action-models-lams-how-ai-can-understand-and-execute-human-intentions-f59c8e78bc09. Di akses 19 Juli 2025.

Wang, L., Yang, F., Zhang, C., Lu, J., Qian, J., He, S., Zhao, P., Qiao, B., Huang, R., Qin, S., Su, Q., Ye, J., Zhang, Y., Lou, J., Lin, Q., Rajmohan, S., Zhang, D., & Zhang, Q. (2024). Large Action Models: From Inception to Implementation. Arxiv Preprint: arXiv:2412.10047v1.