Source: Midjourney (AI Generated)

Prompting

Prompting adalah teknik untuk memberikan instruksi atau pertanyaan yang spesifik kepada model AI, khususnya model bahasa seperti Large Language Models (LLM), dengan tujuan untuk mendapatkan respons yang relevan. Kata ‘prompt’ merujuk pada input yang diberikan kepada model, yang kemudian digunakan untuk menghasilkan output yang diinginkan. Teknik prompting sering digunakan untuk meningkatkan kualitas dan arah dari jawaban yang diberikan oleh model, serta membantu dalam memfokuskan pemahaman atau analisis model terhadap topik tertentu.

PMP

PMP adalah metode inovatif dalam prompting model LLM, berakar dari gabungan dua elemen linguistik utama, yaitu pragmatik dan metakognisi. PMP bertujuan untuk meningkatkan kemampuan model bahasa dalam memahami nuansa teks yang kompleks, seperti sarkasme, dengan memanfaatkan teori-teori linguistik dari pragmatik dan strategi refleksi dari metakognisi.

1. Pragmatik

Pragmatik adalah cabang linguistik yang mempelajari konteks sosial dan situasi yang mendasari penggunaan bahasa. Konsep-konsep seperti Grice’s Maxims dan teori-teori lain terkait linguistik digunakan untuk merancang cara model memproses percakapan lebih mendalam. Misalnya, dalam konteks mendeteksi sarkasme, seorang pembicara mungkin berkata sesuatu yang tampaknya positif, tetapi sebenarnya bermaksud negatif. PMP menggunakan prinsip-prinsip pragmatik untuk menganalisis makna implisit dan hubungan antara konteks, prasangka, dan maksud pembicara.

Beberapa teori pragmatik yang digunakan dalam PMP antara lain:

  • Implicature: Apa yang disarankan atau diimplikasikan dalam percakapan, di luar arti literal.
  • Presupposition: Informasi yang diasumsikan sudah diketahui atau diterima dalam percakapan.
  • Pretense: Ketika pembicara menyampaikan sikap atau perasaan yang berbeda dari yang sebenarnya mereka rasakan, seperti dalam sarkasme.
  • Polarity: Penilaian apakah pernyataan memiliki konotasi positif atau negatif.

2. Metakognisi

Metakognisi adalah kemampuan untuk berpikir tentang pemikiran kita sendiri—menilai, merefleksikan, dan memperbaiki proses pemikiran. Dalam konteks PMP, metakognisi diterapkan dengan meminta model untuk melakukan analisis awal dari pernyataan yang diberikan, kemudian merefleksikan dan menilai kembali analisis tersebut, mempertimbangkan elemen-elemen pragmatik untuk memperbaiki hasil akhir.

Proses ini membantu model tidak hanya untuk memberikan jawaban otomatis, tetapi juga melakukan evaluasi kritis terhadap pemahamannya. Hal ini penting dalam memahami konteks atau makna yang lebih dalam dalam percakapan yang kompleks.

Difference

Berikut adalah tabel perbandingan singkat antara PMP dan teknik prompting lainnya:

Teknik Prompting Deskripsi Fokus Utama Kelebihan Kekurangan
IO (Input-Output) Teknik dasar: model menerima input dan langsung menghasilkan output tanpa refleksi atau evaluasi mendalam Efisiensi dalam tugas sederhana Mudah digunakan, cepat Tidak mempertimbangkan konteks atau nuansa dalam teks
CoT (Chain of Thought) Mengarahkan model untuk berpikir langkah demi langkah dalam urutan logis untuk menyelesaikan masalah Reasoning berurutan Membantu dalam analisis yang memerlukan langkah berpikir berurutan Bisa lambat dan kurang fleksibel dalam beberapa konteks
ToT (Tree of Thought) Analisis berpikir dalam bentuk pohon, di mana model mengevaluasi beberapa jalur pemikiran yang berbeda secara bersamaan Evaluasi keputusan multi-variable Mampu menangani masalah yang melibatkan banyak faktor Memerlukan komputasi yang lebih besar dan bisa lebih kompleks
CoC (Chain of Cues) Menganalisis petunjuk-petunjuk (cues) dalam urutan tertentu, menekankan pada langkah-langkah secara berurutan Urutan cue dalam deteksi teks Memudahkan dalam memecahkan masalah dengan urutan logis Kurang efektif jika urutan cue tidak jelas atau tersusun
GoC (Graph of Cues) Menganalisis hubungan antar petunjuk (cues) dengan cara grafik, memperhatikan keterkaitan antar elemen-elemen dalam teks Hubungan antar petunjuk Menangkap hubungan yang lebih kompleks antar petunjuk Bisa lebih sulit diterapkan jika konteksnya tidak linear
BoC (Bag of Cues) Mengabaikan urutan cue dan menganalisisnya secara independen untuk menentukan sarkasme Deteksi teks berbasis cue Cepat dan efisien, baik untuk teks dengan cue yang jelas Tidak mempertimbangkan urutan atau hubungan antar cue, bisa lebih terbatas
ToC (Tensor of Cues) Menggunakan representasi multi-dimensi untuk menangkap interaksi antar cue dalam format numerik yang lebih struktural Representasi cue secara multi-dimensi Lebih akurat dengan model yang terstruktur Membutuhkan pemrosesan data yang lebih rumit dan kompleks
PMP (Pragmatic Metacognitive Prompting) Menggabungkan prinsip pragmatik dan refleksi metakognitif untuk menganalisis teks, dengan langkah refleksi untuk mengevaluasi pemahaman secara mendalam Analisis konteks dan refleksi Memperbaiki pemahaman konteks, memperdalam analisis dan evaluasi Membutuhkan lebih banyak langkah dan komputasi, tidak selalu cocok untuk tugas sederhana

Usage Example

PMP digunakan dalam deteksi sarkasme melalui serangkaian analisis pragmatik. Misalnya, dalam menganalisis sebuah kalimat yang mengandung sarkasme, seperti “Oh, hebat! Satu lagi rapat yang bisa jadi email,” PMP biasanya mencakup step-step berikut:

1. Analisis Awal

Model diberikan pernyataan dan diminta untuk menganalisisnya secara awal. Model mengevaluasi apa yang disiratkan dalam pernyataan, apa yang dipikirkan oleh pembicara, dan apakah ada perbedaan antara keduanya. Contoh:

You will be given a tweet from Twitter, and will analyze the statement. Repeat back the statement to analyze. Then, analyze the following:

  • What does the speaker imply about the situation with their statement?
  • What does the speaker think about the situation?
  • Are what the speaker implies and what the speaker thinks saying the same thing?

Finally, decide if the speaker is pretending to have a certain attitude toward the conversation.

2. Refleksi

Model kemudian diminta untuk merefleksikan analisis awal tersebut, mempertimbangkan konteks lebih dalam dan mengevaluasi elemen-elemen pragmatik. Contoh:

You will be given a statement from Twitter and a preliminary analysis of the statement. Summarize the preliminary analysis. Decide whether the statement is sarcastic or not by first analyzing the following:

  • The Implicature – What is implied in the conversation beyond the literal meaning?
  • The Presuppositions – What information in the conversation is taken for granted?
  • The Intent of the Speaker – What do the speaker(s) hope to achieve with their statement and who are the speakers?
  • The Polarity – Does the last sentence have a positive or negative tone?
  • Pretense – Is there pretense in the speaker’s attitude?
  • Meaning – What is the difference between the literal and implied meaning of the statement?

Reflect on the preliminary analysis and what should change, then decide if the statement is sarcastic.

3. Finalisasi Analisis

Setelah refleksi, model memberikan keputusan akhir apakah pernyataan tersebut sesuai dengan analisis atau tidak, memberikan jawaban yang jelas berdasarkan evaluasi dan refleksi yang telah dilakukan. Contoh:

You will be given the output of an LLM which decided if a sentence is sarcastic or not. Read the output, then summarize the LLM’s stance with ONLY a YES (they think the sentence is sarcastic) or NO (they think the sentence is not sarcastic).

References

  • Lee, J., Fong, W., Le, A., Shah, S., Han, K., & Zhu, K. (2024). Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection. In Proceedings of the 1st Workshop on Computational Humor (CHum), 63–70. Association for Computational Linguistics. https://aclanthology.org/2025.chum-1.7/
  • Wang, Y., & Zhao, Y. (2023). Metacognitive Prompting Improves Understanding in Large Language Models. arXiv. https://doi.org/10.48550/arXiv.2308.05342

 

Penulis

  • Michael Iskandardinata
  • ⁠William Christian
  • ⁠Prof. Derwin Suhartono