(sumber: dokumentasi pribadi pada ChatGPT) 

Sadar nggak sih, sekarang-sekarang ini kita kayak makin rely banget sama AI Text Generator. Mulai dari nanya jawaban tugas, bikin caption, meringkas, menerjemahkan text, nulis esai, nulis surat, nulis kode program, sampai curhat masalah hidup. No lie, even artikel ini juga dibantu pembuatannya oleh AI (not gonna tell u guys which AI was used). Surprisingly, jawaban dari si AI juga semakin cerdas dan canggih seiring perkembangannya, juga semakin sesuai dengan personalisasi kita. Nah tau nggak, kalau ternyata ada jenis model-model text generator ini ada banyak, bukan cuma satu? Yuk kita bahas. 

Get to know: Generative Text Models 

Model generatif teks merupakan model yang mempelajari distribusi kata dan kalimat dari data pelatihan, lalu menggunakan pengetahuan yang dipelajarinya itu untuk memprediksi token berikutnya dan membentuk teks baru yang koheren. Sejak kemunculan transformer, kemampuan generatif ini meningkat drastis, karena arsitektur attention pada transformer memungkinkan model menangkap konteks panjang dan relasi kompleks antar kata. 

Generative text model modern umumnya dilatih pada dua tahap, pertama yaitu pretraining pada data umum berskala triliunan token, lalu berikutnya finetuning untuk tugas khusus atau diarahkan dengan teknik seperti Reinforcement Learning from Human Feedback (RLHF) agar output lebih selaras dengan instruksi manusia. 

GPT and Large Language Models 

Keluarga GPT (Generative Pretrained Transformer) dari OpenAI adalah contoh paling terkenal dari model generatif teks. GPT4, misalnya, adalah model multimodal besar yang menerima masukan teks dan gambar, lalu menghasilkan keluaran teks dengan performa mendekati manusia pada banyak benchmark. Technical report dari OpenAI sendiri menekankan bahwa skala model, kualitas data, dan teknik finetuning berperan besar dalam peningkatan kemampuan reasoning, coding, dan pemahaman instruksi. 

Selain GPT, terdapat berbagai LLM lain seperti LLaMA dari Meta, Gemini dan PaLM dari Google DeepMind, Grok dari xAI, Claude Sonnet by Anthropic, Deepseek, Mistral AI, serta masih banyak lagi. Survei LLM terbaru mengelompokkan modelmodel ini menurut ukuran, bahasa utama, lisensi (opensource vs tertutup), serta domain aplikasi, misalnya untuk dialog umum, pemrograman, atau domain medis. 

(sumber: dokumentasi pribadi ((lagi)) pada ChatGPT) 

 

T5 dan Pendekatan “TexttoText” 

Berbeda dari GPT yang autoregresif oneway, T5 (TexttoText Transfer Transformer) dari Google merumuskan semua tugas NLP sebagai masalah “teks ke teks”. Dalam kerangka ini, input dan output selalu berupa string teks, sehingga tugas seperti terjemahan, ringkasan, klasifikasi, dan QA bisa ditangani dengan satu arsitektur yang sama, hanya dengan mengubah prompt.​ 

Pendekatan seragam ini memudahkan reuse model untuk banyak tugas sekaligus, dan survei text generation menunjukkan T5 menjadi salah satu backbone penting untuk aplikasi seperti summarization dan question answering. Namun, dibanding LLM raksasa generasi terbaru, T5 klasik cenderung membutuhkan finetuning spesifik tugas agar performa optimal.​ 

Model Generatif Teks Lain dan Variasi Arsitektur 

Ekosistem generative text tidak hanya diisi oleh GPT dan T5; ada juga model seperti BERTstyle encoderdecoder (misalnya BART), serta model finetuned khusus untuk domain tertentu. Survei text generation modern memetakan model ke dalam bebrapa kategori, seperti autoencoder, autoregressive, encoderdecoder, dan model berbasis diffusion nonautoregresif untuk teks, yang mencoba mengurangi error kumulatif pada generasi sequence panjang.​ 

Beberapa model opensource besar (misalnya varian LLaMA dan lainnya yang tercantum dalam daftar LLM publik) memungkinkan organisasi melakukan finetuning mandiri, sehingga dapat membangun text asssistant yang disesuaikan dengan kebutuhan industri seperti hukum, kesehatan, atau keuangan. Kajian terbaru tentang integrasi LLM di industri menyoroti bahwa model-model ini digunakan dalam otomatisasi dokumen, chatbots pelanggan, analisis laporan, dan generative search yang menggabungkan retrieval dengan generation. 

Tantangan dan Arah Riset Generatif Teks 

Walaupun sangat kuat, model generatif teks menghadapi berbagai tantangan, seperti halusinasi (informasi yang tampak meyakinkan tapi salah) yang common sekali terjadi (tapi sekarang sudah much better), bias dari data pelatihan, serta kesulitan mendeteksi mana teks yang dibuat AI vs manusia (untuk yang terakhir ini sudah lebih pintar karena ada QuillBot).  

Penelitian terkini juga mengkaji efisiensi dan keberlanjutan, karena melatih dan menjalankan LLM besar memerlukan sumber daya komputasi dan energi yang tinggi. Arah pengembangan ke depan meliputi model yang lebih ringan tetapi tetap kuat, integrasi multimodal yang lebih dalam, dan teknik alignment lanjutan untuk memastikan teks yang dihasilkan aman, akurat, dan sesuai nilai sosial. 

 

Penulis 

Felicia Natania Lingga, S.Kom. — FDP Scholar 

 

Referensi 

Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., … & McGrew, B. (2023). Gpt-4 technical report. arXiv preprint arXiv:2303.08774. 

Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., & Gao, J. (2024). Large language models: A survey. arXiv preprint arXiv:2402.06196. 

Li, J., Tang, T., Zhao, W. X., Nie, J. Y., Wen, J. R. 2024. (September 2024). Pre-Trained Language Models for Text Generation: A Survey. ACM Comput. Surv. 56, 9, Article 230, 39 pages. https://doi.org/10.1145/3649449  

Mohammed, A., Kora, R. 2025. A Comprehensive Overview and Analysis of Large Language Models: Trends and Challenges. IEEE Access, vol. 13, pp. 95851-95875. https://doi.org/10.1109/ACCESS.2025.3573955.  

Wang, S., Shao, Y. 2025. Integrative innovation of large language models in industries: technologies, applications, and challenges. Data Science and Management. https://doi.org/10.1016/j.dsm.2025.06.005  

Stryker, C. What are large language models (LLMs)? IBM. Retrieved from: https://www.ibm.com/think/topics/large-language-models on 2 December 2025 

Sho. September 10, 2024. 2.3 Key LLM Models: BERT, GPT, and T5 Explained. Action Bridge. Retrieved from: https://actionbridge.io/en-US/llmtutorial/p/bert-gpt-t5-models on 2 December 2025 

Vaniukov, S. January 17, 2024. 10 Best Large Language Models (LLMs) in 2024. Softermii. Retrieved from: https://www.softermii.com/blog/10-best-large-language-models-(llms) on 2 December 2025