Fig. 1. Logo Optuna (https://optuna.org/)

Kalau kamu pernah melatih model machine learning, kamu pasti tahu betapa ribetnya memilih hyperparameter. Optimasi hyperparameter merupakan tahap krusial sekaligus melelahkan dalam pengembangan model machine learning, terutama deep learning yang memiliki search space besar, parameter kondisional yang kompleks, dan biaya komputasi tinggi. Proses ini tidak hanya menentukan kualitas model, tetapi juga secara langsung berpengaruh pada efisiensi komputasi dan stabilitas performa. Namun, metode konvensional seperti grid search dan random search sering kali tidak lagi memadai untuk kebutuhan pemodelan modern. Keterbatasan tersebut mendorong munculnya pendekatan baru yang lebih fleksibel dan adaptif, salah satunya adalah Optuna.

Get to know: Optuna

Optuna adalah library open-source di Python untuk hyperparameter optimization dalam machine learning. Dikembangkan oleh Preferred Networks dan dirilis dengan lisensi MIT, Optuna didesain agar fleksibel, ringan, dan efisien, dengan API define-by-run. Ketika artikel ini ditulis, Optuna sudah mencapai Optuna v5.

Define-by-Run

Ciri paling menonjol dari Optuna adalah paradigma define-by-run, terinspirasi dari framework deep learning dinamis seperti PyTorch dan Chainer. Kamu bisa membuat ruang pencarian untuk mengganti model secara dinamis, memodifikasi arsitektur, atau menambahkan hyperparameter secara kondisional (misalnya, jika model = X, pilih parameter A–B; kalau model = Y, pilih parameter lain). Tidak seperti pendekatan define-and-run yang menentukan ruang parameter secara statis sebelum proses optimasi, pada define-by-run, ruang parameter dibentuk selama eksekusi fungsi objektif, sehingga lebih fleksibel dan modular.

Sampling dan Pruning

Untuk Sampling, Optuna mendukung dua kategori besar:

  • Independen (misalnya algoritma Tree-structured Parzen Estimator atau TPE, yang merupakan teknik Bayesian optimization untuk sampling parameter)
  • Relasional (misalnya algoritma Covariance Matrix Adaptation Evolution Strategy atau CMA-ES)

Keduanya dapat dikombinasikan, dan terbukti lebih cepat daripada random search, lebih efisien daripada Hyperopt, dan tetap ringan dari sisi overhead komputasi.

Salah satu kekuatan Optuna adalah kemampuan Pruning (early stopping). Pruning sangat powerful terutama untuk model besar seperti CNN. Penggunaan API seperti trial.report() (melaporkan nilai performa sementara) dan trial.should_prune() (menentukan apakah trial dihentikan) membantu agar tidak membuang-buang waktu komputasi.

Optuna menggunakan Asynchronous Successive Halving Algorithm (ASHA) sebagai pruner default. Algoritma ini sangat cocok untuk lingkungan terdistribusi karena tidak membutuhkan sinkronisasi global antar worker.

Study and Trial

Optuna menyebut satu proses optimasi hypermparameter sebagai study, dan satu evaluasi hyperparameter sebagai trial. Setiap trial menjalankan fungsi objective (misalnya, melatih model dengan kombinasi hyperparameter tertentu) dan mengembalikan metrik (error, akurasi, dll.). Kalau sebuah trial tidak menjanjikan (misalnya nilai loss sangat besar setelah beberapa epoch), Optuna bisa melakukan pruning agar tidak melanjutkan semua trial hingga selesai.

Untuk deployment, Optuna menyediakan FixedTrial agar kita dapat memanggil fungsi objektif menggunakan set parameter yang sudah optimal.

Strength

  • Karena pruning, Optuna bisa menghentikan kombinasi hyperparameter yang ‘jelek’ lebih awal, jadi tidak semua konfigurasi dievaluasi penuh, menghemat waktu komputasi.
  • Define-by-run API membuat ruang parameter bisa sangat dinamis, berbeda dari grid search yang rigid.
  • Bisa dijalankan paralel, baik di satu mesin maupun distribusi di banyak worker, cocok untuk eksperimen besar.
  • Ada visualisasi bawaan untuk melihat sejarah optimasi (history), distribusi hyperparameter, pentingnya tiap parameter, dsb.
  • Integrasi dengan berbagai library ML populer – seperti PyTorch, TensorFlow, XGBoost, LightGBM, dan sebagainya.

Fig. 2. Tampilan web dashboard Optuna (https://optuna.readthedocs.io/en/stable/)

Conclusion

Optuna adalah framework hyperparameter optimization modern yang fleksibel, efisien, dan scalable. Berkat API define-by-run, pruning yang cerdas, dan algoritma sampling canggih seperti TPE, Optuna bisa mempercepat proses tuning dan menemukan kombinasi hyperparameter yang lebih optimal dibanding metode tradisional seperti grid search atau random search.

Penulis

Felicia Natania Lingga, S.Kom. — FDP Scholar

Referensi

Optimize Your Optimization. Optuna. Retrieved from: https://optuna.github.io/optuna-web-dev/ on 21 November 2025.

Optuna: A hyperparameter optimization framework. Optuna. Retrieved from: https://optuna.readthedocs.io/en/stable/ on 21 November 2025.

Optuna: A hyperparameter optimization framework. Github. Retrieved from: https://github.com/optuna/optuna? on 21 November 2025.

Akiba, T., Sano, S., Yanase, T., Ohta, T., & Koyama, M. (2019, July). Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining (pp. 2623-2631).