IMPLEMENTASI ZERO-SHOT LEARNING UNTUK PREDIKSI SOLUSI DARI KALIMAT MASALAH PADA ARTIKEL ILMIAH MENGGUNAKAN LARGE LANGUAGE MODELS (LLM)

Anita Soffiyun Nada, Sam Farisa Chaerul Haviana

Abstract


Peningkatan jumlah publikasi ilmiah yang mencapai 2,6 hingga 3 juta artikel per tahun menimbulkan tantangan dalam mengekstraksi informasi penting, terutama dalam mengidentifikasi permasalahan dan solusinya yang sering kali tidak dinyatakan secara eksplisit. Proses manual yang memakan waktu dan rentan terhadap kesalahan manusia, sehingga mendorong perlunya solusi berbasis kecerdasan buatan. Penelitian ini mengusulkan pendekatan Zero-Shot Learning (ZSL) menggunakan model Llama 3 untuk memprediksi solusi dari kalimat masalah dalam artikel ilmiah tanpa memerlukan pelatihan tambahan. Model ini hanya mengandalkan pemrosesan berbasis prompt untuk menghasilkan solusi tanpa menggunakan dataset pelatihan. Evaluasi dilakukan dengan membandingkan hasil prediksi model terhadap solusi referensi (ground truth) menggunakan metrik ROUGE. Hasil evaluasi menunjukkan bahwa skor ROUGE-1, ROUGE-2, dan ROUGE-L berada dalam rentang 3,5% hingga 22%, mengindikasikan bahwa meskipun kesamaan berbasis kata masih terbatas, model tetap mampu menghasilkan solusi yang relevan secara kontekstual. Dengan demikian, sistem berbasis Zero-Shot Learning dan Large Language Model ini diharapkan dapat mendukung analisis pola solusi dalam artikel ilmiah serta menjadi dasar bagi pengembangan model prediksi yang lebih akurat di masa depan.


References


W. Mendes-Da-Silva and C. C. Leal, “Salami Science in the Age of Open Data: Déjà lu and Accountability in Management and Business Research,” Revista de Administração Contemporânea, vol. 25, no. 1, pp. 1–12, 2021, doi: 10.1590/1982-7849rac2021200194.

T. Gao, A. Fisch, and D. Chen, “Making pre-trained language models better few-shot learners,” ACL-IJCNLP 2021 - 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Proceedings of the Conference, pp. 3816–3830, 2021, doi: 10.18653/v1/2021.acl-long.295.

T. B. Brown et al., “Language models are few-shot learners,” Adv Neural Inf Process Syst, vol. 2020-Decem, 2020.

M. Badawi, M. Abushanab, S. Bhat, and A. Maier, “Review of Zero-Shot and Few-Shot AI Algorithms in The Medical Domain,” 2024.

M. Zhou, N. Duan, S. Liu, and H. Y. Shum, “Progress in Neural NLP: Modeling, Learning, and Reasoning,” Engineering, vol. 6, no. 3, pp. 275–290, 2020, doi: 10.1016/j.eng.2019.12.014.

N. Noor Kamala Sari, J. Irawan, and V. Handrianus Pranatawijaya, “Implementasi Gemini API untuk Generatif Teks Deskripsi Karya Otomatis dalam Aplikasi Pameran Berbasis Web dengan Metode Waterfall,” Jurnal Teknologi Informasi dan Terapan (J-TIT, vol. 11, no. 1, pp. 2580–2291, 2024.

W. Alhoshan, A. Ferrari, and L. Zhao, “Zero-shot learning for requirements classification: An exploratory study,” Inf Softw Technol, vol. 159, 2023, doi: 10.1016/j.infsof.2023.107202.

I. P. A. Peña and J. C. Ortega-Castro, “Implementation and Evaluation of an Anti-Fraud Prototype Based on Generative Artificial Intelligence for the Ecuadorian Financial Sector,” Revista de Gestão Social e Ambiental, vol. 18, no. 9, p. e08601, 2024, doi: 10.24857/rgsa.v18n9-162.

S. Sivarajkumar and Y. Wang, “HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing,” 2022.

N. Ayu Irhani, Representasi Matan Jauharah Tauhid Menggunakan Metode Recurrent Neural Network Dengan Model Arsitektur Long Short-Term Memory Fakultas Sains Dan Teknologi Universitas Islam Negeri Ar-Raniry Banda Aceh 2023 M / 1444 H Menggunakan Metode Recurrent Neural Ne. 2023.




DOI: http://dx.doi.org/10.30659/ei.7.1.%25p

Refbacks

  • There are currently no refbacks.


Jurnal Transistor EI diterbitkan oleh Fakultas Teknologi Industri, Universitas Islam Sultan Agung, Semarang, Indonesia