Implementasi Konsep Tiny Recursion Model Pada Kasus Klasifikasi
DOI:
https://doi.org/10.36774/jusiti.v14i2.2046Keywords:
Tiny Recursion Model (TRM), Klasifikasi, Efisiensi Parameter, Deep LearningAbstract
Tren deep learning saat ini didominasi oleh model skala miliaran parameter, yang berhasil mencapai kinerja state-of-the-art namun secara inheren menimbulkan tantangan besar dalam biaya komputasi, konsumsi energi, dan efisiensi deployment di lingkungan dengan sumber daya terbatas. Oleh karena itu, penelitian ini bertujuan untuk menjembatani kesenjangan tersebut dengan mengeksplorasi arsitektur alternatif yang mengutamakan efisiensi parameter tinggi dan kemampuan penalaran yang superior. Penelitian ini mengimplementasikan dan mengevaluasi Tiny Recursion Model (TRM), sebuah arsitektur yang berfokus pada penalaran rekursif dengan jumlah parameter yang minimal, pada tugas klasifikasi data tabular. Metode yang digunakan adalah implementasi kustom TRM dalam Keras/TensorFlow, di mana jaringan saraf dua lapis tunggal dengan bobot bersama melakukan pemurnian prediksi secara iteratif (rekursi 10 langkah). Dataset yang digunakan meliputi tiga kasus klasifikasi standar: Iris, Breast Cancer, dan Diabetes. Hasil penelitian menunjukkan bahwa TRM yang sangat efisien, dengan hanya ribuan parameter, berhasil mencapai akurasi pengujian yang kompetitif (hingga 97% untuk Iris, 94% untuk Breast Cancer, dan 78% untuk Diabetes). Temuan ini memvalidasi efektivitas TRM sebagai solusi deep learning yang ringan dan terfokus pada penalaran untuk tugas klasifikasi
Downloads
References
R. Schwartz, S. Dodge, N. A. Smith, and O. Etzioni, “Green AI,” Communications of the ACM, vol. 63, no. 12, pp. 15–18, 2020.
E. Strubell, A. Ganesh, and A. Anand, “Energy and policy considerations for deep learning in NLP,” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 2019.
B. M. Lake, R. Salakhutdinov, and J. B. Tenenbaum, “Building machines that learn and think like people,” Behavioral and Brain Sciences, vol. 40, 2017.
J. Kaplan, S. McCandlish, T. Henighan, T. B. Brown, et al., “Scaling laws for neural language models,” arXiv preprint arXiv:2001.08361, 2020.
J. Hoffmann, S. Borgeaud, et al., “Training compute-optimal large language models,” arXiv preprint arXiv:2203.07632, 2022.
Y. He, Y. Fan, et al., “AMC: AutoML for model compression and acceleration on mobile devices,” in Proceedings of the European Conference on Computer Vision (ECCV), 2019.
R. Socher, A. Perelygin, J. Wu, et al., “Recursive deep models for semantic compositionality over a sentiment treebank,” in Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2013.
A. Santoro, et al., “Simple recurrent units for highly compressible neural networks,” in Advances in Neural Information Processing Systems (NeurIPS), 2017.
Luc De Raedt, A. Passerini, and S. Teso, “A unifying framework for reasoning about machine learning models,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, no. 04, pp. 4899–4907, 2020.
V. Mnih, N. Heess, and A. Graves, “Recurrent models of visual attention,” in Advances in Neural Information Processing Systems (NeurIPS), 2014.
M. Dehghani, S. Gouws, J. V. M. Silveira, J. Uszkoreit, and L. Kaiser, “Universal transformers,” arXiv preprint arXiv:1807.03819, 2018.
Z. Lan, M. Chen, S. Goodman, et al., “ALBERT: A lite BERT for self-supervised learning of language representations,” in Proceedings of the International Conference on Learning Representations (ICLR), 2020.
O. Press and L. Wolf, “Using the output embedding to improve language models,” in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2017.
G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network,” arXiv preprint arXiv:1503.02531, 2015.
S. Han, H. Mao, and W. J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding,” in Proceedings of the International Conference on Learning Representations (ICLR), 2016.
M. Al’taji and N. Srebro, “Quantization of neural networks for low-latency inference,” arXiv preprint arXiv:2009.10300, 2020.
L. Breiman, “Random forests,” Machine Learning, vol. 45, no. 1, pp. 5–32, 2001.
L. Grinsztajn, E. Massart, and N. Siblini, “Why do tree-based models still outperform deep learning on tabular data?” in Advances in Neural Information Processing Systems (NeurIPS), 2022.
M. Sinambela, J. Simarmata, S. Sudirman, S. Suryani, E. Warni, A. Erna, F. Ramadhanin, S. A. Hardiyanti, A. Satria, H. Yuliansyah, and I. Wahyuni, Deep Learning: Konsep dan Aplikasi. Medan, Indonesia: Yayasan Kita Menulis, 2024.
S. Suryani and M. S. Natsir, “Optimizing a fire and smoke detection system model with hyperparameter tuning and callback on forest fire images using ConvNet algorithm,” ILKOM Jurnal Ilmiah, vol. 16, no. 1, pp. 46–58, 2024.
J. Chen and D. Cheng, “A survey of techniques for compression and acceleration of deep neural networks,” in Proceedings of the 2018 IEEE 18th International Conference on Communication Technology (ICCT), 2018.
E. R. Susanto and D. Misdiantoro, “Optimasi akurasi prediksi penyakit kanker payudara menggunakan metode random forest,” Jurnal Pendidikan dan Teknologi Indonesia, vol. 5, no. 5, pp. 1407–1416, 2025.
“Comparative analysis of support vector machine (SVM) and random forest (RF) classification for cancer,” in Conference Proceedings, 2025.
D. Alfiani, M. P. Putri, and W. Widayanti, “Perbandingan algoritma support vector machine (SVM) dan logistic regression dalam klasifikasi kanker payudara,” Jurnal Kecerdasan Buatan dan Teknologi Informasi, vol. 3, no. 1, 2025.
M. F. Aryansyah, “Perbandingan algoritma random forest, decision tree, dan support vector machine (SVM) dalam klasifikasi tingkat keganasan kanker payudara,” Repository UBSI, 2025.
“Optimasi akurasi prediksi penyakit kanker payudara menggunakan metode random forest,” Jurnal Pendidikan dan Teknologi Indonesia, 2025.
Sutrisno and J. Jupron, “Analisa klasifikasi penyakit diabetes dengan algoritma neural network,” eJournal Komunitas Dosen Indonesia, vol. 6, no. 3, pp. 304–308, 2024.
G. Abdurrahman, H. Oktavianto, and M. Sintawati, “Optimasi algoritma XGBoost classifier menggunakan hyperparameter grid search dan random search pada klasifikasi penyakit diabetes,” INFORMAL Informatics Journal, vol. 7, no. 3, 2022.
T. Hidayat, N. Salsabila, et al., “Literature review: Penggunaan multilayer perceptron untuk klasifikasi diabetes melitus,” Kolibi Jurnal, 2024.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Arwansyah Arwansyah, Suryani Suryani, Hasyrif Sy, Nurdiansah Nurdiansah
This work is licensed under a Creative Commons Attribution 4.0 International License.
