MULTIMODAL TEKS-NUMERIK: TINJAUAN SISTEMATIS TENTANG TEKNIK FUSI, KOMPATIBILITAS ENCODER, DAN KINERJA MODEL

Abstract

Integrasi data multimodal teks dan numerik menawarkan nilai prediktif yang lebih tinggi dibandingkan penggunaan modalitas tunggal. Namun, perbedaan karakteristik struktural antar-modalitas dan kompleksitas penyelarasan representasi sering menghasilkan performa suboptimal jika desain encoder dan mekanisme fusi tidak ditangani secara adaptif.Penelitian ini bertujuan mengkaji pengaruh arsitektur encoder dan strategi fusi terhadap kinerja model dalam skenario integrasi teks-numerik.Kajian dilakukan melalui pendekatan Systematic Literature Review (SLR) terhadap 28 studi terpilih dari rentang tahun 2019 hingga 2025.Temuan menunjukkan bahwa intermediate fusion mendominasi arsitektur multimodal, di mana mekanisme attention dan gating memberikan peningkatan performa yang lebih signifikan dibandingkan teknik concatenation. Analisis juga mengungkapkan bahwa kontribusi modalitas bersifat domain-specific; teks mendominasi tugas semantik, sementara numerik unggul pada data sinyal fisik, sehingga kompatibilitas antara encoder dan strategi fusi menjadi kunci efektivitas model.