Nvidia Perkenalkan Teknik DMS, Pangkas Penggunaan Memori GPU AI Hingga 8 Kali Lipat

Written by

in

Nvidia meluncurkan inovasi terbaru bertajuk Dynamic Memory Sparsification (DMS), sebuah teknik yang diklaim mampu mereduksi kebutuhan memori komputasi kecerdasan buatan (AI) hingga delapan kali lipat. Teknologi ini dirancang khusus untuk mengatasi lonjakan beban pada GPU saat model bahasa besar (LLM) menjalankan proses penalaran atau reasoning.

Hambatan utama dalam pengembangan sistem AI skala besar saat ini terletak pada pertumbuhan key-value cache (KV cache). Memori sementara ini terus membengkak seiring bertambahnya token yang dihasilkan selama proses berpikir model, yang pada akhirnya memicu biaya komputasi tinggi dan membatasi kapasitas layanan pengguna. Lewat DMS, Nvidia menawarkan solusi agar sistem tetap efisien meskipun menangani konteks yang panjang.

Berbeda dengan metode konvensional yang menggunakan aturan tetap (heuristik) untuk menghapus memori lama, DMS memungkinkan model untuk secara cerdas mengelola memorinya sendiri. Sistem ini melatih model untuk memilah mana token yang relevan bagi proses penalaran selanjutnya dan mana yang bisa dihapus tanpa mendegradasi kualitas output.

Nvidia juga menyematkan fitur delayed eviction untuk memperkuat akurasi. Mekanisme ini menunda penghapusan token agar model memiliki waktu lebih banyak untuk menyerap konteks penting sebelum data dibersihkan dari memori. Berdasarkan pengujian pada model populer seperti Llama dan Qwen, penerapan DMS justru meningkatkan skor pada benchmark matematika dan pengkodean dibandingkan versi standar.

Dampak Operasional dan Implementasi

Implementasi efisiensi memori ini berdampak langsung pada performa perangkat keras. Dengan cache yang lebih ringkas, GPU tidak perlu melakukan aktivitas baca-tulis data dalam volume masif secara terus-menerus. Hasilnya, latensi berkurang secara signifikan, throughput meningkat, dan risiko kehabisan memori (out-of-memory) dapat dihindari.

Kabar baik bagi pengembang, Nvidia menyatakan bahwa DMS dapat diterapkan langsung pada model yang sudah dilatih (pre-trained) tanpa perlu melakukan pelatihan ulang dari nol. Teknologi ini telah diintegrasikan ke dalam framework Model Optimizer Nvidia dan sepenuhnya kompatibel dengan infrastruktur standar seperti FlashAttention serta ekosistem Hugging Face.

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *