Tag: Kecerdasan Buatan

  • Krisis Memori Global Picu Lonjakan Harga Router, HDD, hingga Set Top Box

    Krisis Memori Global Picu Lonjakan Harga Router, HDD, hingga Set Top Box

    Lonjakan kebutuhan industri Artificial Intelligence (AI) kini memicu krisis memori global yang berdampak pada melambungnya harga perangkat elektronik konsumen. Laporan terbaru dari Counterpoint Research memperingatkan potensi kenaikan harga pada Hard Disk (HDD), router, hingga Set Top Box (STB) akibat kelangkaan komponen inti.

    Penyebab utama fenomena ini adalah kebutuhan server AI yang masif terhadap komponen memori jenis DRAM dan NAND. Dalam satu tahun terakhir saja, harga kedua komponen tersebut terpantau meroket hingga lebih dari 600 persen. Kondisi ini secara otomatis meningkatkan biaya produksi bagi manufaktur perangkat yang mengandalkan memori tersebut.

    Berdasarkan data Counterpoint Research dalam laporan Memory Price Tracker, perangkat broadband seperti router dan STB menjadi sektor yang paling terdampak dibandingkan perangkat mobile. Berikut adalah perbandingan kenaikan harga memori dan dampaknya pada struktur biaya produksi:

    Jenis Perangkat Kenaikan Harga Memori (9 Bulan Terakhir) Porsi Biaya Memori (BOM)
    Smartphone 3 Kali Lipat –
    Perangkat Broadband (Router/STB) Hampir 7 Kali Lipat Dari 3% menjadi >20%

    Kenaikan biaya material (bill of materials/BOM) yang melonjak drastis, terutama pada router kelas bawah dan menengah, membuat posisi produsen perangkat (OEM) dengan daya tawar rendah menjadi sangat rentan. Situasi ini juga menjadi tantangan besar bagi perusahaan telekomunikasi yang berencana melakukan ekspansi layanan fiber maupun Fixed Wireless Access (FWA) pada tahun 2026.

    Counterpoint Research memprediksi tekanan harga ini akan terus berlangsung hingga Juni 2026. Meskipun titik puncak harga diperkirakan terjadi pada semester pertama 2026, kendala pasokan diprediksi masih akan membayangi pasar dalam jangka panjang.

    Kondisi kian rumit seiring tren operator telekomunikasi yang mulai mengadopsi Customer Premises Equipment (CPE) berbasis AI. Perangkat generasi baru ini menuntut kapasitas komputasi dan memori yang jauh lebih besar, sehingga potensi pembengkakan biaya pengadaan perangkat pelanggan di masa depan tidak terelakkan.

  • Gaya Kerja Unik Demis Hassabis: ‘Shift’ Malam CEO Google DeepMind demi Kreativitas

    Gaya Kerja Unik Demis Hassabis: ‘Shift’ Malam CEO Google DeepMind demi Kreativitas

    Demis Hassabis, nakhoda di balik pengembangan teknologi AI Google, memiliki cara kerja yang sangat kontras dengan rekan sejawatnya di Silicon Valley. Saat para petinggi teknologi seperti Tim Cook atau Mark Zuckerberg menerapkan disiplin tidur teratur di malam hari, Hassabis justru memulai fase kerja paling produktifnya saat dunia mulai terlelap.

    Pemimpin Google DeepMind ini menerapkan sistem "hari kerja kedua" yang dimulai pukul 22.00 hingga 04.00 pagi. Pada durasi enam jam tersebut, ia mengkhususkan diri untuk riset mendalam dan tugas-tugas kreatif. Hassabis mengaku bahwa pikiran kreatifnya mencapai titik optimal pada dini hari, bukan di pagi atau siang hari seperti kebanyakan orang.

    "Saya mencoba tidur enam jam, tetapi kebiasaan tidur saya tidak biasa. Saya mengaturnya (tidur) di siang hari," ungkap Hassabis dalam wawancara terbaru dengan Fortune. Jadwal tidurnya baru dimulai pada pukul 04.00 subuh hingga sekitar pukul 10.00 pagi, sebelum ia kembali ke kantor untuk menangani rapat dan urusan operasional perusahaan.

    Rutinitas ekstrem ini telah menjadi bagian dari hidupnya selama satu dekade sejak mendirikan DeepMind pada 2010. Perusahaan yang diakuisisi Google pada 2014 tersebut kini telah bertransformasi menjadi Google DeepMind—divisi kunci yang melahirkan produk kecerdasan buatan Gemini setelah bergabung dengan Google Brain tahun lalu.

    Meski efektif bagi produktivitasnya, Hassabis secara terbuka mengakui bahwa pola tidur tersebut tidak ideal bagi kesehatan otak. Tidur selama enam jam di waktu yang tidak lazim bertentangan dengan rekomendasi umum medis yang menyarankan istirahat 7 hingga 9 jam per hari bagi orang dewasa.

    Tren bekerja secara intens dengan mengorbankan waktu istirahat memang kerap ditemukan di kalangan elite teknologi. Elon Musk, misalnya, pernah mengaku hanya tidur enam jam untuk menjaga performa kerja, bahkan sempat tidur di lantai pabrik saat masa krusial produksi Tesla pada 2018.

    Namun, Hassabis menegaskan bahwa gaya hidupnya ini adalah pilihan personal yang didasari ritme biologis pribadinya dan bukan sebuah standar yang direkomendasikan untuk diikuti oleh orang lain secara luas.

  • Google Digugat Mantan Penyiar NPR Atas Dugaan Pencurian Suara untuk Pelatihan AI NotebookLM

    Google Digugat Mantan Penyiar NPR Atas Dugaan Pencurian Suara untuk Pelatihan AI NotebookLM

    Raksasa teknologi Google resmi menghadapi gugatan hukum dari David Greene, mantan penyiar radio ternama Amerika Serikat, terkait dugaan pelanggaran penggunaan hak suara. Greene menuduh perusahaan induk Google, Alphabet, telah menggunakan rekaman suaranya tanpa izin untuk melatih sistem kecerdasan buatan (AI) pada produk NotebookLM.

    Gugatan yang diajukan di Pengadilan Tinggi California, Santa Clara County ini berfokus pada fitur Audio Overviews. Fitur yang dirilis pada musim gugur 2024 tersebut mampu mengubah dokumen digital menjadi konten audio serupa podcast. Greene, yang dikenal sebagai mantan host program Morning Edition di NPR dan pembawa acara di stasiun radio KCRW, mengklaim bahwa suara pria dalam produk tersebut memiliki kemiripan yang identik dengan karakteristik vokal miliknya.

    Google melalui juru bicaranya membantah keras tuduhan tersebut dan menyatakan bahwa klaim Greene tidak memiliki dasar hukum. Pihak Google menegaskan bahwa pengisi suara dalam fitur Audio Overviews NotebookLM merupakan aktor profesional yang telah dikontrak dan dibayar secara resmi oleh perusahaan untuk proyek tersebut.

    Guna memperkuat posisinya, Greene melibatkan perusahaan forensik independen untuk melakukan analisis pengenalan suara. Hasil pemeriksaan menunjukkan tingkat keyakinan antara 53 hingga 60 persen pada skala minus 100 hingga 100 persen, yang mengindikasikan adanya kemungkinan besar suara Greene digunakan sebagai basis pelatihan sistem AI tersebut.

    Kasus ini menambah panjang daftar konflik hukum antara pemilik hak cipta vokal dengan pengembang teknologi generatif. Sebelumnya, aktris Scarlett Johansson sempat memprotes OpenAI karena kemiripan suara chatbot mereka dengan suaranya, yang berujung pada penarikan fitur tersebut. Di sisi lain, beberapa perusahaan seperti ElevenLabs memilih jalur lisensi resmi dengan menggandeng aktor kawakan seperti Michael Caine dan Matthew McConaughey untuk penggunaan suara digital mereka.

  • Meta Gandeng NVIDIA Bangun Infrastruktur AI Hiperskala: Jutaan GPU Blackwell Siap Perkuat WhatsApp hingga Instagram

    Meta Gandeng NVIDIA Bangun Infrastruktur AI Hiperskala: Jutaan GPU Blackwell Siap Perkuat WhatsApp hingga Instagram

    Meta resmi memperkuat pondasi kecerdasan buatan (AI) miliknya melalui kolaborasi jangka panjang dengan NVIDIA guna membangun infrastruktur berskala hipers. Melalui kesepakatan strategis ini, induk perusahaan Facebook tersebut akan mengadopsi jutaan unit GPU NVIDIA generasi terbaru, yakni arsitektur Blackwell dan Rubin, untuk menangani beban kerja AI yang masif di masa depan.

    Visi besar di balik kerja sama ini adalah menciptakan 'personal superintelligence' bagi miliaran pengguna di seluruh dunia. Mark Zuckerberg, CEO Meta, mengungkapkan bahwa tujuan utama dari integrasi platform Vera Rubin ini adalah membangun kluster AI yang mampu memberikan pengalaman personal yang cerdas. Sejalan dengan itu, CEO NVIDIA Jensen Huang menyoroti peran krusial Meta dalam mengimplementasikan AI pada skala raksasa, terutama untuk sistem rekomendasi dan personalisasi layanan.

    Selain penggunaan unit pengolah grafis, Meta juga akan memanfaatkan prosesor NVIDIA Grace CPU yang berbasis arsitektur Arm untuk mengoptimalkan efisiensi energi di pusat data mereka. Kerja sama ini bahkan telah memetakan rencana jangka panjang hingga tahun 2027, di mana Meta dijadwalkan mulai menggunakan NVIDIA Vera CPU.

    Guna memastikan kelancaran transmisi data, Meta mengintegrasikan teknologi NVIDIA Spectrum-X Ethernet switches ke dalam ekosistem Facebook Open Switching System. Penggunaan sistem berbasis GB300 ini diproyeksikan mampu meningkatkan throughput dan meminimalkan latensi, sehingga operasional di pusat data maupun mitra cloud dapat berjalan lebih maksimal dan hemat energi.

    Keamanan Data dan Privasi Pengguna

    Salah satu aspek fundamental dalam kolaborasi ini adalah implementasi teknologi Confidential Computing milik NVIDIA. WhatsApp menjadi platform pertama di bawah naungan Meta yang menerapkan fitur ini, yang memungkinkan pemrosesan AI tetap berjalan canggih tanpa mengorbankan privasi data pengguna. Ke depannya, standar keamanan tinggi ini juga akan diimplementasikan pada layanan Instagram dan Facebook.

    Tim engineering dari kedua raksasa teknologi ini akan bekerja sama secara intensif untuk melakukan optimasi model AI generasi berikutnya. Sinergi ini menggabungkan platform komputasi penuh dari NVIDIA dengan beban kerja operasional Meta yang masif guna melahirkan inovasi layanan yang lebih cerdas dan personal bagi masyarakat luas.

  • BRIN Kembangkan CT Sinar-X Murah dan NDT Berbasis AI untuk Industri

    BRIN Kembangkan CT Sinar-X Murah dan NDT Berbasis AI untuk Industri

    Badan Riset dan Inovasi Nasional (BRIN) memacu kemandirian teknologi nasional melalui pengembangan sistem Computed Tomography (CT) sinar-X berbiaya rendah. Inovasi ini dirancang untuk memperluas akses industri dan lembaga riset terhadap alat inspeksi struktur internal yang selama ini didominasi oleh perangkat komersial berharga mahal.

    Peneliti Pusat Riset Teknologi Analisis Berkas Nuklir BRIN, Kristedjo Kurnianto, menjelaskan bahwa sistem ini menggunakan pendekatan modular dengan komponen yang lebih terjangkau. Meskipun hemat biaya, alat ini tetap mempertahankan fungsi utama sebagai alat inspeksi non-destruktif untuk berbagai keperluan, mulai dari komponen industri, penelitian material, hingga sektor pertanian.

    Langkah strategis ini diperkuat melalui sinergi global dalam webinar IAEA Collaborating Centres bertajuk Tech Talk yang dihelat Rabu (28/1). Indonesia, yang telah menjadi pusat kolaborasi IAEA untuk bidang Non-Destructive Testing (NDT) sejak 2015, kini sedang dalam proses memperpanjang kemitraan tersebut untuk periode ketiga.

    Maman Kartaman dari Organisasi Riset Tenaga Nuklir BRIN menekankan bahwa teknologi NDT memiliki peran krusial dalam menjaga integritas fasilitas industri sekaligus melindungi aspek keselamatan manusia dan lingkungan. Dukungan jangka panjang dari IAEA telah membantu Indonesia dalam hal transfer teknologi dan peningkatan kapasitas sumber daya manusia di bidang radiasi.

    Selain efisiensi biaya, fokus inovasi saat ini bergeser pada integrasi Kecerdasan Buatan (AI) ke dalam metode pengujian. Industrial Technologist dari IAEA, Hannah Asamoah Affum, menyoroti pentingnya AI-augmented NDT dalam penilaian infrastruktur pascabencana. Penggunaan AI diklaim mampu mempercepat interpretasi data dan menjaga konsistensi hasil penilaian secara akurat.

    "Dengan dukungan AI, proses penilaian dapat dilakukan lebih cepat dan berbasis data, yang sangat dibutuhkan dalam situasi darurat pascabencana," jelas Hannah. Melalui program Coordinated Research Project (CRP) terbaru, IAEA bersama negara anggota akan menyusun protokol dan standar global untuk penerapan teknologi ini.

    Section Head of Radiochemistry and Radiation Technology IAEA, Celina Horak, menambahkan bahwa meskipun teknologi CT sinar-X menawarkan presisi tinggi dalam inspeksi material, aspek keselamatan tetap menjadi prioritas utama. Ia mengingatkan bahwa implementasi teknologi ini harus didukung oleh pengukuran yang andal, perlindungan radiasi yang efektif, serta kompetensi tenaga kerja yang mumpuni.

  • Google I/O 2026: Intip Jadwal dan Bocoran Inovasi AI hingga Android 17

    Google I/O 2026: Intip Jadwal dan Bocoran Inovasi AI hingga Android 17

    Google secara resmi mengonfirmasi bahwa ajang tahunan Google I/O 2026 akan diselenggarakan pada 19 hingga 20 Mei mendatang. Konferensi pengembang berskala besar ini dijadwalkan bertempat di Shoreline Amphitheater, Mountain View, California, dengan sesi utama yang dimulai pukul 10.00 waktu setempat.

    Kecerdasan buatan (AI) diprediksi kembali mendominasi panggung utama. Google telah memberikan sinyal eksplisit mengenai pembaruan Gemini yang akan diintegrasikan lebih dalam ke ekosistem Android. Pengembangan ini bertujuan agar model AI tersebut mampu menjalankan instruksi kompleks secara langsung di perangkat pengguna, sembari memperluas kemampuan asisten digital dan fitur pengolahan foto berbasis AI.

    Sektor perangkat lunak juga menjadi sorotan dengan kehadiran detail Android 17. Meski saat ini telah memasuki fase beta awal, Google diperkirakan akan memamerkan fitur-fitur final di panggung I/O sebelum peluncuran versi stabil pada Juni 2026. Salah satu inovasi yang dinantikan adalah fitur 'Motion Cues', sebuah teknologi yang dirancang khusus untuk meminimalisir efek mabuk perjalanan saat pengguna mengoperasikan ponsel di dalam kendaraan.

    Selain pembaruan sistem operasi seluler, Google disinyalir tengah menyiapkan platform baru bernama Aluminium OS. Proyek ini disebut-sebut sebagai langkah strategis untuk menggabungkan fungsionalitas ChromeOS dan Android menjadi satu ekosistem yang kohesif untuk laptop serta tablet. Meski detailnya masih minim, momentum I/O dianggap sebagai waktu yang tepat bagi Google untuk mulai mengungkap arah pengembangan platform ini kepada para developer.

    Eksplorasi teknologi realitas tertambah juga akan mendapatkan ruang melalui Android XR. Sistem operasi yang mendukung perangkat seperti kacamata pintar dan headset ini diharapkan membawa dukungan lebih luas bagi pengembang. Google kemungkinan akan menampilkan kemajuan proyek perangkat keras seperti kacamata Xreal Project Aura, meskipun lini smartphone Pixel terbaru diprediksi tetap akan disimpan untuk peluncuran terpisah pada bulan Agustus mendatang.

  • Google DeepMind Luncurkan Lyria 3, Buat Musik via Gemini Kini Lebih Realistis

    Google DeepMind Luncurkan Lyria 3, Buat Musik via Gemini Kini Lebih Realistis

    Google DeepMind resmi memperkenalkan Lyria 3, model kecerdasan buatan (AI) terbaru yang memungkinkan pengguna menciptakan musik secara instan melalui aplikasi Gemini. Integrasi ini memberikan kemudahan bagi pengguna untuk memproses perintah berbasis teks maupun unggahan visual menjadi karya audio orisinal.

    Berbeda dengan pendahulunya, Lyria 3 menawarkan kontrol kreatif yang lebih mendalam dan kualitas audio yang diklaim lebih realistis. Pengguna dapat menghasilkan lagu berdurasi maksimal 30 detik, lengkap dengan aransemen musik dan lirik yang disesuaikan berdasarkan genre, gaya vokal, tempo, hingga suasana hati tertentu.

    Fleksibilitas model ini terlihat pada kemampuannya menerjemahkan berbagai input. Selain melalui instruksi teks spesifik, pengguna dapat mengunggah foto atau video ke dalam chatbot Gemini untuk dijadikan inspirasi komposisi. AI kemudian akan menganalisis konten visual tersebut untuk menyusun lirik dan melodi yang selaras dengan nuansa gambar atau video yang diberikan.

    Setiap karya yang diproduksi melalui Lyria 3 akan disertai dengan sampul seni otomatis yang dihasilkan oleh model Nano Banana. Hasil akhir berupa file audio tersebut dapat langsung diunduh atau dibagikan melalui tautan khusus. Meski demikian, Google menegaskan bahwa fitur ini dirancang sebagai medium ekspresi kreatif personal, bukan untuk kebutuhan produksi musik profesional.

    Guna menjaga transparansi dan orisinalitas, Google menyematkan teknologi SynthID pada setiap lagu yang dihasilkan. Watermark tak kasat mata ini berfungsi sebagai penanda permanen bahwa konten tersebut adalah hasil kreasi AI. Pengguna juga dapat memanfaatkan Gemini untuk memverifikasi keaslian file audio melalui pemindaian SynthID dan analisis sistem tambahan.

    Terkait isu hak cipta, Google memastikan bahwa pengembangan Lyria 3 difokuskan untuk mendorong kreativitas orisinal. Sistem ini dirancang sedemikian rupa agar tidak meniru gaya atau identitas artis tertentu dalam proses pembuatan musiknya.

  • Laos dan Menas Capital Garap Proyek AI Hub ASEAN Berbasis Energi Terbarukan 15 GW

    Laos dan Menas Capital Garap Proyek AI Hub ASEAN Berbasis Energi Terbarukan 15 GW

    Pemerintah Republik Demokratik Rakyat Laos resmi memulai langkah strategis untuk menjadi pemain utama dalam infrastruktur digital regional. Melalui penandatanganan nota kesepahaman (MoU) dengan Menas Capital LLC, Laos memproyeksikan pembangunan pusat data kecerdasan buatan (AI) yang akan terintegrasi dalam ASEAN Digital & Artificial Intelligence Hub.

    Proyek ambisius ini menargetkan pengembangan infrastruktur komputasi berperforma tinggi yang didukung oleh energi terbarukan hingga kapasitas 15 gigawatt (GW) atau setara 15.000 megawatt. Kesepakatan yang berlangsung di Dubai pada 3 Februari 2026 tersebut dihadiri langsung oleh Wakil Perdana Menteri Laos, Saleumxay Kommasith, yang menegaskan urgensi proyek ini bagi agenda nasional.

    Secara teknis, kerja sama ini diawali dengan komitmen tidak mengikat yang mencakup studi kelayakan serta perencanaan terstruktur. Fokus utamanya adalah menyelaraskan integrasi energi bersih dengan kebutuhan daya komputasi skala besar untuk mendukung pertumbuhan ekonomi digital di kawasan Asia Tenggara.

    Chairman Menas Capital, Khalifa Matar Al Mazrouei, menekankan bahwa kolaborasi ini merupakan visi jangka panjang yang didasari pada kepercayaan mutual. "Hari ini bukan sekadar penandatanganan dokumen. Ini adalah awal perjalanan bersama yang dibangun atas dasar kepercayaan dan visi jangka panjang," ungkap Al Mazrouei dalam keterangan resminya.

    Di sisi lain, Senior Advisor Menas Capital, Justin Joel, menyebut inisiatif ini sebagai salah satu langkah infrastruktur paling progresif di ASEAN. Menurutnya, penggunaan energi terbarukan hingga 15 GW akan memposisikan kawasan ini sebagai pusat inovasi digital yang berkelanjutan dan aman.

    Meskipun telah ditandatangani oleh Menteri Teknologi dan Komunikasi Laos, Santisouk Simmalavong, realisasi perjanjian yang mengikat secara hukum masih menunggu hasil evaluasi teknis, kesiapan regulasi, serta analisis komersial lebih lanjut. ASEAN Digital & Artificial Intelligence Hub sendiri dirancang untuk menyediakan platform komputasi yang mampu menopang kebutuhan teknologi masa depan di negara-negara anggota ASEAN secara inklusif.

  • Perkuat Infrastruktur AI, Meta Borong Jutaan Chip Generasi Terbaru Nvidia

    Perkuat Infrastruktur AI, Meta Borong Jutaan Chip Generasi Terbaru Nvidia

    Meta resmi menyepakati kerja sama strategis dengan Nvidia untuk melakukan ekspansi besar-besaran pada kapasitas data center miliknya. Dalam kesepakatan ini, perusahaan induk Facebook tersebut akan mengakuisisi jutaan unit CPU dan GPU generasi terbaru, termasuk kombinasi kartu grafis Blackwell dan Rubin, serta prosesor Grace dan Vera.

    Nvidia mengungkapkan bahwa proyek ini merupakan implementasi skala besar pertama untuk penggunaan CPU Grace-only. Teknologi tersebut diklaim mampu memberikan lompatan efisiensi performa per watt yang signifikan bagi infrastruktur komputasi Meta. Langkah ini menjadi bagian dari roadmap jangka panjang Meta yang juga berencana mengintegrasikan CPU Vera pada tahun 2027 mendatang.

    Meskipun volume pembelian hardware dari Nvidia meningkat tajam, Meta sebenarnya tengah berupaya mengembangkan chip AI secara mandiri untuk mengurangi ketergantungan pada vendor eksternal. Namun, laporan dari Financial Times mengindikasikan bahwa ambisi chip internal Meta masih terganjal kendala teknis dan penundaan jadwal peluncuran.

    Ketergantungan industri terhadap Nvidia tetap tinggi di tengah persaingan ketat. CNBC mencatat posisi pasar Nvidia sempat fluktuatif, termasuk penurunan saham sebesar 4% pada November lalu setelah muncul kabar Meta mempertimbangkan penggunaan chip Tensor milik Google. Di saat yang sama, kompetitor lain seperti AMD juga mulai melakukan penetrasi pasar melalui kolaborasi dengan OpenAI dan Oracle.

    Investasi Masif Melampaui Program Luar Angkasa

    Besarnya skala kebutuhan komputasi untuk melatih model AI tercermin dari anggaran belanja perusahaan teknologi raksasa saat ini. Meski nilai kontrak antara Meta dan Nvidia tidak dipublikasikan, total belanja AI tahun ini dari Meta, Microsoft, Google, dan Amazon diproyeksikan sangat fantastis.

    Estimasi total belanja empat raksasa teknologi tersebut diperkirakan melampaui biaya keseluruhan program Apollo, proyek pendaratan manusia di bulan yang menjadi program luar angkasa terbesar dalam sejarah Amerika Serikat. Hal ini menegaskan betapa krusialnya penguasaan infrastruktur hardware dalam perlombaan teknologi kecerdasan buatan global.

  • Nvidia Perkenalkan Teknik DMS, Pangkas Penggunaan Memori GPU AI Hingga 8 Kali Lipat

    Nvidia Perkenalkan Teknik DMS, Pangkas Penggunaan Memori GPU AI Hingga 8 Kali Lipat

    Nvidia meluncurkan inovasi terbaru bertajuk Dynamic Memory Sparsification (DMS), sebuah teknik yang diklaim mampu mereduksi kebutuhan memori komputasi kecerdasan buatan (AI) hingga delapan kali lipat. Teknologi ini dirancang khusus untuk mengatasi lonjakan beban pada GPU saat model bahasa besar (LLM) menjalankan proses penalaran atau reasoning.

    Hambatan utama dalam pengembangan sistem AI skala besar saat ini terletak pada pertumbuhan key-value cache (KV cache). Memori sementara ini terus membengkak seiring bertambahnya token yang dihasilkan selama proses berpikir model, yang pada akhirnya memicu biaya komputasi tinggi dan membatasi kapasitas layanan pengguna. Lewat DMS, Nvidia menawarkan solusi agar sistem tetap efisien meskipun menangani konteks yang panjang.

    Berbeda dengan metode konvensional yang menggunakan aturan tetap (heuristik) untuk menghapus memori lama, DMS memungkinkan model untuk secara cerdas mengelola memorinya sendiri. Sistem ini melatih model untuk memilah mana token yang relevan bagi proses penalaran selanjutnya dan mana yang bisa dihapus tanpa mendegradasi kualitas output.

    Nvidia juga menyematkan fitur delayed eviction untuk memperkuat akurasi. Mekanisme ini menunda penghapusan token agar model memiliki waktu lebih banyak untuk menyerap konteks penting sebelum data dibersihkan dari memori. Berdasarkan pengujian pada model populer seperti Llama dan Qwen, penerapan DMS justru meningkatkan skor pada benchmark matematika dan pengkodean dibandingkan versi standar.

    Dampak Operasional dan Implementasi

    Implementasi efisiensi memori ini berdampak langsung pada performa perangkat keras. Dengan cache yang lebih ringkas, GPU tidak perlu melakukan aktivitas baca-tulis data dalam volume masif secara terus-menerus. Hasilnya, latensi berkurang secara signifikan, throughput meningkat, dan risiko kehabisan memori (out-of-memory) dapat dihindari.

    Kabar baik bagi pengembang, Nvidia menyatakan bahwa DMS dapat diterapkan langsung pada model yang sudah dilatih (pre-trained) tanpa perlu melakukan pelatihan ulang dari nol. Teknologi ini telah diintegrasikan ke dalam framework Model Optimizer Nvidia dan sepenuhnya kompatibel dengan infrastruktur standar seperti FlashAttention serta ekosistem Hugging Face.