GPU (graphics processing unit) jadi tulang punggung training dan inferensi model AI karena arsitekturnya cocok untuk operasi matematis paralel dalam jumlah besar, yang persis dibutuhkan neural network.
Kenapa Permintaan Meledak
Setiap perusahaan yang ingin melatih atau menjalankan model besar butuh ribuan GPU kelas data center sekaligus, sementara kapasitas produksi chip terbatas pada segelintir pabrik semikonduktor kelas dunia. Permintaan dari seluruh industri jauh melampaui suplai.
Harga sewa GPU kelas atas di cloud provider besar masih jauh lebih mahal dibanding beberapa tahun lalu meski kapasitas produksi terus bertambah — sinyal bahwa permintaan tumbuh lebih cepat dari suplai, bukan lebih lambat.
Dampaknya ke Startup Kecil
Perusahaan AI besar bisa memesan kapasitas GPU bertahun-tahun ke depan lewat kontrak jangka panjang, sementara startup kecil harus bersaing dapat slot cloud GPU yang sering habis atau antre. Ini salah satu alasan kenapa mengandalkan API model besar jauh lebih masuk akal buat tim kecil.
Apakah Ini Akan Berubah
Chip khusus inferensi mulai diproduksi beberapa perusahaan justru untuk mengurangi ketergantungan pada GPU, tapi transisi ini butuh waktu bertahun-tahun karena software AI selama ini dibangun di atas ekosistem GPU yang sudah matang.