F5 yang merupakan penyedia keamanan dan distribusi aplikasi resmi memperluas kerja sama strategis mereka dengan raksasa teknologi Nvidia. Dilansir dari Detik iNET, kolaborasi ini menghadirkan solusi cerdas yang dirancang untuk mempercepat sekaligus mengoptimalkan infrastruktur inferensi AI pada skala perusahaan.
Integrasi teknologi terbaru ini mengombinasikan F5 BIG-IP Next for Kubernetes dengan Nvidia BlueField-3 Data Processing Unit (DPU). Sinergi tersebut membentuk lapisan infrastruktur pintar yang sanggup meningkatkan pemrosesan keluaran AI melalui penggunaan unit pemrosesan grafis (GPU) yang lebih efisien serta latensi yang sangat rendah.
Dalam operasional AI generatif, istilah 'token' merujuk pada satuan keluaran dasar yang terukur, seperti kata, simbol, atau fragmen data lainnya. Seiring dengan fase monetisasi AI yang kini menjadi tren bisnis, volume serta kecepatan dalam memproduksi token tersebut menjadi faktor penentu efisiensi sebuah perusahaan.
Kini, tolok ukur keberhasilan infrastruktur kecerdasan buatan tidak lagi hanya bertumpu pada besarnya kapasitas GPU yang tersedia. Indikator utama telah bergeser pada konsep "ekonomi token" yang mencakup biaya per token, kecepatan Time to First Token, hingga potensi pendapatan yang dihasilkan dari setiap unit GPU.
"Infrastruktur AI bukan hanya tentang akses ke GPU atau peningkatan skala implementasinya. Ia telah berevolusi menjadi upaya memaksimalkan output ekonomi per akselerator," kata Kunal Anand selaku Chief Product Officer F5.
Kunal Anand menambahkan bahwa melalui kerja sama dengan Nvidia, F5 membantu fasilitas pengembangan AI atau AI factory untuk mengelola produksi token sebagai metrik bisnis. Langkah ini memungkinkan perusahaan untuk menekan biaya produksi per token secara signifikan.
Peningkatan Performa Tanpa Mengubah Model AI
Solusi gabungan antara F5 dan Nvidia ini menawarkan peningkatan kinerja yang masif berdasarkan hasil pengujian dari The Tolly Group. Integrasi kedua teknologi ini terbukti mampu memberikan hasil nyata bagi operasional kecerdasan buatan perusahaan.
Pencapaian teknis dari kolaborasi ini meliputi peningkatan token throughput atau jumlah produksi token hingga mencapai angka 40 persen. Selain itu, waktu kemunculan token pertama atau Time to First Token tercatat menjadi 61 persen lebih cepat dibandingkan metode konvensional.
Teknologi ini juga berhasil menurunkan latensi permintaan secara menyeluruh hingga 34 persen. Kecepatan ini tercapai berkat pendelegasian tugas berat seperti manajemen jaringan, enkripsi TLS, hingga load balancing ke dalam chip Nvidia BlueField-3 DPU.
Melalui proses delegasi beban kerja tersebut, ruang komputasi pada GPU menjadi lebih lega sehingga bisa fokus sepenuhnya untuk menjalankan tugas inferensi AI secara kontinu. Seluruh peningkatan performa ini dapat diimplementasikan langsung tanpa perlu memodifikasi model AI yang sudah digunakan perusahaan.
"Infrastruktur komputasi Nvidia yang dipadukan dengan platform F5 membuka potensi 'tokenomics' AI factory, yakni menghadirkan inferensi yang skalabel dan hemat biaya tanpa perlu melakukan perubahan apa pun pada model," kata Kevin Deierling yang menjabat sebagai SVP Networking Nvidia.
Melalui solusi terintegrasi ini, penyedia layanan cloud dan perusahaan kini dapat berbagi infrastruktur GPU secara aman di antara berbagai unit bisnis. Keamanan data tetap terjaga tanpa adanya kekhawatiran terhadap penurunan performa pada sistem jaringan yang ada.
