F5 yang merupakan perusahaan penyedia layanan pengamanan aplikasi dan API meningkatkan kerja sama dengan NVIDIA guna mengoptimalkan infrastruktur inferensi kecerdasan buatan (AI). Langkah strategis ini bertujuan mempercepat proses eksekusi model AI setelah fase pelatihan selesai dilakukan.
Seperti dikutip dari Teknologi, inferensi AI merupakan ekosistem yang memungkinkan model menjalankan tugas nyata seperti memproduksi teks atau klasifikasi gambar. Fase ini sering disebut sebagai tahap bekerja bagi sebuah model AI yang sudah matang.
Saat ini efisiensi infrastruktur menjadi tolok ukur utama bagi perusahaan yang ingin memonetisasi layanan AI mereka. Keberhasilan operasional kini dihitung berdasarkan ekonomi token, termasuk kecepatan produksi token pertama atau time to first token (TTFT).
Kolaborasi ini menggabungkan F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU untuk menciptakan sistem telemetri yang cerdas. Integrasi tersebut memungkinkan keputusan perutean data dilakukan berdasarkan beban kerja secara real-time sebelum eksekusi dimulai.
Chief Product Officer F5 Kunal Anand menjelaskan bahwa banyak organisasi selama ini melakukan penyediaan sumber daya berlebih atau overprovisioning. Hal tersebut dilakukan untuk menutupi inefisiensi sistem yang justru memicu pembengkakan biaya operasional.
"Infrastruktur AI bukan hanya tentang akses ke GPU atau peningkatan skala implementasinya. Ia telah berevolusi menjadi upaya memaksimalkan output ekonomi per akselerator," kata Kunal dikutip Senin (4/5/2026).
Peningkatan Kinerja Tanpa Modifikasi Model
Berdasarkan data pengujian dari The Tolly Group, penggunaan infrastruktur yang dipercepat NVIDIA BlueField-3 DPU mampu memberikan dampak teknis yang signifikan. Tercatat adanya peningkatan throughput token hingga mencapai angka 40% bagi pengguna.
Selain itu, teknologi ini mampu mempercepat time to first token (TTFT) sebesar 61% serta menekan latensi permintaan secara keseluruhan hingga 34%. Performa ini dicapai dengan mengalihkan beban kerja berat seperti networking dan enkripsi TLS ke unit DPU.
Langkah ini memberikan ruang lebih bagi GPU untuk fokus sepenuhnya pada fungsi inti yakni inferensi berkelanjutan dalam skala besar. Seluruh peningkatan efisiensi ini dapat diterapkan langsung tanpa perlu melakukan modifikasi pada model AI yang sudah ada.
SVP Networking NVIDIA Kevin Deierling menyatakan bahwa sinergi kedua perusahaan ini membuka potensi ekonomi baru dalam produksi AI. Hal ini memungkinkan penyediaan layanan AI yang lebih hemat biaya bagi berbagai organisasi bisnis.
"Infrastruktur komputasi terakselerasi dari NVIDIA yang dipadukan dengan Application Delivery and Security Platform berbasis AI dari F5 membuka potensi ÔÇÿtokenomicsÔÇÖ AI factory, yakni menghadirkan inferensi yang skalabel dan hemat biaya tanpa perlu melakukan perubahan apa pun pada model," kata Kevin Deierling.
Solusi ini juga diproyeksikan untuk mendukung kebutuhan arsitektur masa depan seperti AI berbasis agen atau agentic AI. Melalui kontrol trafik yang cerdas, perusahaan kini memiliki kendali strategis dalam mengelola konsumsi token secara lebih efisien.
