Sebuah konsorsium yang terdiri dari 40 perusahaan teknologi, termasuk Facebook, Google dan lainnya, mengembangkan metodologi penilaian dan seperangkat kriteria untuk menguji kecerdasan buatan. Dengan mengukur produk AI di seluruh kategori ini, perusahaan akan dapat menentukan solusi optimal untuk produk tersebut, mempelajari teknologi, dan sebagainya. Konsorsiumnya sendiri disebut MLPerf.
Tolok ukurnya, yang disebut MLPerf Inference v0.5, berpusat pada tiga tugas pembelajaran mesin yang umum: pengenalan gambar, deteksi objek, dan sistem terjemahan. Mengingat kemampuan pemrosesan yang berbeda-beda pada perangkat yang berbeda, terdapat pengujian terpisah untuk AI pada platform berbeda seperti ponsel cerdas, server, dan chip.
Ketua Umum MLPerf Peter Mattson mencatat bahwa pembentukan kriteria evaluasi AI tersebut akan menciptakan standar untuk mengevaluasi platform perangkat lunak pembelajaran mesin baru, akselerator perangkat keras, serta platform komputasi cloud dan edge dalam situasi dunia nyata. Hal ini juga akan menciptakan persaingan yang setara yang bahkan dapat dimanfaatkan oleh perusahaan terkecil sekalipun.
Selain itu, standardisasi akan memacu pengembangan sistem AI dan mengarahkannya ke arah yang benar. Saat ini belum dilaporkan fitur teknis apa saja yang diimplementasikan pada MLPerf Inference v0.5. Juga tidak jelas kapan rangkaian pengujian akan memasuki pasar dan tersedia untuk entitas komersial. Namun, fakta kemunculan alat semacam itu menunjukkan bahwa pengembang melihat prospek sistem AI.
Sumber: 3dnews.ru