Un consortium de 40 entreprises technologiques, dont Facebook, Google et d'autres, développer une méthodologie d’évaluation et un ensemble de critères pour tester l’intelligence artificielle. En mesurant les produits d'IA dans ces catégories, les entreprises seront en mesure de déterminer les solutions optimales pour eux, les technologies d'apprentissage, etc. Le consortium lui-même s'appelle MLPerf.
Les benchmarks, appelés MLPerf Inference v0.5, se concentrent sur trois tâches courantes d'apprentissage automatique : la reconnaissance d'images, la détection d'objets et les systèmes de traduction. Compte tenu des différentes capacités de traitement des différents appareils, il existe des tests distincts pour l'IA sur différentes plates-formes telles que les smartphones, les serveurs et les puces.
Peter Mattson, président général de MLPerf, a noté que la formation de tels critères d'évaluation de l'IA créera des normes pour évaluer les nouvelles plates-formes logicielles d'apprentissage automatique, les accélérateurs matériels et les plates-formes cloud et edge computing dans des situations réelles. Cela créera également des conditions de concurrence équitables que même les plus petites entreprises pourront utiliser.
En outre, la normalisation stimulera le développement de systèmes d’IA et l’orientera dans la bonne direction. Pour le moment, il n'est pas encore indiqué quelles fonctionnalités techniques sont implémentées dans MLPerf Inference v0.5. On ne sait pas non plus quand la suite de tests arrivera sur le marché et sera disponible pour les entités commerciales. Cependant, le fait même de l'apparition d'un tel outil indique que les développeurs voient des perspectives pour les systèmes d'IA.
Source: 3dnews.ru