Inférence de modèles quantifiés
Environ 200B paramètres
Selon les indications de NVIDIA, le DGX Spark peut servir de plateforme de référence pour l’inférence de modèles quantifiés de cette taille. Les besoins réels dépendent du format du modèle, du niveau de quantification et du framework d’inférence.
Ce repère aide à évaluer la faisabilité d’une expérimentation ; il ne garantit pas que tous les modèles 200B fonctionneront avec la même configuration.