Инференс квантованных моделей
Около 200B параметров
По оценке NVIDIA, DGX Spark можно использовать как ориентир для инференса квантованных моделей такого масштаба. Фактические требования к ресурсам зависят от формата модели, точности квантования и фреймворка инференса.
Ориентир для планирования эксперимента, а не гарантия запуска любых моделей на 200B с одинаковыми настройками.