Développement et débogage CUDA

Location DGX Spark : NVIDIA GB10 Grace Blackwell, machine complète réservée à un seul client

TcpNode attribue un NVIDIA DGX Spark complet à un seul client, sans partage. La machine convient au développement et au débogage CUDA, à l’inférence locale, aux essais de fine-tuning et au prototypage IA.

Accès SSH · CUDA préinstallé sur NVIDIA DGX OS

Fiche de location Usage exclusif
128GB Mémoire unifiée LPDDR5x Partagée entre CPU et GPU
Un même espace de mémoire unifiée accueille les poids du modèle, le cache KV et les programmes CUDA. Les graduations illustrent le partage de la mémoire, pas des partitions de capacité fixes.
NVIDIA DGX OSARM64
Matériel et configuration fournie

Configuration fixe, machine complète

Le TcpNode DGX Spark est fourni sans répartition des ressources CPU, GPU ou mémoire. Le stockage, le réseau et l’adresse IP sont inclus avec la machine. La commande porte sur la durée de location, sans option de personnalisation matérielle.

NVIDIA DGX Spark

La puce, la mémoire et le système forment un environnement de développement ARM64.

Superpuce
NVIDIA GB10 Grace Blackwell
Processeur
20 cœurs Arm : 10×Cortex-X925 + 10×Cortex-A725
Mémoire unifiée
128GB LPDDR5x, partagée entre CPU et GPU
Stockage local
4TB NVMe
Réseau
1 Gbps, trafic illimité
Adresse publique
1 IPv4 fixe
Système d’exploitation
NVIDIA DGX OS, basé sur Ubuntu 24.04
Architecture
ARM64
Un environnement prêt pour le développement

CUDA et la pile logicielle IA NVIDIA inclus

NVIDIA DGX OS inclut CUDA et la pile logicielle IA NVIDIA. TcpNode fournit un accès root pour installer les autres outils nécessaires au projet. Aucun modèle n’est préinstallé : les poids et jeux de données sont à préparer par la personne qui loue la machine.

CUDA

Compilation et débogage

cuDNN

Bibliothèque de calcul pour le deep learning

TensorRT

Optimisation de l’inférence

NGC

Conteneurs ARM64

PyTorch

Framework de développement de modèles

vLLM

Expérimentation de serveurs d’inférence

Ollama

Exécution locale de modèles

Les logiciels et conteneurs doivent être compatibles avec ARM64, GB10 et la version de CUDA utilisée. Les dépendances du projet et la prise en charge des modèles sont à vérifier avant le déploiement. Une image x86 ne peut pas remplacer directement une image ARM64.

Repères pour la taille des modèles

Évaluer les besoins à partir de la mémoire unifiée

Les 128GB sont une mémoire unifiée partagée entre CPU et GPU, et non une mémoire vidéo dédiée. Outre les poids du modèle, le cache KV, l’environnement d’exécution, la longueur du contexte et les requêtes simultanées entrent dans le calcul de la mémoire nécessaire.

Inférence de modèles quantifiés

Environ 200B paramètres

Selon les indications de NVIDIA, le DGX Spark peut servir de plateforme de référence pour l’inférence de modèles quantifiés de cette taille. Les besoins réels dépendent du format du modèle, du niveau de quantification et du framework d’inférence.

Ce repère aide à évaluer la faisabilité d’une expérimentation ; il ne garantit pas que tous les modèles 200B fonctionneront avec la même configuration.

Fine-tuning LoRA / QLoRA

Environ 70B paramètres

Selon les indications de NVIDIA, des essais de fine-tuning efficace en paramètres peuvent être menés à cette échelle. La longueur des séquences d’entraînement, la taille des lots et les paramètres de l’optimiseur restent à valider pour chaque projet.

Ce repère ne correspond pas à un entraînement de tous les paramètres et ne garantit ni débit ni durée d’exécution.

Durée et tarif

Tarif journalier fixe, calcul selon le nombre de jours

Le tarif du TcpNode DGX Spark est de $16.7 par jour, pour une durée de 1 à 365 jours. Aucun rabais, frais d’installation ou engagement. Il n’existe pas de cycle de facturation mensuel, trimestriel, semestriel ou annuel.

$16.7/jour

Total = nombre de jours × tarif journalier

1 jour

$16.7

1 × $16.7 = $16.7

7 jours

$116.9

7 × $16.7 = $116.9

30 jours

$501.0

30 × $16.7 = $501.0

Les 30 jours ne sont qu’un exemple de calcul, pas une formule mensuelle. La durée se choisit sur la page de commande dédiée. Le règlement s’effectue en dollars américains. Les données sont effacées à l’échéance ; leur transfert doit faire partie du plan d’expérimentation.

Vérifier les besoins du projet

Pour le développement ARM64 et les essais sur une seule machine

Le choix doit tenir compte de l’architecture, du système et des besoins d’extension des ressources avant d’évaluer la taille des modèles. L’usage exclusif de la machine ne change ni la compatibilité logicielle ni la configuration matérielle fixe.

Usages adaptés

  • Développement et débogage CUDA : compiler des noyaux sur ARM64, vérifier les dépendances et analyser le comportement des programmes.
  • Déploiement de conteneurs ARM64 : valider les procédures de déploiement avec des images compatibles et la pile logicielle NVIDIA.
  • Inférence locale de grands modèles : télécharger les poids et évaluer l’occupation mémoire, le contexte et la configuration du service.
  • Fine-tuning et prototypage : mener des essais LoRA / QLoRA et intégrer les composants d’applications IA.

Usages non adaptés

  • Programmes ou images x86 : un environnement ARM64 ne peut pas exécuter directement des programmes x86.
  • Workflows Windows : le DGX Spark est fourni uniquement avec NVIDIA DGX OS ; Windows et les autres distributions ne sont pas installés.
  • Clusters multi-machines : l’offre comprend une seule machine complète, sans solution de cluster.
  • Besoin d’ajouter du matériel : la bande passante, le nombre d’adresses IP, le stockage et la mémoire ne peuvent pas être augmentés.
Modèles à préparer pour le projet

Prévoir le téléchargement des poids dans le planning

Aucun modèle n’est préinstallé sur le DGX Spark. Les durées ci-dessous sont estimées à partir du débit théorique d’une liaison de 1 Gbps. Elles servent uniquement à planifier le volume des téléchargements et ne représentent ni un débit réel ni un délai de mise à disposition garanti.

Volume totalDurée théorique estiméeBase de calcul
40GBEnviron 5,5 minutesDébit théorique de 1 Gbps
100GBEnviron 14 minutesDébit théorique de 1 Gbps
140GBEnviron 19 minutesDébit théorique de 1 Gbps

La durée réelle dépend de la source de téléchargement, de la liaison, des frais liés au protocole et des téléchargements simultanés. Il faut aussi prévoir le temps de décompression, de vérification et de chargement des modèles. Le SSD NVMe de 4TB héberge le système, les conteneurs, les poids et les résultats des essais ; prévoir suffisamment d’espace de travail avant le déploiement.

Données et opérations sur la machine

Transférer les données avant l’échéance

Les données du DGX Spark sont effacées à la fin de la location. Les poids, le code, les jeux de données, les configurations et les journaux à conserver doivent être transférés avant l’échéance par la personne qui loue la machine, qui doit aussi vérifier que les sauvegardes sont utilisables. Une copie conservée sur la machine ne remplace pas une sauvegarde indépendante.

Vérifier les livrables avant la fin des essais

En plus du modèle final, vérifier les adaptateurs de fine-tuning, la liste des dépendances, les fichiers de construction des conteneurs et les configurations nécessaires à la reproduction des essais. Une fois le transfert terminé, contrôler l’intégrité des fichiers pour ne pas conserver uniquement des captures d’écran en oubliant les livrables.

Redémarrage forcé et réinstallation sur demande

La machine ne dispose pas de BMC / IPMI. Les demandes de redémarrage forcé ou de réinstallation du système passent par un ticket dans la console. En cas de réinstallation, l’objectif de l’opération doit être précisé et les données sauvegardées au préalable. L’adresse et les identifiants de connexion sont accessibles dans la console après la mise à disposition ; l’accès courant se fait par SSH.

Avant de commander

Trois points déterminent la compatibilité du projet

Ces conditions sont à confirmer de nouveau sur la page de commande du DGX TcpNode. Cette page présente le produit uniquement : aucune commande ni aucun paiement n’y sont traités.

  1. 01

    Confirmer l’architecture ARM64

    Les programmes x86 et Windows ne peuvent pas être exécutés. La compatibilité ARM64 du code métier, des dépendances binaires et des images de conteneurs doit être vérifiée.

  2. 02

    Confirmer le système DGX OS

    Seul NVIDIA DGX OS est fourni. Basé sur Ubuntu 24.04 et intégrant la pile CUDA, il ne peut pas être remplacé par une autre distribution.

  3. 03

    Confirmer l’effacement des données à l’échéance

    Les données sont effacées à la fin de la location. Les poids, le code et les journaux à conserver doivent être transférés avant la fin de la période ; les sauvegardes sont à la charge de la personne qui loue la machine.

Après vérification de la compatibilité, choisir la durée de location du DGX

Le TcpNode DGX Spark est proposé à $16.7 par jour, pour une durée de 1 à 365 jours. La page suivante permet de choisir le nombre de jours, de confirmer les conditions d’utilisation et de passer commande.

Commander le DGX TcpNode