TcpNode stellt einen vollständigen NVIDIA DGX Spark exklusiv für einen Kunden bereit. Das System eignet sich für CUDA-Entwicklung und Debugging, lokale Inferenz, Fine-Tuning-Experimente und AI-Prototypen.
SSH-Zugang · CUDA vorinstalliert auf NVIDIA DGX OS
Beim TcpNode DGX Spark werden CPU, GPU und Arbeitsspeicher nicht separat zugeteilt. Speicher, Netzwerk und IP-Adresse sind im vollständigen System enthalten. Bei der Bestellung wird die Mietdauer ausgewählt; Hardwareoptionen gibt es nicht.
Chip, Arbeitsspeicher und Betriebssystem bilden gemeinsam eine ARM64-Entwicklungsumgebung.
NVIDIA DGX OS umfasst CUDA und den NVIDIA-AI-Softwarestack. TcpNode stellt Root-Zugriff bereit, damit sich weitere benötigte Tools installieren lassen. Modelle sind nicht vorinstalliert; Modellgewichte und Datensätze werden eigenständig bereitgestellt.
Kompilieren und Debuggen
Bibliothek für Deep-Learning-Berechnungen
Tools zur Inferenzoptimierung
ARM64-Containerressourcen
Framework für die Modellentwicklung
Experimente mit Inferenzdiensten
Modelle lokal ausführen
Software und Container müssen mit ARM64, GB10 und der installierten CUDA-Version kompatibel sein. Projektabhängigkeiten und Modellunterstützung sollten vor der Bereitstellung geprüft werden. x86-Images lassen sich nicht einfach durch ARM64-Images ersetzen.
Die 128GB gemeinsamer Arbeitsspeicher werden von CPU und GPU genutzt und sind kein separater Grafikspeicher. Neben den Modellgewichten müssen auch KV-Cache, Laufzeitumgebung, Kontextlänge und gleichzeitige Anfragen in die Speicherplanung einfließen.
ca. 200B Parameter
Laut NVIDIA kann der DGX Spark als Referenzplattform für die Inferenz mit quantisierten Modellen dieser Größenordnung dienen. Format, Quantisierungspräzision und Inferenz-Framework bestimmen den tatsächlichen Ressourcenbedarf.
Als Orientierung für erste Experimente gedacht; nicht jedes 200B-Modell läuft mit denselben Einstellungen.
ca. 70B Parameter
Laut NVIDIA sind Fine-Tuning-Experimente mit effizienten Parametermethoden in dieser Größenordnung möglich. Sequenzlänge, Batchgröße und Optimierereinstellungen müssen für das jeweilige Projekt geprüft werden.
Diese Orientierung bedeutet weder, dass vollständiges Fine-Tuning möglich ist, noch ist sie eine Zusage zu Durchsatz oder Dauer.
Der Tagespreis für den TcpNode DGX Spark beträgt $16.7. Die Mietdauer liegt zwischen 1 und 365 Tagen. Es gibt keine Rabatte, Einrichtungsgebühren oder Vertragsbindung sowie keine Monats-, Quartals-, Halbjahres- oder Jahrespakete.
$16.7/Tag
Gesamtpreis = Tage × Tagespreis
$16.7
1 × $16.7 = $16.7
$116.9
7 × $16.7 = $116.9
$501.0
30 × $16.7 = $501.0
Die 30 Tage dienen nur als Rechenbeispiel und sind kein Monatspaket. Die Mietdauer wird auf einer separaten Bestellseite festgelegt. Die Abrechnung erfolgt in US-Dollar; nach Mietende werden die Daten gelöscht. Der Datentransfer sollte daher in die Versuchsplanung einfließen.
Vor der Auswahl sollten Befehlssatz, Betriebssystem und Anforderungen an die Ressourcenerweiterung geprüft werden. Die Modellgröße lässt sich anschließend einschätzen. Die exklusive Nutzung ändert weder die Softwarekompatibilität noch die festen Hardwarespezifikationen.
Auf dem DGX Spark sind keine Modelle vorinstalliert. Die folgenden Übertragungszeiten sind theoretische Schätzungen auf Basis einer 1-Gbps-Verbindung. Sie dienen der Planung des Downloadvolumens und sind keine Zusage für tatsächliche Downloadgeschwindigkeiten oder Bereitstellungszeiten.
| Dateigröße gesamt | Theoretische Dauer | Berechnungsgrundlage |
|---|---|---|
| 40GB | ca. 5,5 Minuten | 1 Gbps theoretische Rate |
| 100GB | ca. 14 Minuten | 1 Gbps theoretische Rate |
| 140GB | ca. 19 Minuten | 1 Gbps theoretische Rate |
Die tatsächliche Dauer hängt von Downloadquelle, Verbindung, Protokoll-Overhead und gleichzeitigen Übertragungen ab. Entpacken, Prüfen und Laden der Modelle kommen hinzu. Die 4TB NVMe dienen zugleich dem Betriebssystem, Containern, Modellgewichten und Versuchsergebnissen. Vor der Bereitstellung sollte ausreichend Arbeitsbereich eingeplant werden.
Nach Ablauf der DGX-Spark-Miete werden die Daten gelöscht. Modellgewichte, Code, Datensätze, Konfigurationen und Protokolle, die erhalten bleiben sollen, müssen vor Mietende eigenständig übertragen und auf eine funktionierende Sicherung geprüft werden. Eine weitere Kopie auf demselben System ersetzt keine unabhängige Sicherung.
Neben dem finalen Modell sollten auch Fine-Tuning-Adapter, Abhängigkeitslisten, Container-Build-Dateien und Konfigurationen zur Reproduktion der Experimente geprüft werden. Nach der Übertragung sollte die Dateiintegrität kontrolliert werden, damit neben Screenshots auch die tatsächlichen Ergebnisse erhalten bleiben.
Das System verfügt über kein BMC / IPMI. Ein erzwungener Neustart und eine Neuinstallation des Betriebssystems werden über ein Ticket im Kundenbereich beantragt. Vor einer Neuinstallation ist das Vorhaben anzugeben und sind die Daten eigenständig zu sichern. Die zugewiesene Adresse und die Zugangsdaten sind im Kundenbereich einsehbar; der reguläre Zugriff erfolgt per SSH.
Diese Bedingungen werden auf der Bestellseite für TcpNode DGX erneut bestätigt. Diese Seite informiert ausschließlich über das Produkt; Bestellungen und Zahlungen werden hier nicht abgewickelt.
x86-Programme und Windows können nicht ausgeführt werden. Der ARM64-Support von Anwendungscode, Binärabhängigkeiten und Container-Images muss geprüft sein.
Als einziges Betriebssystem steht NVIDIA DGX OS auf Basis von Ubuntu 24.04 mit CUDA-Stack zur Verfügung. Andere Distributionen werden nicht installiert.
Nach Mietende werden die Daten gelöscht. Modellgewichte, Code und Protokolle müssen vor Ablauf der Mietdauer übertragen werden; für die Sicherung ist die mietende Partei verantwortlich.
Der Tagespreis für den TcpNode DGX Spark beträgt $16.7; die Mietdauer liegt zwischen 1 und 365 Tagen. Auf der nächsten Seite die Mietdauer auswählen, die Nutzungsbedingungen bestätigen und die Bestellung abschließen.