量子化モデルの推論
約 200B パラメータ
NVIDIAの公式情報では、DGX Sparkはこの規模の量子化モデル推論に利用できる参考プラットフォームです。実際のリソース要件は、モデル形式、量子化精度、推論フレームワークによって異なります。
実験対象を検討するための目安です。すべての200Bモデルが同じ構成で動作することを示すものではありません。
CUDA開発・デバッグ
DGXレンタル：NVIDIA GB10 Grace Blackwell専用機
TcpNodeでは、NVIDIA DGX Sparkを1台まるごと専有で提供します。CUDAの開発・デバッグ、ローカル推論、ファインチューニング実験、AIプロトタイプの検証に利用できます。
SSH接続 · NVIDIA DGX OS・CUDAプリインストール
専用機レンタル
単一テナント
128GB
LPDDR5xユニファイドメモリ
CPU・GPU共有
NVIDIA DGX OSARM64
ハードウェアと提供内容
固定仕様の専用機を提供
TcpNode DGX Sparkは、CPU・GPU・メモリの割り当てを分割していません。ストレージ、ネットワーク、IPアドレスは本体とあわせて提供されます。注文時に利用日数を選択し、ハードウェア構成は選べません。
NVIDIA DGX Spark
チップ、メモリ、OSを備えたARM64開発環境です。
- スーパーチップ
- NVIDIA GB10 Grace Blackwell
- プロセッサ
- 20コア Arm：10×Cortex-X925 + 10×Cortex-A725
- ユニファイドメモリ
- 128GB LPDDR5x、CPU・GPU共有
- ローカルストレージ
- 4TB NVMe
- ネットワーク
- 1 Gbps・転送量無制限
- パブリックIPアドレス
- 固定IPv4アドレス×1
- OS
- NVIDIA DGX OS（Ubuntu 24.04ベース）
- 命令セットアーキテクチャ
- ARM64
開発環境から確認
CUDA・AIソフトウェアスタックを搭載
NVIDIA DGX OSにはCUDAとNVIDIA AIソフトウェアスタックが含まれます。TcpNodeはroot権限を提供するため、プロジェクトに必要なツールを追加できます。モデルはプリインストールされていないため、重みとデータセットは利用者側でご用意ください。
CUDA
プログラムのビルド・デバッグ
cuDNN
ディープラーニング向け計算ライブラリ
TensorRT
推論最適化ツール
NGC
ARM64コンテナリソース
PyTorch
モデル開発フレームワーク
vLLM
推論サービングの検証
Ollama
ローカルモデルの実行
ソフトウェアとコンテナは、ARM64、GB10、利用中のCUDA環境に対応するバージョンを選んでください。導入前にプロジェクトの依存関係とモデルの対応状況を確認してください。x86用イメージをARM64用イメージの代わりに使用することはできません。
モデル規模の目安
メモリ容量から使用可否を検討
128GBはCPUとGPUで共有するユニファイドメモリで、独立したVRAMではありません。モデルの重みに加え、KVキャッシュ、ランタイム、コンテキスト長、同時リクエストに必要なメモリも見積もる必要があります。
LoRA / QLoRAファインチューニング
約 70B パラメータ
NVIDIAの公式情報では、この規模のパラメータ効率の高いファインチューニング実験に利用できます。学習時のシーケンス長、バッチサイズ、オプティマイザー設定は、プロジェクトに応じた検証が必要です。
この目安はフルパラメータ学習の能力を示すものではなく、スループットや完了時間を保証するものでもありません。
利用期間と料金
日額固定、選択した日数分のお支払い
TcpNode DGX Sparkの料金は1日$16.7で、1～365日利用できます。割引、初期費用、契約期間はなく、月払い・四半期払い・半年払い・年払いのプランもありません。
$16.7/日
料金 = 利用日数 × 日額
1日利用
$16.7
1 × $16.7 = $16.7
7日利用
$116.9
7 × $16.7 = $116.9
30日利用
$501.0
30 × $16.7 = $501.0
30日は日数計算の例であり、月払いプランではありません。利用日数は専用の注文ページで設定します。料金は米ドルで精算されます。利用終了時にデータは消去されるため、データの転送も実験計画に含めてください。
プロジェクトの条件を確認
ARM64開発・単体機での実験が対象
選定時は、モデル規模の検討に加えて、命令セット、OS、リソースの拡張要件を確認してください。専用機であっても、ソフトウェアの互換性や固定ハードウェア仕様は変わりません。
適した用途
- CUDAプログラムの開発・デバッグ：ARM64環境でカーネルをビルドし、依存関係を確認してプログラムの動作を検証します。
- ARM64コンテナのデプロイ：対応するコンテナイメージとNVIDIAソフトウェアスタックを使って、デプロイ手順を検証します。
- ローカルでの大規模言語モデル推論：モデルの重みをダウンロードし、メモリ使用量、コンテキスト、サービング設定を評価します。
- ファインチューニングとプロトタイプの検証：LoRA / QLoRA実験を行い、AIアプリケーションのコンポーネントを連携させます。
適さない用途・条件
- x86プログラム・イメージ：ARM64環境ではx86プログラムをそのまま実行できません。
- Windowsワークフロー：DGX Sparkで提供されるOSはNVIDIA DGX OSのみです。Windowsや他のディストリビューションはインストールできません。
- 複数台のクラスター：本製品は単体の専用機で、複数台のクラスター構成には対応していません。
- ハードウェアの拡張が必要な場合：帯域幅の変更、IPアドレスやディスクの追加、メモリの増設には対応していません。
モデルはプロジェクト側で準備
重みのダウンロードも実験計画に含める
DGX Sparkにモデルはプリインストールされていません。以下は1 Gbpsの理論上の回線速度をもとにしたファイル転送時間の目安です。ダウンロード量の計画にご利用ください。実際の速度や提供時間を保証するものではありません。
| ファイル合計サイズ | 理論上の所要時間 | 試算条件 |
|---|---|---|
| 40GB | 約5.5分 | 1 Gbpsの理論速度 |
| 100GB | 約14分 | 1 Gbpsの理論速度 |
| 140GB | 約19分 | 1 Gbpsの理論速度 |
実際の所要時間は、ダウンロード元、回線、プロトコルのオーバーヘッド、同時接続数によって異なります。解凍、検証、モデルの読み込み時間も別途必要です。4TB NVMeはOS、コンテナ、モデルの重み、実験出力で共有するため、導入前に作業領域を確保してください。
データとマシンの操作
利用終了前にデータを転送
DGX Sparkの利用終了後、データは消去されます。保管が必要なモデルの重み、コード、データセット、設定、ログは、利用終了前に利用者側で転送し、バックアップが使えることを確認してください。マシン内の別ファイルを独立したバックアップとして扱わないでください。
実験終了前に成果物を確認
最終モデルだけでなく、ファインチューニングアダプター、依存関係の一覧、コンテナのビルドファイル、実験再現に必要な設定も確認してください。転送後にファイルの完全性を確かめ、実行画面のスクリーンショットだけを残して成果物を漏らさないようにしてください。
強制再起動・OS再インストールはチケットで申請
本機にBMC / IPMIはありません。強制再起動やOS再インストールは、コンソールからチケットで申請してください。再インストールを依頼する場合は、操作の目的を伝え、事前にバックアップを作成してください。提供後のIPアドレスとログイン情報はコンソールで確認でき、通常の接続にはSSHを使用します。
注文前に確認
プロジェクトへの適合を左右する3つの条件
以下の条件はTcpNode DGXの注文ページでも確認します。このページでは製品を紹介しており、注文や支払いの手続きは行いません。
- 01
ARM64アーキテクチャを確認
x86プログラムやWindowsは実行できません。業務コード、バイナリ依存関係、コンテナイメージがARM64に対応しているか確認してください。
- 02
DGX OSを確認
OSはUbuntu 24.04ベースのNVIDIA DGX OSのみで、CUDAスタックが含まれます。他のディストリビューションはインストールできません。
- 03
利用終了時のデータ消去を確認
利用終了後、データは消去されます。保管が必要なモデルの重み、コード、ログは利用期間内に転送してください。バックアップは利用者側で行ってください。
適合を確認して、DGXの利用日数を設定
TcpNode DGX Sparkの料金は1日$16.7で、利用期間は1～365日です。次のページで利用日数を選択し、利用条件を確認して注文できます。