量化模型推論
約 200B 參數
依 NVIDIA 官方說明，DGX Spark 可作為此規模量化模型推論的參考平台。實際資源需求取決於模型格式、量化精度與推論框架。
此數據僅供評估實驗方向，並不代表所有 200B 模型都能以相同設定執行。
CUDA 開發與除錯
DGX 租用：NVIDIA GB10 Grace Blackwell 整機獨享
TcpNode 將一台 NVIDIA DGX Spark 專供單一客戶使用，不與他人共用；適用於 CUDA 開發與除錯、本機推論、微調實驗及 AI 原型驗證。
透過 SSH 連線 · 預裝 NVIDIA DGX OS 與 CUDA
整機租用
單一租用者
128GB
LPDDR5x 統一記憶體
CPU 與 GPU 共用
NVIDIA DGX OSARM64
硬體與交付規格
固定規格，整機交付
TcpNode DGX Spark 不拆分 CPU、GPU 或記憶體配額。儲存空間、網路與 IP 位址皆隨整機提供；下單時選擇租用天數，無法另選硬體。
NVIDIA DGX Spark
晶片、記憶體與系統共同構成 ARM64 開發環境。
- 超級晶片
- NVIDIA GB10 Grace Blackwell
- 處理器
- 20 核心 Arm：10×Cortex-X925 + 10×Cortex-A725
- 統一記憶體
- 128GB LPDDR5x，由 CPU 與 GPU 共用
- 本機儲存空間
- 4TB NVMe
- 網路
- 1 Gbps 不限流量
- 公網 IP
- 1 個固定 IPv4
- 作業系統
- NVIDIA DGX OS，基於 Ubuntu 24.04
- 指令集架構
- ARM64
從開發環境開始
系統內含 CUDA 與 NVIDIA AI 軟體堆疊
NVIDIA DGX OS 內含 CUDA 與 NVIDIA AI 軟體堆疊。TcpNode 提供 root 權限，可依專案需求安裝其他工具；不預裝模型，權重與資料集由租用者自行準備。
CUDA
程式編譯與除錯
cuDNN
深度學習運算函式庫
TensorRT
推論最佳化工具
NGC
ARM64 容器資源
PyTorch
模型開發框架
vLLM
推論服務實驗
Ollama
本機模型執行
軟體與容器須選用相容於 ARM64、GB10 及目前 CUDA 環境的版本。部署前應確認專案相依項目與模型支援情況，不能直接以 x86 映像檔取代 ARM64 映像檔。
模型規模參考
從統一記憶體評估可用容量
128GB 是 CPU 與 GPU 共用的統一記憶體，並非獨立顯示記憶體。除了模型權重，KV 快取、執行環境、上下文長度及並行請求也都須納入記憶體預算。
LoRA / QLoRA 微調
約 70B 參數
依 NVIDIA 官方說明，可進行此規模的參數高效微調實驗。訓練序列長度、批次大小及最佳化器設定仍須依專案實際測試。
此參考數據不代表具備全參數訓練能力，也不保證吞吐量或完成時間。
租期與費用
固定每日價格，依實際選擇的天數計費
TcpNode DGX Spark 每日價格為 $16.7，可選 1–365 天。不打折、免安裝費、無合約，也不提供月付、季付、半年付或年付方案。
$16.7/天
應付金額 = 天數 × 每日價格
租用 1 天
$16.7
1 × $16.7 = $16.7
租用 7 天
$116.9
7 × $16.7 = $116.9
租用 30 天
$501.0
30 × $16.7 = $501.0
30 天僅為天數計算範例，並非月租方案。請在獨立下單頁設定租用天數，費用以美元結算；租期到期後資料將清除，請將資料匯出納入實驗規劃。
先確認專案需求
適用範圍：ARM64 開發與單機實驗
選擇前先確認指令集、作業系統及硬體擴充需求，再評估模型規模。整機獨享不會改變軟體相容性，也不會變更固定硬體規格。
適用工作
- CUDA 程式開發與除錯：在 ARM64 平台編譯核心、確認相依項目並檢查程式行為。
- ARM64 容器部署：使用相容的容器映像檔與 NVIDIA 軟體堆疊，驗證部署流程。
- 本機大型語言模型推論：自行下載權重，評估記憶體用量、上下文與服務設定。
- 微調與原型驗證：進行 LoRA / QLoRA 實驗，整合測試 AI 應用元件。
不適用的專案需求
- x86 程式或映像檔：ARM64 環境無法直接執行 x86 程式。
- Windows 工作流程：DGX Spark 僅提供 NVIDIA DGX OS，不安裝 Windows 或其他發行版。
- 多機叢集：本產品提供單台整機，不提供多機叢集方案。
- 需要擴充硬體：不調整頻寬、不增加 IP 或磁碟，也不升級記憶體。
模型由專案自行準備
將權重下載時間納入實驗規劃
DGX Spark 不預裝模型。下表以 1 Gbps 理論連線速率估算檔案傳輸時間，僅供規劃下載量參考，不代表實際下載速度或交付時間。
| 檔案總量 | 理論時間估算 | 估算依據 |
|---|---|---|
| 40GB | 約 5.5 分鐘 | 1 Gbps 理論速率 |
| 100GB | 約 14 分鐘 | 1 Gbps 理論速率 |
| 140GB | 約 19 分鐘 | 1 Gbps 理論速率 |
實際時間會受下載來源、連線、通訊協定額外負荷及並行下載影響，還須另計解壓縮、驗證與模型載入時間。4TB NVMe 同時存放系統、容器、權重與實驗輸出，部署前應預留足夠工作空間。
資料與主機操作
到期前匯出資料
DGX Spark 租期到期後，資料將清除。需要保留的權重、程式碼、資料集、設定與記錄，應由租用者在到期前自行匯出，並確認備份可用；不可將主機內的另一份檔案視為獨立備份。
實驗結束前檢查產出檔案
除最終模型外，也應檢查微調轉接器、相依項目清單、容器建置檔及重現實驗所需的設定。匯出後請確認檔案完整，避免只保留執行畫面截圖，卻遺漏實際產出檔案。
硬體重開機與系統重裝請透過工單申請
本機未配備 BMC / IPMI。硬體重開機與系統重裝須透過控制台工單申請；如需重裝，請先說明操作目的並自行備份。交付後的 IP 位址與登入憑證可在控制台查看，日常透過 SSH 連線。
下單前請確認
三項條件，確認專案是否適用
以下條件會在 TcpNode DGX 下單頁再次確認。本頁僅介紹產品，不接受訂單或付款。
- 01
確認 ARM64 架構
無法執行 x86 程式或 Windows。請確認業務程式碼、二進位相依項目與容器映像檔皆支援 ARM64。
- 02
確認 DGX OS 作業系統
僅提供 NVIDIA DGX OS，基於 Ubuntu 24.04 並內含 CUDA 軟體堆疊，不安裝其他發行版。
- 03
確認到期後資料清除
租期到期後資料將清除。需要保留的權重、程式碼與記錄應在租期結束前匯出，備份由租用者自行負責。
確認符合需求後，設定 DGX 租用天數
TcpNode DGX Spark 每日價格為 $16.7，可選 1–365 天。下一頁可選擇天數、確認使用條件並下單。