依架構規劃工作負載

適用工作負載:支援巢狀虛擬化的 EPYC 7543P 實體主機

TcpNode 將 CUDA 開發與一般業務分開部署。先確認程式架構、系統相依項目與資料保留方式,再選擇整機類型;以下先介紹 DGX Spark 開發用途,再說明 AMD 實體主機的業務規劃。

先確認架構相容性,再選容量 系統與資料自行管理
DGX Spark · CUDA 開發

從 ARM64 編譯到推論驗證

除了排隊共用設備,CUDA 專案還得確認架構、驅動程式與工具鏈。TcpNode 提供獨享的 NVIDIA DGX Spark 整機,預先安裝 NVIDIA DGX OS、CUDA 與 NVIDIA AI 軟體堆疊,適合在同一台設備上進行開發、除錯與實驗。

分別確認程式、容器與模型

編譯及除錯 CUDA 核心前,先確認相依項目支援 ARM64;部署容器時,請選擇提供 ARM64 映像檔的版本,x86 二進位檔或映像檔不能直接視為可用環境。NVIDIA DGX OS 以 Ubuntu 24.04 為基礎,不提供 Windows 或其他發行版替換。

本機推論、LoRA / QLoRA 微調與 AI 應用原型驗證都可在同一台整機上進行。128GB LPDDR5x 是 CPU 與 GPU 共用的統一記憶體,不是獨立顯示記憶體;模型權重、執行時快取、系統與程式都會占用這部分容量。

依 NVIDIA 官方說明,量化推論約 200B 參數、LoRA / QLoRA 微調約 70B 參數可作為規模參考。實際能否載入及達到目標吞吐量,仍取決於量化方式、上下文長度、批次大小與軟體實作,不能只看參數量判斷。

部署前確認相依項目的架構

Python 套件、原生擴充元件與容器基礎映像檔都應確認支援 ARM64。可使用 root 權限安裝其他開發工具;不預先安裝模型,模型權重與應用程式相依項目由租用方自行準備。

固定規格:不提供加裝硬碟、增加 IP、調整頻寬或記憶體。

將下載與匯出納入實驗規劃

在 1 Gbps 頻寬下,下載 40GB 約需 5.5 分鐘,僅供理論估算,並非完成時間保證。實際傳輸速度會受來源、網路路徑與通訊協定影響;請在租用到期前匯出權重、程式碼與記錄檔。

到期後資料會清除;硬體重新啟動與重灌請透過控制台工單處理,不提供 BMC / IPMI。

依實驗天數安排租用

每日 $16.7,應付金額 = 天數 × 日價,可選 1–365 天。無折扣、免安裝費、無合約。下單前請確認僅支援 ARM64,不支援 x86 程式或 Windows;系統僅限 DGX OS,且到期後資料將清除。

AMD EPYC · 一般業務

以 x86 環境承載常駐業務

AMD EPYC 7543P 實體主機配備 32 核心、64 執行緒,以及 128GB / 256GB DDR4-3200 ECC 兩種記憶體規格。兩種規格皆含 2×1TB NVMe 直連儲存、250 Mbps 不限流量與 1 個獨立 IPv4。先依業務工作集規劃資源,再至價格頁確認月租與選配項目。

虛擬化與隔離

在 Proxmox 中配置業務資源

32 核心、64 執行緒適合將應用程式、資料庫與測試環境分配至不同虛擬機。處理器支援 AMD-V 與 NPT,可啟用巢狀虛擬化;Proxmox VE 8 / 9 均可免費選用。

配置 vCPU 前,先區分持續負載與偶發尖峰,避免所有虛擬機都按執行緒數配置到滿載。主機系統、儲存快取與管理工作也需要保留記憶體;選擇 128GB 或 256GB,應以各虛擬機工作集的總量為準。

使用巢狀虛擬化時,還須確認主機設定、虛擬機 CPU 設定與客體系統支援情況;並非預設就已完成所有設定。

資料庫與中介軟體

先規劃資料配置,再擴充程序

DDR4-3200 ECC 記憶體可供資料庫快取、索引與中介軟體工作集使用。兩顆 1TB NVMe 均為直連裝置,不提供硬體 RAID;資料目錄、記錄檔與備份位置須自行規劃。

如需磁碟備援,可自行設定 ZFS 鏡像或軟體 RAID。鏡像會減少可用容量,但不能取代備份;誤刪、邏輯損毀與應用程式錯誤仍可能同步到另一顆磁碟。

可加購 +2TB NVMe,每次最多 2 顆,皆為獨立直連;重要資料仍應建立可還原的異地副本。

多網站與跨境業務

分別規劃 IP、頻寬與流量

機房位於日本東京。標配 1 個獨立 IPv4,最多可再增加 255 個,總計最多 256 個;適合有多網站、業務隔離或獨立 IP 需求的部署。

頻寬可選 250 Mbps、1 Gbps 或 2 Gbps,三種規格皆不限流量。頻寬代表傳輸速率,不是應用程式回應時間保證;實際使用體驗仍受用戶端、電信業者網路路徑與應用程式處理能力影響。

SSH / RDP 連線使用指派清單中的第一個 IP,其餘 IP 須在系統內自行設定。

Windows 應用程式

在 Server 環境執行既有業務

Windows Server Standard / Datacenter 提供 2019、2022、2025 版本,適用於相依 Windows 的服務、管理軟體與業務元件。授權按月計費,透過 RDP 連線。

下單時可選擇英文、繁體中文或簡體中文系統語言。應用程式本身的授權、元件版本與服務帳戶權限須另行確認;系統授權不包含業務軟體授權。

付款並交付後,請至控制台查看 IP 與登入資訊;首次登入後確認存取規則,並妥善管理帳戶密碼。

依系統家族查看可選項目

以下 14 種免費系統可供 AMD 實體主機選用。選擇系統版本時,應一併考量應用程式相依項目、檔案系統與管理方式,不應只依熟悉程度決定;Windows Server 兩種授權另行計費。

AlmaLinux

8 9 10

3 個免費版本,適合須確認企業級 Linux 相依項目的業務。

CentOS Stream

9 10

2 個免費版本,部署前請確認軟體儲存庫與元件的相容性。

Debian

11 12 13

3 個免費版本,請依應用程式支援範圍選擇系統版本。

Ubuntu Server

22.04 LTS 24.04 LTS 26.04 LTS

3 個免費版本,請確認執行環境、驅動程式與容器相依項目。

FreeBSD

13

1 個免費版本,部署前請確認應用程式支援 FreeBSD 環境。

Proxmox VE

8 9

2 個免費版本,可用於規劃主機、虛擬機與網路橋接。

Windows Server:Standard / Datacenter

兩種付費授權皆提供 2019 / 2022 / 2025 版本,授權費按月計入設定報價。Linux、FreeBSD 與 Proxmox VE 透過 SSH 連線,Windows 透過 RDP 連線;此處的系統清單不適用於 DGX Spark。

部署前維運檢查

備妥還原流程檢查清單

資源配置解決容量需求;還原檢查清單則協助處理誤操作或故障後的復原。TcpNode 負責硬體與網路;系統設定、應用程式、資料與備份由租用方負責。

  1. 01 登記資源

    記錄虛擬機資源、業務連接埠與磁碟用途,避免備份與原始資料只存放在同一台機器。

  2. 02 驗證還原

    確認備份可讀取、應用程式可重建,並確認設定與金鑰有獨立的保管方式。

  3. 03 釐清問題

    提交故障工單時,請附上訂單編號、問題現象、已執行的操作與必要記錄檔;請勿在電子郵件內文傳送登入密碼。

維運工作台的資源與備份檢查示意圖 螢幕內分別列出運算資源、磁碟與網路記錄,旁邊的檢查清單包含三個勾選項目,底部則獨立放置備份媒體,表示資源登記與還原驗證分開處理。
維運工作台示意圖:資源登記、還原檢查與獨立備份各自規劃,不代表實際控制台介面。

一併確認規格限制與計費方式

兩種記憶體規格開通後無法在原機升級;更換規格須另訂一台。加裝硬碟、頻寬、額外 IPv4 與 Windows 授權可在設定頁分別選擇;月費合計依所選項目計算,應付金額 = 月費合計 × 月數。月繳、季繳、半年繳與年繳皆不提供折扣、免安裝費、無合約。

目錄中的可選規格與實際可用狀態須分別確認;實際供應狀況以控制台即時顯示為準。費用一律以美元結算,付款方式以設定頁列出的項目為準。

依業務清單選擇合適規格

確認記憶體工作集、磁碟備援與 IP 需求後,再查看 AMD 實體主機的兩種月租方案與選配項目。

查看 TcpNode 實體主機價格