양자화 모델 추론
약 200B 매개변수
NVIDIA의 공식 기준에 따르면 DGX Spark는 이 규모의 양자화 모델 추론을 위한 참고 플랫폼으로 사용할 수 있습니다. 실제 리소스 요구량은 모델 형식, 양자화 정밀도, 추론 프레임워크에 따라 달라집니다.
실험 방향을 가늠하기 위한 참고치이며, 모든 200B 모델이 같은 설정으로 실행된다는 뜻은 아닙니다.
CUDA 개발 및 디버깅
DGX 대여: NVIDIA GB10 Grace Blackwell 전용 시스템
TcpNode는 NVIDIA DGX Spark 시스템 한 대를 고객 한 곳에 전용으로 할당하며 공유하지 않습니다. CUDA 개발 및 디버깅, 로컬 추론, 미세 조정 실험, AI 프로토타입 검증에 적합합니다.
SSH 접속 · NVIDIA DGX OS 및 CUDA 사전 설치
시스템 전체 대여
단일 사용자
128GB
LPDDR5x 통합 메모리
CPU와 GPU가 공유
NVIDIA DGX OSARM64
하드웨어 및 제공 사양
고정 사양, 시스템 전체 제공
TcpNode DGX Spark는 CPU, GPU 또는 메모리 할당량을 분리하지 않습니다. 스토리지, 네트워크, IP 주소는 시스템 전체와 함께 제공되며, 대여 시 일수만 선택할 수 있습니다. 하드웨어 옵션은 선택할 수 없습니다.
NVIDIA DGX Spark
칩, 메모리, 시스템이 하나의 ARM64 개발 환경을 구성합니다.
- 슈퍼칩
- NVIDIA GB10 Grace Blackwell
- 프로세서
- 20코어 Arm: 10×Cortex-X925 + 10×Cortex-A725
- 통합 메모리
- 128GB LPDDR5x, CPU와 GPU가 공유
- 로컬 스토리지
- 4TB NVMe
- 네트워크
- 1 Gbps, 트래픽 무제한
- 공인 IP 주소
- 고정 IPv4 1개
- 운영체제
- Ubuntu 24.04 기반 NVIDIA DGX OS
- 명령어 집합 아키텍처
- ARM64
개발 환경 살펴보기
CUDA 및 AI 소프트웨어 스택 기본 제공
NVIDIA DGX OS에는 CUDA와 NVIDIA AI 소프트웨어 스택이 포함됩니다. TcpNode는 root 권한을 제공하므로 프로젝트에 필요한 도구를 설치할 수 있습니다. 모델은 사전 설치되지 않으며, 가중치와 데이터 세트는 대여 측에서 준비해야 합니다.
CUDA
프로그램 빌드 및 디버깅
cuDNN
딥러닝 연산 라이브러리
TensorRT
추론 최적화 도구
NGC
ARM64 컨테이너 리소스
PyTorch
모델 개발 프레임워크
vLLM
추론 서빙 실험
Ollama
로컬 모델 실행
소프트웨어와 컨테이너는 ARM64, GB10 및 현재 CUDA 환경에 맞는 버전을 선택해야 합니다. 배포 전에 프로젝트 종속성과 모델 지원 범위를 확인하세요. x86 이미지를 ARM64 이미지 대신 그대로 사용할 수는 없습니다.
모델 규모 참고
통합 메모리부터 용량 평가
128GB는 CPU와 GPU가 공유하는 통합 메모리이며, 전용 VRAM이 아닙니다. 모델 가중치 외에도 KV 캐시, 런타임, 컨텍스트 길이, 동시 요청에 필요한 메모리를 예산에 포함해야 합니다.
LoRA / QLoRA 미세 조정
약 70B 매개변수
NVIDIA의 공식 기준에 따라 이 규모의 매개변수 효율적 미세 조정 실험을 진행할 수 있습니다. 학습 시퀀스 길이, 배치 크기, 옵티마이저 설정은 프로젝트에 맞게 검증해야 합니다.
이 참고 정보는 전체 매개변수 학습이 가능하다는 뜻이 아니며, 처리량이나 완료 시간을 보장하지 않습니다.
대여 기간 및 요금
이용 일수에 따라 요금 계산
TcpNode DGX Spark는 하루 $16.7이며, 1~365일 이용할 수 있습니다. 할인 없이 설치비와 계약 없이 이용하며, 월간·분기·반기·연간 요금제는 제공하지 않습니다.
$16.7/일
결제 금액 = 이용 일수 × 하루 요금
1일 대여
$16.7
1 × $16.7 = $16.7
7일 대여
$116.9
7 × $16.7 = $116.9
30일 대여
$501.0
30 × $16.7 = $501.0
30일은 계산 예시일 뿐 월간 요금제가 아닙니다. 별도의 대여 페이지에서 일수를 설정하며, 요금은 미국 달러로 결제됩니다. 대여 기간이 끝나면 데이터가 삭제되므로 필요한 데이터의 반출을 실험 계획에 포함해야 합니다.
프로젝트 조건 먼저 확인
ARM64 개발 및 단일 시스템 실험에 적합
먼저 명령어 집합, 운영체제, 리소스 확장 요구 사항을 확인한 다음 모델 규모를 검토하세요. 시스템 전체를 단독으로 사용하더라도 소프트웨어 호환성이나 고정 하드웨어 사양은 달라지지 않습니다.
적합한 작업
- CUDA 프로그램 개발 및 디버깅:ARM64 플랫폼에서 커널을 빌드하고 종속성을 확인하며 프로그램 동작을 점검합니다.
- ARM64 컨테이너 배포:호환되는 컨테이너 이미지와 NVIDIA 소프트웨어 스택으로 배포 절차를 검증합니다.
- 로컬 대규모 언어 모델 추론:가중치를 직접 다운로드하고 메모리 사용량, 컨텍스트, 서빙 설정을 평가합니다.
- 미세 조정 및 프로토타입 검증:LoRA / QLoRA 실험을 진행하고 AI 애플리케이션 구성 요소를 함께 테스트합니다.
적합하지 않은 조건
- x86 프로그램 또는 이미지:ARM64 환경에서는 x86 프로그램을 직접 실행할 수 없습니다.
- Windows 워크플로:DGX Spark에는 NVIDIA DGX OS만 제공되며 Windows 또는 다른 배포판은 설치할 수 없습니다.
- 다중 시스템 클러스터:이 제품은 시스템 한 대를 제공하며 다중 시스템 클러스터 구성은 제공하지 않습니다.
- 하드웨어 확장 필요:대역폭 변경, IP 추가, 디스크 추가, 메모리 업그레이드는 지원하지 않습니다.
모델은 프로젝트에서 직접 준비
가중치 다운로드도 실험 일정에 반영
DGX Spark에는 모델이 사전 설치되지 않습니다. 아래 수치는 1 Gbps 이론상 회선 속도를 기준으로 파일 전송 시간을 추산한 것으로, 다운로드 규모 계획에만 참고할 수 있습니다. 실제 다운로드 속도나 제공 시간을 보장하지 않습니다.
| 전체 파일 크기 | 이론상 소요 시간 | 추산 기준 |
|---|---|---|
| 40GB | 약 5.5분 | 이론상 1 Gbps 속도 |
| 100GB | 약 14분 | 이론상 1 Gbps 속도 |
| 140GB | 약 19분 | 이론상 1 Gbps 속도 |
실제 소요 시간은 다운로드 소스, 회선, 프로토콜 오버헤드, 동시 접속에 따라 달라집니다. 압축 해제, 무결성 검사, 모델 로딩 시간도 별도로 고려해야 합니다. 4TB NVMe에는 시스템, 컨테이너, 가중치, 실험 결과가 모두 저장되므로 배포 전에 작업 공간을 확보하세요.
데이터 및 시스템 관리
만료 전에 데이터 반출 완료
DGX Spark 대여 기간이 끝나면 데이터가 삭제됩니다. 보관할 가중치, 코드, 데이터 세트, 설정, 로그는 만료 전에 직접 반출하고 백업이 정상적으로 사용 가능한지 확인해야 합니다. 시스템 내부의 다른 파일 사본을 별도 백업으로 간주해서는 안 됩니다.
실험 종료 전에 결과물 확인
최종 모델뿐 아니라 미세 조정 어댑터, 종속성 목록, 컨테이너 빌드 파일, 실험 재현에 필요한 설정도 확인해야 합니다. 반출 후 파일 무결성을 검증하고, 실행 화면만 보관한 채 실제 결과물을 누락하지 않도록 하세요.
강제 재시작 및 재설치는 티켓으로 요청
이 시스템에는 BMC / IPMI가 없습니다. 강제 재시작과 운영체제 재설치는 콘솔에서 티켓으로 요청합니다. 재설치가 필요한 경우 작업 목적을 먼저 알리고 데이터를 직접 백업해야 합니다. 제공 후 IP 주소와 로그인 정보는 콘솔에서 확인할 수 있으며, 평소에는 SSH로 접속합니다.
대여 전 확인
프로젝트 적합성을 결정하는 세 가지 조건
아래 조건은 TcpNode DGX 주문 페이지에서 다시 확인합니다. 이 페이지는 제품 소개용이며 주문이나 결제를 처리하지 않습니다.
- 01
ARM64 아키텍처 확인
x86 프로그램이나 Windows는 실행할 수 없습니다. 업무 코드, 바이너리 종속성, 컨테이너 이미지가 ARM64를 지원하는지 확인해야 합니다.
- 02
DGX OS 확인
운영체제는 Ubuntu 24.04 기반의 NVIDIA DGX OS만 제공되며 CUDA 스택이 포함됩니다. 다른 배포판은 설치할 수 없습니다.
- 03
만료 후 데이터 삭제 확인
대여 기간이 끝나면 데이터가 삭제됩니다. 보관할 가중치, 코드, 로그는 대여 종료 전에 반출해야 하며 백업은 대여 측에서 관리해야 합니다.
호환성을 확인한 뒤 DGX 대여 일수 설정
TcpNode DGX Spark는 하루 $16.7이며, 1~365일 이용할 수 있습니다. 다음 페이지에서 이용 일수를 선택하고 이용 조건을 확인한 뒤 주문할 수 있습니다.