[DCGM 진단이란?] NVIDIA 공식 헬스 체크 도구

 

 

GPU 환경에서 반드시 알아야 할 NVIDIA 공식 헬스 체크 도구

GPU 서버나 쿠버네티스 GPU 노드를 운영하다 보면 이런 문제가 자주 발생합니다.

• GPU는 잡혀 있는데 연산 성능이 비정상적으로 느림
• 학습이 중간에 멈추거나 CUDA 오류가 랜덤하게 발생
• 특정 노드에서만 OOM, ECC Error, Xid 에러가 반복됨
• GPU 장애인지, 드라이버 문제인지, 케이블·전원 문제인지 구분이 안 됨

이럴 때 NVIDIA가 공식 제공하는 GPU 진단 도구가 바로 DCGM Diagnostics 입니다.

---

DCGM(Data Center GPU Manager) 개요

DCGM은 NVIDIA에서 제공하는 데이터센터용 GPU 관리 및 모니터링 프레임워크입니다.

구분설명

정식 명칭	Data Center GPU Manager
제공사	NVIDIA
목적	GPU 상태 모니터링, 진단, 성능/신뢰성 관리
대상	A100, H100, V100, T4 등 데이터센터 GPU

DCGM은 크게 아래 3가지 역할을 합니다.

1. GPU 헬스 모니터링
2. 성능 및 에러 수집
3. 정밀 진단 (Diagnostics) ← 오늘의 핵심

---

DCGM Diagnostics란?

DCGM Diagnostics는

GPU 하드웨어, 드라이버, CUDA 스택이 정상인지 실제 연산 테스트를 통해 검증하는 기능입니다.

단순한 nvidia-smi 정보 조회와는 차원이 다릅니다.

---

왜 nvidia-smi 만으로는 부족한가?

nvidia-smiDCGM Diagnostics

상태 조회	실제 연산 기반 테스트
온도, 사용률	연산 정확성·안정성
에러 로그 확인	메모리·코어·인터커넥트 검증
수동 해석 필요	PASS / FAIL 명확

👉 “GPU가 보인다” ≠ “GPU가 정상이다”

---

DCGM 진단이 검증하는 핵심 항목

DCGM Diagnostics는 GPU를 부품 단위로 테스트합니다.

---

1️⃣ GPU 메모리 진단

✔ 테스트 내용

• HBM / VRAM 읽기·쓰기 테스트
• 메모리 주소 무결성
• ECC 에러 발생 여부

✔ 검출 가능한 문제

• 메모리 불량
• ECC Error 증가
• 학습 중 Random OOM

---

2️⃣ GPU 연산 코어(SM) 진단

✔ 테스트 내용

• CUDA Core, Tensor Core 연산 검증
• FP32 / FP64 / Tensor 연산 정확성

✔ 검출 가능한 문제

• 연산 결과 오류
• 성능 저하
• 학습 결과가 비정상적으로 튀는 현상

---

3️⃣ PCIe / NVLink 인터커넥트 진단

✔ 테스트 내용

• GPU ↔ CPU 간 PCIe 통신
• GPU ↔ GPU 간 NVLink 대역폭

✔ 검출 가능한 문제

• PCIe Lane 오류
• NVLink 끊김
• 멀티 GPU 학습 성능 저하

---

4️⃣ 전원 & 온도 안정성 진단

✔ 테스트 내용

• 최대 부하 시 전력 공급 안정성
• Thermal Throttling 발생 여부

✔ 검출 가능한 문제

• 전원 부족
• 팬 / 쿨링 문제
• 특정 부하에서만 죽는 GPU

---

5️⃣ CUDA & 드라이버 스택 검증

✔ 테스트 내용

• CUDA 런타임 정상 동작
• 드라이버·라이브러리 호환성

✔ 검출 가능한 문제

• 드라이버 깨짐
• CUDA 버전 불일치
• 컨테이너 이미지 문제

---

DCGM Diagnostics 레벨(Level) 구조

DCGM 진단은 Level 기반으로 실행됩니다.

레벨의미

Level 1	빠른 기본 헬스 체크
Level 2	메모리 & 연산 테스트
Level 3	스트레스 테스트 (실제 부하 수준)
Level 4	장시간·고강도 검증 (RMA 수준)

실무 권장

• 운영 전 검증: Level 2 ~ 3
• 장애 원인 분석: Level 3
• 하드웨어 불량 판정: Level 4

---

GPU 환경에서 DCGM 진단이 중요한 이유

1️⃣ 쿠버네티스 GPU 노드 검증 필수

• 노드 추가 시
• GPU 교체 후
• 장애 노드 재투입 전

👉 DCGM 진단 PASS = 스케줄링 허용

---

2️⃣ GPUaaS / 내부 정산 신뢰성 확보

• 성능 불량 GPU를 쓰면 사용자 불만 폭증
• 동일 GPU인데 학습 시간 2배 차이 발생

👉 정상 GPU 풀(Pool) 유지의 기준

---

3️⃣ 장애 원인 명확화 (책임소재 분리)

상황DCGM 결과

PASS	애플리케이션/코드 문제
FAIL	하드웨어 / 드라이버 문제

👉 벤더 RMA 요청 시 증빙 자료로 활용 가능

---

DCGM Diagnostics 실행 방식 개요

단일 서버

• dcgmi diag 명령어 실행

쿠버네티스

• DCGM Exporter + Diagnostics Pod
• Job 형태로 GPU 검증 자동화

자동화 시나리오

• 노드 조인 시 자동 진단
• 월 1회 정기 헬스 체크
• 장애 발생 시 자동 재진단

---

Prometheus / Grafana 연계 가능

DCGM 진단 결과는 다음과 같이 활용됩니다.

• Prometheus 메트릭 수집
• GPU FAIL 노드 자동 Cordoning
• 월별 GPU 헬스 리포트 생성
• 장애 유형별 통계 분석

👉 GPU 운영 성숙도 = DCGM 활용 수준

---

정리: DCGM 진단 한 줄 요약

DCGM Diagnostics는 GPU가 “보이는지”가 아니라
“제대로 계산하고 있는지”를 증명하는 NVIDIA 공식 진단 도구다.