[GPU] Xid 13 에러 발생 원인과 해결방법 !!

 

 

 

1. Xid 13 에러 의미

Xid 13은 GPU 내부 연산 코어(SM, Streaming Multiprocessor)에서 실행 중인 warp(스레드 그룹)가 예외를 발생시킨 오류입니다.

쉽게 설명하면 다음과 같습니다.

GPU가 프로그램을 실행하던 중 잘못된 연산 또는 잘못된 메모리 접근을 감지했을 때 발생하는 오류

CPU에서 발생하는 Segmentation Fault와 유사한 개념으로 이해하시면 됩니다.

 

 

---

2. 주요 발생 원인 (중요도 순서)

① AI 프로그램 / CUDA 커널 오류 (가장 흔한 원인)

가장 많이 발생하는 원인입니다.

대표적인 경우

• CUDA 커널 코드 버그
• PyTorch / TensorFlow extension 오류
• 배열 범위를 넘어서는 메모리 접근 (Out-of-Bounds)
• 잘못된 Tensor shape 처리
• 잘못된 index 접근

예시 상황

• 모델 학습 중
• 커스텀 CUDA 연산 사용
• 특정 연산 단계에서 반복 발생

👉 실무 환경에서 약 70~80% 이상이 이 원인입니다.

---

② 잘못된 CUDA 명령 또는 Illegal Instruction

GPU가 이해할 수 없는 명령을 실행할 때 발생합니다.

발생 상황

• CUDA 버전 불일치
• 드라이버와 CUDA 라이브러리 호환성 문제
• 잘못 컴파일된 CUDA 바이너리
• GPU 아키텍처와 맞지 않는 커널

예시

• CUDA 업데이트 후 기존 extension 그대로 사용
• PyTorch wheel과 CUDA 버전 불일치

---

③ GPU 메모리 접근 오류

GPU 메모리 접근이 잘못된 경우 발생할 수 있습니다.

대표 상황

• GPU 메모리 포인터 오류
• 잘못된 메모리 주소 접근
• 메모리 해제 후 재접근

예

• 잘못된 pointer
• misaligned memory access

---

④ 드라이버 / CUDA / 라이브러리 버전 문제

GPU 소프트웨어 스택 버전이 맞지 않을 때 발생할 수 있습니다.

예시

• NVIDIA Driver
• CUDA
• PyTorch
• NCCL
• cuDNN

버전 조합이 맞지 않으면 GPU 커널 실행 중 예외가 발생할 수 있습니다.

---

⑤ GPU 하드웨어 또는 시스템 문제 (드물지만 가능)

다음과 같은 경우에도 발생할 수 있습니다.

• GPU 메모리 오류
• PCIe 연결 문제
• GPU 전원 문제
• GPU 과열

하지만 Xid 13은 대부분 소프트웨어 문제이며
하드웨어 문제로 발생하는 경우는 비교적 드뭅니다.

 

 

---

3. 장애 발생 시 즉시 조치 방법

1️⃣ GPU 사용 프로세스 확인

먼저 GPU를 사용 중인 프로세스를 확인합니다.

 

nvidia-smi

 

GPU를 점유하고 있는 PID를 확인합니다.

---

2️⃣ 문제 프로세스 종료

문제를 발생시킨 프로세스를 종료합니다.

 

kill -9 PID

 

일반적으로 Xid 13은 프로세스 종료 후 정상 복구됩니다.

---

3️⃣ GPU 상태 점검

GPU 상태를 점검합니다.

 

nvidia-smi -q -d ECC

 

확인 항목

• ECC error
• GPU memory error

ECC 오류가 증가한다면 하드웨어 문제 가능성도 고려해야 합니다.

---

4️⃣ GPU 리셋 시도

GPU 리셋이 가능한 환경이라면 다음 명령을 사용할 수 있습니다.

 

nvidia-smi -i GPU번호 -r

 

예

 

nvidia-smi -i 0 -r

 

---

5️⃣ 필요 시 서버 재부팅

다음 상황에서는 재부팅을 권장합니다.

• GPU reset 실패
• 동일 GPU에서 반복 발생
• GPU context가 복구되지 않는 경우

 

 

---

4. 원인 분석 방법

① 동일 작업에서 재현되는지 확인

다음 질문이 중요합니다.

• 같은 모델에서 발생하는가
• 같은 데이터에서 발생하는가
• 특정 연산 단계에서 발생하는가

재현된다면 프로그램 문제 가능성이 매우 높습니다.

---

② GPU 로그 확인

 

dmesg -T | grep -i xid

 

또는

 

journalctl -k | grep -i xid

 

추가로 다음 에러가 함께 발생하는지 확인합니다.

• Xid 31
• Xid 43
• GPU fallen off bus

---

③ CUDA 디버깅 도구 사용

다음 도구를 활용하여 원인을 찾을 수 있습니다.

Compute Sanitizer

 

compute-sanitizer --tool memcheck program

 

확인 가능한 문제

• Out-of-bounds memory
• misaligned access
• illegal memory read/write

---

CUDA Debugger

 

cuda-gdb program

 

GPU 커널 내부에서 발생한 예외 위치를 추적할 수 있습니다.

 

 

---

5. 재발 방지 개선 방안

① GPU 소프트웨어 스택 버전 통일

클러스터 운영 환경에서는 다음 버전을 통일하는 것이 중요합니다.

• NVIDIA Driver
• CUDA
• PyTorch
• NCCL
• cuDNN

---

② CUDA Extension 재컴파일

다음 상황에서는 반드시 재컴파일이 필요합니다.

• CUDA 업데이트
• Driver 업데이트
• GPU 아키텍처 변경

---

③ GPU 메모리 사용량 관리

권장 운영 기준

• GPU memory 사용률 80~90% 이하 유지
• batch size 조절

---

④ 장애 GPU 모니터링 정책

운영 환경에서는 다음 정책을 권장합니다.

예시

• 동일 GPU에서 Xid 13 3회 이상 발생
• 해당 GPU drain 처리
• 노드 점검

 

 

---

6. GPU 운영 관점 중요 포인트

에러 코드	의미	위험도
Xid 13	GPU warp exception	낮음
Xid 31	GPU memory fault	중간
Xid 43	GPU stopped processing	높음
Xid 79	GPU fallen off bus	매우 높음

따라서 Xid 13은 GPU 고장보다는 프로그램 문제일 가능성이 높습니다.

 

 

---

7. 결론

Xid 13 (Graphics SM warp exception)은

1️⃣ GPU 연산 중 발생한 예외 오류
2️⃣ 대부분 CUDA 프로그램 또는 AI 모델 코드 문제
3️⃣ 프로세스 종료로 대부분 복구 가능
4️⃣ 반복 발생 시 CUDA 커널 / 라이브러리 / 버전 문제 분석 필요