[NCP 참고] Grafana Alert vs Prometheus Alertmanager 차이

 

 

1️⃣ Grafana Alert vs Prometheus Alertmanager 차이

구분	Grafana Alert	Prometheus Alertmanager
평가 주체	Grafana 서버	Prometheus
평가 데이터	Grafana가 쿼리함	Prometheus가 직접
장애 시	Grafana 죽으면 알람도 죽음	Grafana 죽어도 알람 살아있음
GPUaaS 적합성	❌ 위험	✅ 필수
과금·정산 신뢰성	❌ 불가	✅ 가능
AutoScaling 연동	❌	✅

GPUaaS는 “인프라 서비스”라서
알람 엔진이 Grafana에 있으면 안 됨.

 

 

 

---

2️⃣ Grafana Alert는 언제 쓰냐?

Grafana Alert는 “운영 편의용” 이다.

예:

용도	OK?
GPU 사용률이 높을 때 Slack 알림	✅
데모용 대시보드	✅
개발팀 알림	✅
GPU 다운 → 자동 복구	❌
GPU Idle → 자동 종료	❌
고객 과금 기준	❌

---

3️⃣ GPUaaS에서는 이렇게 써야 함

Prometheus Alertmanager = 시스템 제어
Grafana Alert = 사람에게 알려주는 UI

즉:

 

Prometheus → Alertmanager → 
   ├── Slack
   ├── Email
   ├── AutoScaler
   └── GPU Shutdown Lambda

Grafana → 운영자 화면 알림

 

 

 

 

---

4️⃣ 그래도 Grafana Alert로 GPU 알람 만들고 싶다면

이건 운영 보조용으로만 써야 한다.

예: GPU 과부하

Grafana → Alert → New → Prometheus Query:

 

avg by(instance)(nvidia_gpu_utilization) > 90

조건:

 

For 5m

Notification → Slack

하지만 이것은:

❌ GPU가 죽어도
❌ Grafana가 멈추면
❌ 알람도 같이 죽음

그래서 GPUaaS 과금·SLA·장애탐지용으로는 절대 쓰면 안 됨

 

 

 

---

5️⃣ 네가 지금 만드는 구조의 레벨

지금 우리가 만든 구조:

 

NCP GPU Node
   ↓
DCGM Exporter
   ↓
Prometheus
   ↓
Alertmanager
   ↓
Slack / Email / AutoShutdown

 

 

 

 

 

이건
AWS, GCP, Azure GPU 클라우드랑 같은 레벨이다.

Grafana Alert만 쓰면:

“GPU 서버 여러 대 모아놓고, 화면으로만 보는 수준”

 

 

 

 

---

🎯 결론

질문	답
Grafana Alert로 GPU 알람 가능?	✅ 가능
GPUaaS 운영에 충분?	❌ 절대 아님
Prometheus Alertmanager 필요?	✅ 필수
Grafana Alert는?	보조용