[사내 GPUaaS] 표준 아키텍처 문서

 

 

 

1. 문서 개요

1.1 목적

본 문서는 사내에서 GPUaaS(GPU as a Service) 를 안정적이고 효율적으로 제공하기 위한 표준 아키텍처와 운영 원칙을 정의한다. AI/ML, 딥러닝, 영상 처리, 대규모 연산 업무를 수행하는 조직이 GPU 자원을 서비스 형태로 공유·운영할 수 있도록 하는 것이 목적이다.

1.2 적용 범위

• AWS 기반 GPU 인프라
• 사내 AI/ML 플랫폼
• 연구/개발/운영 조직 공용 GPU 환경

1.3 기대 효과

• GPU 자원 사용률 극대화
• 비용 예측 및 통제
• 운영 자동화 및 장애 최소화
• 멀티 테넌시 환경 지원

---

2. GPUaaS 표준 아키텍처 개요

2.1 전체 아키텍처 개념

[사용자/서비스]

↓

[인증·접근제어(IAM / SSO)]

↓

[EKS Control Plane]

↓

[GPU Node Group]

↓

[GPU Pod (Job / Inference)]

↓

[데이터 저장소(S3 / EFS)]

 

 

2.2 아키텍처 설계 원칙

• 컨테이너 기반 표준화
• GPU 자원의 논리적 분리
• 자동 확장 및 자동 종료
• 비용·사용량 가시성 확보
• 보안 기본 내재화(Security by Design)

---

3. 핵심 구성 요소 표준

3.1 인프라 계층 (Infrastructure Layer)

3.1.1 VPC 구성

• Private Subnet 기반 GPU 노드 배치
• NAT Gateway를 통한 외부 통신
• Public 접근 차단 원칙

3.1.2 GPU 인스턴스 표준

용도인스턴스GPU비고

추론	g4dn	T4	비용 최적화
추론/그래픽	g5	A10G	범용
학습	p4d	A100	대규모 학습

---

3.2 컨테이너 & 오케스트레이션 계층

3.2.1 Kubernetes(EKS) 표준

• EKS Managed Control Plane 사용
• GPU Node Group 분리 운영
• Node Label 기반 스케줄링

3.2.2 GPU 할당 표준

• Pod 단위 GPU 할당
• NVIDIA Device Plugin 필수 적용
• MIG 활용 시 GPU 분할 정책 적용

---

3.3 사용자 및 테넌시 구조

3.3.1 네임스페이스 전략

구분	기준
조직	team-ai, team-data
프로젝트	project-llm
환경	dev / stage / prod

3.3.2 리소스 쿼터 정책

• Namespace 별 GPU 최대 사용량 제한
• CPU / Memory 동시 제한
• 초과 요청 시 스케줄링 차단

---

4. GPUaaS 운영 표준 정책

4.1 GPU 사용 정책

• 상시 점유 금지 (Idle GPU 제한)
• Job 완료 후 자동 종료 필수
• 장기 학습 작업 사전 승인

4.2 Auto Scaling 정책

• GPU 사용률 70% 이상 시 확장
• 유휴 10~15분 지속 시 축소
• Spot Instance 우선 활용

---

5. 비용 및 정산 표준

5.1 비용 측정 기준

• Pod 단위 GPU 사용 시간
• Namespace / 프로젝트별 집계
• Spot / On-Demand 구분

5.2 비용 가시화

• CloudWatch + Prometheus
• GPU 사용량 대시보드 제공
• 월별 리포트 자동 생성

---

6. 모니터링 및 장애 대응

6.1 필수 모니터링 항목

• GPU Utilization
• GPU Memory Usage
• Pod 재시작 횟수
• 노드 장애 상태

6.2 장애 대응 원칙

• GPU 노드 장애 시 자동 격리
• Pod 재배치 자동화
• 장애 로그 중앙 수집

---

7. 보안 표준

7.1 접근 제어

• IAM Role 기반 접근
• Namespace RBAC 적용
• 관리자 권한 최소화

7.2 데이터 보호

• S3 / EBS 암호화
• 학습 데이터 접근 로그 기록
• 외부 반출 통제

---

8. 표준 운영 시나리오

시나리오 1: AI 학습 Job 실행

1. 사용자가 Job 제출
2. GPU Pod 생성
3. GPU 자동 할당
4. Job 종료 후 Pod 삭제
5. 사용량 정산

시나리오 2: 추론 서비스 운영

• 최소 GPU 상시 유지
• 트래픽 증가 시 자동 확장
• 트래픽 감소 시 축소

---

9. 도입 로드맵 (권장)

1단계: PoC (소규모 GPU) 2단계: EKS 기반 표준화 3단계: 정산·모니터링 자동화 4단계: 사내 AI 플랫폼화

---

10. 결론

본 GPUaaS 표준 아키텍처는 확장성·안정성·비용 통제를 핵심 가치로 설계되었다. 사내 GPU 자원을 단순 인프라가 아닌 서비스 플랫폼으로 전환함으로써 AI 경쟁력을 확보할 수 있다.