[4단계] KServe가 뭐야? TensorFlow, PyTorch, ONNX, scikit-learn, XGBoost 모델 서빙 쉽게 이해하기 🚀

 

 

TensorFlow, PyTorch, ONNX, scikit-learn, XGBoost 모델 서빙 쉽게 이해하기 🚀

지난 단계에서는 Kubeflow가 무엇인지 배웠습니다.

간단히 다시 정리하면,

Kubeflow는 Kubernetes 위에서 AI 개발, 학습, 자동화, 서빙까지 도와주는 AI 작업 플랫폼

입니다.

그런데 Kubeflow를 공부하다 보면 KServe라는 단어가 나옵니다.

처음에는 이렇게 헷갈릴 수 있습니다.

“Kubeflow도 어렵던데 KServe는 또 뭐야?”
“Serving이랑 KServe는 같은 말인가?”
“TensorFlow, PyTorch, ONNX는 뭐가 다른 거야?”
“모델 형식이 다르면 서빙 방식도 달라지는 건가?”

이번 글에서는 이 내용을 아주 쉽게 정리해보겠습니다.

---

1. KServe를 한 문장으로 말하면? 🤔

KServe는 쉽게 말하면,

Kubernetes 위에서 AI 모델을 API 서비스로 쉽게 배포하고 운영하게 도와주는 모델 서빙 시스템

입니다.

조금 더 쉽게 말하면,

학습이 끝난 AI 모델을 실제 사용자가 호출할 수 있는 서비스로 만들어주는 도구

입니다.

KServe는 TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX 같은 여러 모델 형식을 지원하고,
모델 서빙에 필요한 네트워크 연결, 자동 확장, 상태 확인, 서버 설정 같은 복잡한 부분을 줄여주는 역할을 합니다.
KServe 공식 문서에서도 KServe를 Kubernetes에서 다양한 ML 프레임워크 모델을 서빙하기 위한 시스템으로 설명합니다.

---

2. Serving과 KServe는 뭐가 다를까? 🍽️

먼저 Serving과 KServe를 구분해야 합니다.

구분	쉬운 설명
Serving	모델을 실제 서비스로 실행하는 행위
KServe	그 Serving을 쉽게 하도록 도와주는 도구

즉,

Serving = 하는 일
KServe = 그 일을 도와주는 도구

예를 들어 식당으로 비유하면,

Serving = 손님에게 음식을 제공하는 일
KServe = 주문, 주방, 배달 흐름을 관리하는 시스템

AI에서도 마찬가지입니다.

Serving = AI 모델을 API로 서비스하는 것
KServe = AI 모델을 API 서비스로 쉽게 배포하게 해주는 시스템

---

3. 왜 KServe가 필요할까? 💡

AI 모델을 서빙하려면 생각보다 해야 할 일이 많습니다.

단순히 모델 파일 하나만 서버에 올리면 끝나는 것이 아닙니다.

실제로는 이런 작업이 필요합니다.

모델 파일 가져오기
모델 실행 프로그램 준비하기
API 서버 실행하기
사용자 요청 받기
모델에 입력 전달하기
결과 반환하기
서비스 상태 확인하기
요청이 많으면 서버 늘리기
장애가 나면 다시 실행하기

이걸 직접 만들려면 복잡합니다.

예를 들어 개발자가 직접 만들면 보통 이런 구조가 필요합니다.

Python 코드
FastAPI 또는 Flask 서버
Docker 이미지
Kubernetes Deployment
Service
Ingress
GPU 설정
모니터링
로그 확인
오토스케일링

초보자 입장에서는 너무 어렵습니다.

KServe는 이런 복잡한 작업을 줄여줍니다.

사용자는 주로 이렇게 생각하면 됩니다.

어떤 모델을
어디에서 가져와서
어떤 런타임으로 실행하고
얼마나 자원을 줄지

이 정도를 설정하면 KServe가 뒤에서 많은 일을 처리해줍니다.

---

 

 

4. KServe의 핵심 구조는 InferenceService 🧩

KServe에서 가장 중요한 개념은 InferenceService입니다.

단어가 어렵지만 쉽게 말하면,

AI 모델 서빙을 정의하는 설정서

입니다.

즉, InferenceService에는 이런 정보가 들어갑니다.

서빙 이름
모델 형식
모델 저장 위치
런타임
CPU / Memory / GPU
Replica
Endpoint

예를 들면 이런 느낌입니다.

이름: cat-dog-model
모델 형식: ONNX
모델 위치: s3://models/cat-dog/v1/
자원: CPU 2개, Memory 8Gi, GPU 1개

KServe는 이 설정을 보고 실제로 모델 서버를 생성합니다.

InferenceService 생성
↓
모델 서버 Pod 생성
↓
모델 파일 로딩
↓
Endpoint 생성
↓
사용자가 API로 호출

KServe 문서에서는 InferenceService를 사용해 모델을 배포하며, modelFormat, storageUri, protocol 같은 설정을 통해 어떤 모델을 어떤 방식으로 서빙할지 정의합니다.

---

5. KServe를 사용하면 전체 흐름은 이렇게 된다 🔄

KServe를 사용하는 흐름은 어렵게 보면 복잡하지만, 쉽게 보면 다음과 같습니다.

1. 모델을 학습한다
2. 모델 파일을 저장소에 저장한다
3. KServe에 모델 위치와 형식을 알려준다
4. KServe가 모델 서버를 만든다
5. Endpoint 주소가 생긴다
6. 사용자가 Endpoint로 요청한다
7. 모델이 결과를 반환한다

그림처럼 보면 더 쉽습니다.

학습된 모델
↓
Object Storage / PVC / 모델 저장소
↓
KServe InferenceService
↓
모델 서버 실행
↓
Endpoint 생성
↓
사용자 요청
↓
예측 결과 응답

---

 

 

 

 

 

6. KServe에서 말하는 모델 형식이란? 📦

KServe는 여러 모델 형식을 지원합니다.

여기서 모델 형식은 쉽게 말하면,

AI 모델이 어떤 도구로 만들어졌고 어떤 파일 구조로 저장되어 있는지

를 의미합니다.

대표적으로 이런 형식들이 있습니다.

TensorFlow
PyTorch
ONNX
scikit-learn
XGBoost
Hugging Face
vLLM

이번 글에서는 질문에서 나온 5가지를 중심으로 보겠습니다.

TensorFlow
PyTorch
ONNX
scikit-learn
XGBoost

KServe는 예측 모델 서빙에서 TensorFlow, PyTorch, Scikit-Learn, XGBoost, ONNX 등 여러 프레임워크별 Serving Runtime을 제공하며, 생성형 AI 쪽에서는 Hugging Face, vLLM 같은 런타임도 다룹니다.

---

7. TensorFlow 모델이란? 🧠

TensorFlow는 Google 쪽에서 시작된 대표적인 AI/딥러닝 프레임워크입니다.

초보자용으로 쉽게 말하면,

AI 모델을 만들고 학습시키는 도구 중 하나

입니다.

TensorFlow로 만든 모델은 보통 이런 분야에서 많이 사용됩니다.

이미지 분류
음성 인식
추천 모델
딥러닝 모델
대규모 AI 학습

TensorFlow는 학습과 추론을 위한 대규모 머신러닝 시스템으로 설계되었고, CPU, GPU, TPU 같은 다양한 장치에서 실행될 수 있습니다.

---

TensorFlow 모델은 어떻게 서빙할까?

TensorFlow 모델은 보통 TensorFlow Serving이라는 런타임으로 서빙합니다.

쉽게 말하면,

TensorFlow 모델
↓
TensorFlow Serving
↓
KServe
↓
Endpoint

이런 흐름입니다.

TensorFlow Serving은 TensorFlow 모델을 실제 서비스 환경에서 제공하기 위한 전용 시스템으로, 모델 버전 관리와 고성능 추론을 지원하도록 설계되었습니다.

---

TensorFlow 모델은 언제 쓰면 좋을까?

TensorFlow 모델은 이런 경우에 많이 사용됩니다.

TensorFlow로 학습한 모델을 그대로 서빙하고 싶을 때
이미 TensorFlow 기반 학습 코드가 있을 때
이미지, 음성, 추천 모델을 운영할 때
TensorFlow Serving 환경이 준비되어 있을 때

초보자용으로 정리하면,

TensorFlow 모델은 TensorFlow로 만든 AI 모델이고, 보통 TensorFlow Serving으로 실행한다

고 보면 됩니다.

---

8. PyTorch 모델이란? 🔥

PyTorch는 AI 연구와 개발에서 많이 사용하는 딥러닝 프레임워크입니다.

초보자용으로 쉽게 말하면,

AI 모델을 비교적 자유롭게 만들고 실험하기 좋은 도구

입니다.

PyTorch는 연구자나 개발자들이 많이 사용합니다.

특히 다음 분야에서 자주 보입니다.

컴퓨터 비전
자연어 처리
LLM 연구
딥러닝 실험
Custom AI 모델 개발

---

PyTorch 모델은 어떻게 서빙할까?

PyTorch 모델은 여러 방식으로 서빙할 수 있습니다.

대표적으로는 다음과 같은 방식이 있습니다.

TorchServe 사용
Custom Runtime 사용
ONNX로 변환 후 ONNX Runtime 사용
Triton Inference Server 사용

KServe에서는 PyTorch 모델을 위한 Serving Runtime을 사용할 수 있고, 필요하면 사용자가 직접 Custom Predictor를 만들어 서빙할 수도 있습니다. KServe의 Custom Predictor는 preprocess, predict, postprocess처럼 입력 전처리, 예측, 후처리 단계를 직접 구성할 수 있습니다.

---

PyTorch 모델은 언제 쓰면 좋을까?

PyTorch 모델은 이런 경우에 많이 사용됩니다.

개발자가 PyTorch로 모델을 학습한 경우
모델 로직이 복잡하거나 커스텀이 많은 경우
연구용 모델을 서비스로 옮기는 경우
LLM이나 딥러닝 모델 실험이 많은 경우

초보자용으로 정리하면,

PyTorch 모델은 자유롭게 만들기 좋은 AI 모델이고, 서빙할 때는 런타임 선택이 중요하다

고 보면 됩니다.

---

9. ONNX 모델이란? 🔁

ONNX는 처음 들으면 어렵습니다.

쉽게 말하면,

여러 AI 도구에서 만든 모델을 공통으로 사용하기 위한 중간 형식

입니다.

예를 들어 PyTorch로 만든 모델이 있다고 해보겠습니다.

그런데 운영 환경에서는 PyTorch 그대로 쓰기보다 더 가볍고 빠르게 실행하고 싶을 수 있습니다.

이때 PyTorch 모델을 ONNX 형식으로 변환할 수 있습니다.

PyTorch 모델
↓
ONNX로 변환
↓
ONNX Runtime으로 실행

ONNX는 모델을 특정 프레임워크에 덜 묶이게 해주는 역할을 합니다.

---

ONNX를 식당으로 비유하면 🍱

각 나라별 레시피가 있다고 해보겠습니다.

한국어 레시피
영어 레시피
일본어 레시피

주방마다 읽을 수 있는 언어가 다르면 불편합니다.

그래서 공통 레시피 형식으로 바꾸면 여러 주방에서 쓰기 쉬워집니다.

ONNX는 AI 모델 세계에서 이런 공통 형식에 가깝습니다.

TensorFlow 모델
PyTorch 모델
scikit-learn 모델
↓
ONNX 변환
↓
ONNX Runtime에서 실행

---

ONNX 모델은 어떻게 서빙할까?

ONNX 모델은 보통 ONNX Runtime으로 실행합니다.

KServe에서는 ONNX 형식을 지원하는 런타임을 선택해서 서빙할 수 있습니다.

ONNX 모델
↓
ONNX Runtime
↓
KServe
↓
Endpoint

---

ONNX는 언제 쓰면 좋을까?

ONNX는 이런 경우에 많이 사용됩니다.

학습 프레임워크와 운영 환경을 분리하고 싶을 때
PyTorch 모델을 운영용으로 변환하고 싶을 때
여러 환경에서 같은 모델을 실행하고 싶을 때
성능 최적화나 경량화를 고려할 때

초보자용으로 정리하면,

ONNX는 여러 AI 모델을 공통 형식으로 바꿔서 운영하기 쉽게 만드는 포맷

이라고 보면 됩니다.

---

10. scikit-learn 모델이란? 📊

scikit-learn은 전통적인 머신러닝에서 많이 사용하는 Python 라이브러리입니다.

딥러닝보다는 비교적 가벼운 머신러닝 모델에 자주 사용됩니다.

예를 들면 이런 모델들입니다.

분류 모델
회귀 모델
군집화 모델
이상 탐지 모델
간단한 추천 모델

scikit-learn은 보통 표 형태의 데이터를 많이 다룹니다.

예를 들어 이런 데이터입니다.

나이소득접속 횟수이탈 여부

30	4000	15	아니오
45	7000	3	예

이런 데이터를 기반으로 예측하는 모델을 만들 때 많이 사용합니다.

---

scikit-learn 모델은 어떻게 서빙할까?

scikit-learn 모델은 보통 .pkl, .joblib 같은 형태로 저장하는 경우가 많습니다.

KServe에서는 scikit-learn 모델을 위한 서버 런타임을 사용할 수 있습니다.

scikit-learn 모델
↓
SKLearn Server 또는 MLServer 계열 런타임
↓
KServe
↓
Endpoint

KServe 문서에서도 scikit-learn 모델은 지원 모델 형식 중 하나이며, 자동 선택 가능한 ServingRuntime 설정을 통해 배포될 수 있습니다.

---

scikit-learn 모델은 언제 쓰면 좋을까?

scikit-learn 모델은 이런 경우에 좋습니다.

표 형태 데이터 기반 예측
비교적 작은 모델
CPU 기반 추론
빠른 개발과 테스트
간단한 분류/회귀 모델

예를 들면 다음과 같은 업무에 어울립니다.

고객 이탈 예측
장애 발생 가능성 예측
매출 예측
스팸 분류
이상 거래 탐지

초보자용으로 정리하면,

scikit-learn은 표 데이터 예측에 많이 쓰는 가벼운 머신러닝 모델 도구

입니다.

---

11. XGBoost 모델이란? 🌳

XGBoost는 머신러닝에서 많이 쓰이는 강력한 예측 모델입니다.

초보자용으로 쉽게 말하면,

여러 개의 작은 판단 나무를 모아서 강력한 예측을 하는 모델

입니다.

여기서 판단 나무는 이런 느낌입니다.

나이가 40세 이상인가?
소득이 일정 금액 이상인가?
최근 접속 횟수가 줄었는가?
결제 이력이 있는가?

이런 질문들을 여러 개 조합해서 예측합니다.

---

XGBoost는 어디에 많이 쓸까?

XGBoost는 표 형태 데이터에서 성능이 좋은 경우가 많습니다.

예를 들면 다음과 같습니다.

금융 리스크 예측
고객 이탈 예측
장애 가능성 예측
수요 예측
랭킹 모델
이상 탐지

딥러닝 모델처럼 이미지나 음성 자체를 직접 처리하기보다는, 정리된 숫자/범주형 데이터에 강한 편입니다.

---

XGBoost 모델은 어떻게 서빙할까?

XGBoost 모델도 KServe에서 지원할 수 있습니다.

흐름은 보통 이렇게 볼 수 있습니다.

XGBoost 모델
↓
XGBoost Server 또는 MLServer 계열 런타임
↓
KServe
↓
Endpoint

KServe는 XGBoost 역시 지원 프레임워크 목록에 포함하고 있으며, 프레임워크별 런타임을 통해 모델을 배포할 수 있습니다.

---

12. 모델 형식별 차이 한눈에 보기 📌

이제 주요 모델 형식을 한 번에 비교해보겠습니다.

모델 형식쉽게 말하면주로 쓰는 곳보통 필요한 자원서빙 방식

TensorFlow	딥러닝 모델 제작 도구	이미지, 음성, 추천	CPU/GPU	TensorFlow Serving
PyTorch	자유로운 딥러닝 개발 도구	연구, LLM, 비전	CPU/GPU	TorchServe, Custom, ONNX 변환
ONNX	공통 모델 포맷	운영 최적화, 호환성	CPU/GPU	ONNX Runtime
scikit-learn	전통 ML 도구	표 데이터 예측	주로 CPU	SKLearn/MLServer
XGBoost	강력한 트리 기반 ML	금융, 이탈, 수요 예측	주로 CPU	XGBoost/MLServer

초보자 입장에서 아주 단순하게 보면 이렇게 정리할 수 있습니다.

TensorFlow / PyTorch = 딥러닝 모델에 많이 사용
ONNX = 여러 모델을 공통 형식으로 바꿔 운영할 때 사용
scikit-learn / XGBoost = 표 데이터 기반 예측에 많이 사용

---

13. 어떤 모델 형식을 선택해야 할까? 🤔

처음부터 모델 형식을 자유롭게 선택하는 것은 쉽지 않습니다.

대부분은 개발자가 어떤 도구로 모델을 만들었는지에 따라 결정됩니다.

TensorFlow로 학습했다면

TensorFlow 모델
↓
TensorFlow Serving 또는 호환 런타임

PyTorch로 학습했다면

PyTorch 모델
↓
PyTorch 런타임
또는 ONNX로 변환
또는 Custom Runtime

scikit-learn으로 학습했다면

scikit-learn 모델
↓
SKLearn Server 또는 MLServer 계열

XGBoost로 학습했다면

XGBoost 모델
↓
XGBoost Server 또는 MLServer 계열

운영 최적화가 필요하다면

기존 모델
↓
ONNX로 변환
↓
ONNX Runtime으로 서빙

즉, 초보자는 이렇게 기억하면 됩니다.

모델을 어떤 도구로 만들었는지가 서빙 런타임 선택의 출발점입니다.

---

14. KServe에서 실제로 사용하는 기본 흐름 🛠️

KServe를 실제로 사용할 때는 보통 다음 순서로 갑니다.

1. 모델을 학습한다
2. 모델 파일을 저장한다
3. 모델 형식을 확인한다
4. 맞는 Serving Runtime을 선택한다
5. InferenceService를 만든다
6. KServe가 모델 서버를 띄운다
7. Endpoint로 테스트한다

초보자용으로 더 쉽게 바꾸면,

모델 만들기
↓
모델 저장하기
↓
모델 종류 확인하기
↓
실행 프로그램 고르기
↓
KServe로 서비스 만들기
↓
주소로 호출해보기

---

15. 아주 간단한 KServe 설정 예시

실제 KServe에서는 YAML이라는 설정 파일을 사용할 수 있습니다.

초보자에게 YAML은 조금 어렵지만, 모양만 보면 됩니다.

아래는 scikit-learn 모델을 서빙하는 예시 느낌입니다.

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: sklearn-model
spec:
  predictor:
    model:
      modelFormat:
        name: sklearn
      storageUri: s3://my-model-bucket/sklearn/model/

이 설정의 의미는 다음과 같습니다.

이름은 sklearn-model
모델 형식은 sklearn
모델 파일은 s3://my-model-bucket/sklearn/model/ 위치에 있음
KServe가 이 정보를 보고 모델 서버를 만든다

즉, KServe에게 이렇게 말하는 것입니다.

“이 위치에 있는 scikit-learn 모델을 가져와서 API 서비스로 만들어줘.”

KServe 문서에서도 첫 모델 배포 예시에서 InferenceService를 통해 모델 형식과 저장 위치를 지정하고 배포하는 방식을 안내합니다.

---

16. KServe가 자동으로 해주는 일 ⚙️

KServe는 사용자가 설정한 정보를 바탕으로 뒤에서 여러 일을 합니다.

모델 서버 Pod 생성
모델 파일 다운로드
모델 Runtime 실행
상태 체크
Endpoint 주소 생성
요청 라우팅
Replica 관리
자동 확장

즉, 사용자가 직접 모든 Kubernetes 리소스를 만들지 않아도 됩니다.

초보자 입장에서는 이렇게 이해하면 됩니다.

KServe는 AI 모델을 서비스로 띄우기 위한 복잡한 운영 작업을 대신 정리해주는 도구입니다.

---

17. KServe에서 Runtime은 왜 중요할까? 🧠

KServe에서 Runtime은 매우 중요합니다.

왜냐하면 모델마다 실행 방법이 다르기 때문입니다.

예를 들어,

TensorFlow 모델은 TensorFlow 방식으로 실행해야 하고
ONNX 모델은 ONNX Runtime으로 실행해야 하고
scikit-learn 모델은 scikit-learn을 이해하는 서버로 실행해야 한다

KServe의 ServingRuntime은 어떤 모델 형식을 지원하는지 supportedModelFormats로 정의할 수 있고, 해당 Runtime이 자동 선택 대상인지도 설정할 수 있습니다. 운영 환경에서는 runtimeVersion을 명시하는 것이 권장됩니다.

쉽게 말하면,

Runtime은 모델을 실제로 움직이게 하는 엔진이고, 모델 형식과 엔진이 맞아야 합니다.

---

18. KServe와 GPU는 어떤 관계일까? 🎮

KServe 자체가 GPU는 아닙니다.

KServe는 모델을 서빙해주는 시스템이고, GPU는 모델 계산을 빠르게 해주는 장비입니다.

즉,

KServe = 모델을 서비스로 띄우는 시스템
GPU = 모델 계산을 빠르게 해주는 하드웨어

KServe로 GPU가 필요한 모델을 배포할 때는 자원 설정에 GPU를 넣을 수 있습니다.

GPU 1개 사용
Memory 32Gi 사용
CPU 8개 사용

특히 다음 모델들은 GPU가 필요할 가능성이 큽니다.

대형 딥러닝 모델
LLM 챗봇 모델
이미지 생성 모델
음성 인식 모델
실시간 고성능 추론 모델

반대로 scikit-learn이나 XGBoost 같은 표 데이터 기반 모델은 CPU만으로도 충분한 경우가 많습니다.

---

19. KServe가 어려운 이유 😵

KServe가 어려운 이유는 KServe 자체 때문만은 아닙니다.

KServe 주변에 여러 개념이 함께 나오기 때문입니다.

Kubernetes
Pod
Service
Ingress
Runtime
Model Format
Storage
GPU
Endpoint
Autoscaling

처음부터 이걸 모두 이해하려고 하면 어렵습니다.

그래서 초보자는 순서를 이렇게 잡는 것이 좋습니다.

1. 모델이 무엇인지 이해
2. 서빙이 무엇인지 이해
3. KServe가 서빙 도구라는 것 이해
4. 모델 형식과 런타임의 관계 이해
5. Endpoint로 호출하는 흐름 이해
6. 상태 확인과 장애 원인 학습

---

20. 초보자가 자주 헷갈리는 부분 😅

헷갈림 1. KServe가 모델을 학습시켜주는 줄 안다

아닙니다.

KServe는 주로 학습된 모델을 서빙하는 도구입니다.

모델 학습 = Kubeflow Training, Notebook, 외부 학습 환경
모델 서빙 = KServe

즉, KServe는 모델을 만드는 도구라기보다는 모델을 서비스로 올리는 도구입니다.

---

헷갈림 2. 모델 형식과 런타임을 같은 것으로 생각한다

다릅니다.

모델 형식 = 모델 파일의 종류
런타임 = 그 모델 파일을 실행하는 프로그램

예를 들면,

ONNX = 모델 형식
ONNX Runtime = 실행 프로그램

또는,

TensorFlow SavedModel = 모델 형식
TensorFlow Serving = 실행 프로그램

---

헷갈림 3. ONNX가 새로운 AI 모델이라고 생각한다

ONNX는 모델을 만드는 도구라기보다는 공통 포맷에 가깝습니다.

PyTorch로 만든 모델
TensorFlow로 만든 모델
↓
ONNX로 변환
↓
여러 환경에서 실행

즉, ONNX는 운영과 호환성을 위해 사용하는 중간 형식이라고 보면 됩니다.

---

헷갈림 4. scikit-learn과 XGBoost도 딥러닝이라고 생각한다

보통 scikit-learn과 XGBoost는 딥러닝보다는 전통적인 머신러닝에 가깝습니다.

주로 표 형태 데이터를 다룹니다.

고객 정보
장비 상태값
로그 통계
사용량 데이터
금융 거래 데이터

이런 데이터를 기반으로 예측할 때 많이 사용합니다.

---

21. 실제 업무 기준으로 보면 이렇게 구분하면 쉽다 🏢

실무에서는 모델 형식을 이렇게 구분하면 이해하기 쉽습니다.

업무 상황어울리는 모델/형식

이미지 분류 모델	TensorFlow, PyTorch, ONNX
챗봇/LLM	PyTorch, Hugging Face, vLLM
장비 장애 예측	scikit-learn, XGBoost
고객 이탈 예측	scikit-learn, XGBoost
운영 최적화	ONNX
복잡한 전처리/후처리 필요	Custom Runtime
GPU 고성능 추론	PyTorch, TensorFlow, ONNX, Triton, vLLM

초보자 입장에서는 이렇게 기억하면 됩니다.

이미지/음성/LLM = 딥러닝 계열
표 데이터 예측 = scikit-learn, XGBoost 계열
운영 호환성/최적화 = ONNX

---

22. KServe를 배우는 순서 추천 📚

KServe를 처음 배울 때는 아래 순서로 가면 좋습니다.

1. KServe는 서빙 도구라는 것 이해
2. InferenceService 개념 이해
3. 모델 형식과 Runtime 관계 이해
4. 모델 저장 위치 이해
5. Endpoint 호출 이해
6. CPU, Memory, GPU 설정 이해
7. Ready / Failed / Pending 상태 확인
8. 로그와 이벤트 확인

처음부터 YAML, CRD, Istio, Knative, Gateway 같은 단어를 깊게 들어가면 너무 어렵습니다.

우선은 큰 그림이 먼저입니다.

---

23. 4단계 핵심 요약 ✅

이번 단계에서는 이것만 기억하면 됩니다.

KServe는 학습된 AI 모델을 API 서비스로 배포하는 도구다.
KServe는 Kubernetes 위에서 동작한다.
InferenceService는 KServe에서 모델 서빙을 정의하는 설정서다.
모델 형식은 모델 파일의 종류다.
런타임은 모델을 실행하는 프로그램이다.
모델 형식과 런타임은 서로 맞아야 한다.
Endpoint는 사용자가 모델을 호출하는 주소다.

모델 형식은 이렇게 기억하면 쉽습니다.

TensorFlow = 딥러닝 모델 도구
PyTorch = 자유로운 딥러닝 개발 도구
ONNX = 여러 모델을 공통으로 쓰기 위한 형식
scikit-learn = 표 데이터 예측용 머신러닝 도구
XGBoost = 표 데이터 예측에 강한 트리 기반 머신러닝 모델

그리고 KServe의 전체 흐름은 이렇게 정리할 수 있습니다.

학습된 모델
↓
모델 저장소
↓
KServe InferenceService
↓
Serving Runtime
↓
Endpoint
↓
사용자 요청
↓
예측 결과

---

마무리 🌱

KServe는 처음에는 어렵게 느껴질 수 있습니다.

하지만 핵심은 단순합니다.

KServe는 학습이 끝난 AI 모델을 실제 서비스로 사용할 수 있게 만들어주는 도구입니다.

여기서 가장 중요한 것은 모델 형식과 런타임의 관계입니다.

모델이 TensorFlow인지, PyTorch인지, ONNX인지, scikit-learn인지, XGBoost인지에 따라 실행 방식이 달라집니다.

초보자는 이렇게만 기억하면 됩니다.

모델 형식은 “어떤 종류의 모델 파일인가?”
런타임은 “그 모델을 실행하는 프로그램은 무엇인가?”
KServe는 “그 모델을 API 서비스로 만들어주는 시스템”입니다.

이제 4단계까지 이해했다면, AI 서빙이 단순히 “모델을 올리는 것”이 아니라
모델 형식, 실행 환경, 자원, API 연결까지 포함하는 운영 구조라는 점이 조금씩 보이기 시작할 것입니다. 🚀