반응형 J-H-T11 🚀 OpenSearch 실무 용량 설계 입문 Primary Shard · Replica · Node를 몇 개로 잡아야 할까?앞 단계에서 구조를 이렇게 배웠습니다.Document ↓Index ↓Primary Shard ↓OpenSearch Node ↓Replica Shard이제 실무에서 가장 중요한 질문으로 넘어갑니다.“그래서 Primary Shard는 몇 개 만들고, Replica는 몇 개 두고, Node는 몇 대가 필요한가?”여기부터가 실제 OpenSearch 용량 산정과 아키텍처 설계입니다.OpenSearch 공식 문서도 일반적인 시작점으로 Shard 하나를 약 10~50GB 범위로 유지하는 것을 제시하며, Shard를 무조건 많이 만드는 것은 오히려 Cluster에 부담을 준다고 설명합니다. (OpenSearch Document.. 2026. 8. 9. [🔍 OpenSearch 내부 구조 쉽게 이해하기] Index → Document → Shard → Replica → Node 이번에는 OpenSearch 내부 구조를 “로그 한 건이 들어와서 실제로 어디에 저장되는지” 기준으로 아주 쉽게 연결해서 설명해볼게요. 😊🔍 OpenSearch 내부 구조 쉽게 이해하기Index → Document → Shard → Replica → Node먼저 전체 관계부터 보면 이렇습니다.OpenSearch Cluster│├─ Node 1│ ├─ Primary Shard 0│ └─ Replica Shard 1│├─ Node 2│ ├─ Primary Shard 1│ └─ Replica Shard 2│└─ Node 3 ├─ Primary Shard 2 └─ Replica Shard 0그리고 그 Shard 내부에 실제 Document들이 저장됩니다.즉 핵심 관계는:Index ↓.. 2026. 8. 9. [🔍 OpenSearch란 무엇일까?] Fluent Bit · Logstash까지 이해하기! 서버나 Kubernetes를 운영하다 보면 이런 용어를 자주 만나게 됩니다.OpenSearchFluent BitLogstashOpenSearch Dashboards로그 파싱로그 수집처음 보면 각각 무엇을 하는지 헷갈릴 수 있습니다. 😵하지만 전체 흐름부터 보면 생각보다 간단합니다.서버 / Kubernetes Pod ↓Fluent Bit / Logstash ↓ OpenSearch ↓OpenSearch Dashboards ↓ 관리자 👨💻쉽게 말하면,Fluent Bit / Logstash가 로그를 모아서 정리하고 → OpenSearch에 저장하면 → 관리자가 검색하고 분석하는 구조입니다.1️⃣ OpenSearch가 뭐야? 🔍OpenSear.. 2026. 8. 9. [🔍 데이터 파싱(Parsing)이란] 들어온 데이터를 읽고, 구조를 분석해서 필요한 데이터로 나누는 작업! 업무를 하다 보면 Parsing(파싱)이라는 말을 정말 자주 듣게 됩니다.로그를 파싱한다.JSON 데이터를 파싱한다.API 응답값을 파싱한다.YAML 파일을 파싱한다.CSV 데이터를 파싱해서 DB에 넣는다.처음 들으면 굉장히 어려운 기술처럼 느껴지지만, 개념 자체는 생각보다 간단합니다. 😊📌 1. Parsing이란?Parsing(파싱)은 쉽게 말하면,👉 들어온 데이터를 읽고, 구조를 분석해서 필요한 데이터로 나누는 작업입니다.예를 들어 다음과 같은 데이터가 있다고 해보겠습니다.name=kim,age=30,job=engineer사람이 보면 바로 이해할 수 있습니다.이름 = kim나이 = 30직업 = engineer컴퓨터 프로그램도 이 데이터를 항목별로 분리해서 사용할 수 있어야 합니다.이 과정을 Pa.. 2026. 8. 7. [Bitbucket] Git 소스코드 저장소 + 협업 + 배포 자동화 기능을 제공하는 서비스 Bitbucket(비트버킷)은 아주 쉽게 말하면 개발 소스코드를 저장하고, 버전을 관리하고, 여러 사람이 같이 작업하는 공간입니다. 개발팀에서는 흔히 Git 저장소 서버라고 보면 됩니다. 🙂🔹 한 줄로 설명하면Bitbucket = Git 소스코드 저장소 + 협업 + 배포 자동화 기능을 제공하는 서비스비슷한 서비스로는 GitHub, GitLab이 있습니다.예를 들어 개발자가 아래 파일들을 관리한다고 해보겠습니다.DockerfileKubernetes YAMLHelm ChartPython 소스Java 소스TerraformAnsible배포 Script이 파일들을 개인 PC에만 보관하면 문제가 생길 수 있습니다.개발자 A PC ↓app.py 수정개발자 B PC ↓app.py 수정누가 최신 파일이지? ?.. 2026. 8. 6. [Harbor - 3.7단계] Ingress Controller → Harbor Service 연동 구성 - Harbor Native Replication 학습 시리즈 Ingress Controller가 Harbor Service를 “어떻게 찾아서 전달하는지”를 이해하면 전체 구조가 완성됩니다.📘 3.7단계 - Ingress Controller → Harbor Service 연동 구조핵심부터 말하면:Ingress Controller는 Ingress 리소스의 규칙을 보고, 해당 Host/Path 요청을 지정된 Harbor Service로 전달합니다.즉 연결 고리는 이겁니다.Ingress Resource ↓Host / Path 규칙 ↓Harbor Service ↓Harbor Pod1. 먼저 전체 흐름사용자가 접속합니다.https://harbor-prod.company.com흐름은:사용자 ↓DNS ↓F5 VIP ↓Ingress C.. 2026. 8. 4. [Harbor - 3단계] Push Replication vs Pull Replication 쉽게 이해하기 - Harbor Native Replication 학습 시리즈 이제 3단계 — Push Replication vs Pull Replication으로 넘어가겠습니다.이번 단계에서는 특히 운영센터 ↔ DR센터, 방화벽, 443 포트, 누가 접속을 시작하는지 중심으로 이해하면 됩니다.📘 Harbor Native Replication 3단계Push vs Pull + 방화벽/네트워크 관점Harbor 공식 문서 기준으로 Replication Rule을 만들 때 Push-based 또는 Pull-based를 선택할 수 있습니다. Push는 원격 Registry로 보내는 방식이고, Pull은 원격 Registry에서 가져오는 방식입니다.1. 가장 중요한 차이 한 줄먼저 이것부터 기억하면 됩니다.Push= Source가 Destination으로 접속한다.Pull= Destinat.. 2026. 8. 3. [Harbor - 2단계] Source / Destination / Endpoint / Replication Rule 쉽게 이해하기 - Harbor Native Replication 학습 시리즈 📘 Harbor Native Replication 2단계Source / Destination / Endpoint / Replication Rule 쉽게 이해하기이제부터는 Harbor Replication의 실제 설정 구조로 들어가면 됩니다.이번 단계의 핵심은 딱 4개입니다.SourceDestinationEndpointReplication Rule 이 네 가지 관계만 정확히 이해하면 Harbor Replication 화면을 봐도 훨씬 덜 어렵습니다.1. 전체 그림부터 보겠습니다운영 Harbor의 이미지를 DR Harbor로 복제한다고 가정하겠습니다.[운영센터]Harbor Aharbor-prod.company.com │ │ Replication ↓Harbor Bharb.. 2026. 8. 3. [Harbor - 1.5단계] Kubernetes 안의 Harbor Pod 구조 이해하기 - Harbor Native Replication 학습 시리즈 이번에는 1.5단계 — Kubernetes에 Harbor를 설치하면 어떤 Pod들이 생기고, 각각 무슨 역할을 하는지를 설명하겠습니다. 😊📘 Harbor 학습 1.5단계Kubernetes 안의 Harbor Pod 구조 이해하기먼저 가장 중요한 것부터 보겠습니다.Harbor는 하나의 Pod로 동작하는 프로그램이 아닙니다.Kubernetes에 Harbor를 설치하면 Harbor라는 하나의 서비스를 만들기 위해 여러 Pod가 역할을 나눠서 동작합니다.대략 이렇게 생각하면 됩니다. 사용자 / Kubernetes / CI-CD │ ↓ harbor.company.com .. 2026. 8. 3. [Harbor - 1단계] Native Replication이란? - Harbor Native Replication 학습 시리즈 현재 Harbor 공식 문서 기준으로 보면 Replication은 Harbor ↔ Harbor, 또는 Harbor ↔ 다른 Registry 사이에 OCI Artifact/Container Image 등을 복제하는 기능입니다. Push 방식과 Pull 방식 모두 지원합니다.📘 Harbor Native Replication 학습 시리즈앞으로 아래 순서로 가면 이해하기 쉽습니다.1단계 — Harbor Replication이 무엇인가? ← 오늘2단계 — Source / Destination / Endpoint / Rule 이해3단계 — Push Replication과 Pull Replication 차이4단계 — Harbor A → Harbor B 실제 설정5단계 — Manual / Scheduled / Eve.. 2026. 8. 2. Kafka를 통한 MongoDB 데이터 스트리밍 싱크 구성 가이드 !! 1. 결론부터 말씀드리면Kafka에 들어온 데이터를 MongoDB로 실시간에 가깝게 저장하는 구성은 가능합니다.일반적으로 다음과 같이 구성합니다.```mermaidflowchart LR A["업무 시스템"] --> B["Kafka Topic"] B --> C["Kafka Connect"] C --> D["MongoDB Sink Connector"] D --> E["MongoDB Primary"] E --> F["MongoDB Secondary 1"] E --> G["MongoDB Secondary 2"]```여기서 매우 중요한 부분은 다음입니다.Kafka가 MongoDB Pod 3개에 각각 데이터를 넣는 것이 아닙니다.Kafka Sink Connector는 MongoDB .. 2026. 8. 2. 이전 1 다음 반응형
