Kubernetes 배포 전략 : 온프레미스 vs EKS vs AKS

1. 서론

Kubernetes는 현대 애플리케이션 배포와 운영의 표준이다.
그러나 실제 운영 환경은 크게 세 가지로 나뉜다.

• 온프레미스 Bare-metal
• Amazon EKS
• Azure AKS

이 선택은 단순 비용만이 아니라 네트워킹, 스토리지, pod 밀도, 오토스케일링 전략까지 모두 달라진다.
이번 글에서는 각 환경의 특성과 운영 전략, 그리고 HPA/CA/Karpenter까지 포함한 오토스케일링 체계를 정리한다.

2. 온프레미스 Kubernetes (Bare-metal)

특징

• 물리 서버에 직접 Kubernetes 설치.
• CPU, 메모리, 디스크, 네트워크까지 전면 제어.

운영 전략

• 데이터베이스 및 메시징 계층: MySQL, PostgreSQL, MongoDB, Kafka는 Bare-metal 전용 서버 또는 클러스터로 분리하는 것이 안정적이다.
• 로그 및 검색 계층: Kubernetes 내부 배포 가능하나 전용 노드로 격리 권장.
• 모니터링 도구: 일반적으로 pod로 배포하지만, 온프레미스에서는 Kubernetes 자체도 모니터링해야 하므로 클러스터 외부 Bare-metal 서버에 설치하는 구성이 더 안정적.

장점

• 최고 성능 확보.
• 데이터 보안 및 주권 보장.
• 커스텀 최적화 가능.

단점

• 장애 대응과 업그레이드 부담.
• 초기 장비 투자비용이 크다.
• 물리 자원 확장이 느리다.

3. Amazon EKS

특징

• Control Plane은 AWS가 관리.
• 워커 노드는 EC2 또는 Fargate.
• IAM, S3, RDS, CloudWatch 등과 긴밀히 연동.

운영 포인트

1. 네트워킹과 pod 밀도
   • AWS VPC CNI는 pod IP를 VPC 서브넷에서 직접 할당한다.
   • 인스턴스 타입과 ENI 개수에 따라 노드당 pod 수가 제한된다.
   • prefix delegation, 세컨더리 CIDR로 확장 가능.
2. 스토리지
   • EBS는 AZ 종속.
   • EFS, FSx로 다중 AZ 지원 가능.
   • 고성능 DB는 Aurora, RDS 같은 매니지드 서비스 활용이 일반적이다.
3. 네트워크 서비스
   • Service Type=LoadBalancer 사용 시 NLB/ALB 자동 생성.
   • 멀티 테넌트 환경에서는 SG와 네트워크 정책 관리가 중요하다.
4. 비용 구조
   • Control Plane 비용: 약 $0.10/시간.
   • 워커 노드 비용: EC2/Fargate 과금.

4. Azure AKS

특징

• Control Plane은 Free, Standard, Premium 관리 티어로 제공.
• Azure AD, Azure Monitor, DevOps와 통합 강점.
• Windows 컨테이너 지원에 유리.

네트워킹 모드와 pod 밀도

• Azure CNI: pod가 VNet IP를 직접 사용. 기본 30~110, 최대 250까지 설정 가능. 대규모 시 서브넷 IP 고갈 문제 발생.
• Kubenet: pod는 오버레이 주소를 사용. 기본 110, 최대 250까지 가능.
• Azure CNI Overlay: pod에 별도 오버레이 주소를 부여, VNet IP 고갈 문제를 해결. 대규모 클러스터에 적합.

스토리지

• Azure Disk: 고성능 블록 스토리지, AZ 종속.
• Azure Files: 공유 파일 스토리지, 성능 한계 존재.
• 매니지드 DB(Azure Database for MySQL/Postgres) 활용 권장.

네트워크 서비스

• VNet과 통합.
• NSG 및 방화벽 정책 병행 관리 필요.

비용 구조

• Free 티어는 Control Plane 무과금.
• Standard, Premium은 SLA와 장기 지원 포함.
• 노드 비용은 VM 사용량만큼 과금.

5. 오토스케일링: HPA, CA, Karpenter

HPA (Horizontal Pod Autoscaler)

• CPU, 메모리, 사용자 정의 메트릭을 기반으로 pod 수를 자동 증감한다.
• 예: 트래픽 증가 시 pod 수 증가.

CA (Cluster Autoscaler)

• 스케줄 불가능한 pod가 발생하면 노드를 자동으로 증설한다.
• 클라우드 환경에서는 VM이 자동 생성되고, 유휴 노드는 축소된다.
• 온프레미스에서는 물리 서버 자동 확장이 어렵기 때문에 한계가 있다.

Karpenter

• AWS에서 제공하는 차세대 오토스케일링 도구.
• CA처럼 노드풀 기반이 아니라, 대기 pod 요구사항에 맞춰 최적의 인스턴스를 바로 선택·생성한다.
• 온디맨드/스팟 혼합, GPU 노드 자동 선택 등으로 비용 최적화 가능.
• 현재는 AWS 환경 전용.

6. DB·미들웨어·모니터링 배치 전략

7. 비용 관점

• 온프레미스
  • 초기 서버·스토리지 구매 비용이 크다.
  • 장기적으로는 매달 비용이 낮다.
• EKS
  • Control Plane 비용이 추가된다.
  • EC2/Fargate 사용량이 매달 변동된다.
• AKS
  • Free 티어는 Control Plane 무과금.
  • VM 비용만 과금된다.

8. 선택 가이드

• 온프레미스: 고성능 DB, Kafka, 데이터 보안 및 주권이 중요한 환경.
• EKS: AWS 서비스를 적극적으로 활용하고 글로벌 확장이 필요한 환경.
• AKS: Microsoft 기술 스택을 중심으로 운영하는 조직, 비용 효율을 중시하는 환경.

9. 결론

온프레미스, EKS, AKS는 모두 Kubernetes지만 운영 전략은 전혀 다르다.

• 온프레미스는 성능과 제어권.
• EKS는 AWS 통합과 확장성.
• AKS는 네트워킹 모드 선택과 비용 효율.

여기에 HPA, CA, Karpenter 같은 오토스케일링 체계를 결합하면, 상황에 맞는 최적의 운영 모델을 설계할 수 있다.

개인적인 의견으로는 온프레미스의 k8s 구축 및 운영은 끝판왕이다.
자유도가 높은 만큼 수많은 이벤트의 향연속에 이슈가 난무한다
엔지니어에게는 힘든 도전이지만 성장에 있어서는 엄청난 도움이 된다.
EKS나 AKS 환경에서만 일해온 엔지니어에 비해,
온프레미스에서 다년간 경험을 쌓아온 엔지니어는 Kubernetes에 대한 이해도와
숙련도에서 확실히 남다른 강점을 가진다고 본다