NVIDIA GPU Operator로 GPU 모니터링 PoC 구축하기

eclipse 25.05.07

4,179 5 2

facebook twitter kakao link

5 2

facebook twitter kakao link

DEVOTEE 요약: AWS GPU 스팟 인스턴스(g4dn, g5, g6)를 기반으로 Kubernetes(EKS) 환경을 구성하고 NVIDIA GPU Operator를 사용해 GPU 자원을 모니터링 및 관리하는 방법을 소개합니다. 이를 통해 GPU 성능 데이터를 Prometheus와 Grafana로 시각화하여 실시간 분석이 가능하며, 클라우드뿐만 아니라 온프레미스 환경에서도 GPU 자원의 최적화와 비용 효율적 운영을 실현할 수 있습니다. 본 과정은 비용 절감(최대 70~80%)과 안정적인 GPU 활용을 목표로 kubeconfig 설정, Helm 설치, 그리고 대시보드 활용까지 단계별로 안내합니다.

DEVOTEE 추천 블로그

GPU를 활용한 클라우드 환경에서는 비용 효율적이고 안정적인 운영을 위해 GPU 자원의 성능 지표(Metric)를 정확하게 수집하고 분석할 수 있는 모니터링 시스템 구축이 필수적입니다.

특히 GPU 인스턴스는 높은 성능만큼 비용도 상대적으로 높아 효율적인 자원 관리와 비용 최적화가 매우 중요합니다.

본 글에서는 이러한 과제를 해결하기 위해 AWS의 GPU 스팟(Spot) 인스턴스(g4dn, g5, g6)를 기반으로 Kubernetes(EKS) NodeGroup을 구성하고,

NVIDIA GPU Operator를 통해 GPU 자원을 모니터링하는 PoC(Proof of Concept) 환경을 구축하는 방법을 소개합니다.

스팟 인스턴스는 온디맨드 인스턴스 대비 약 70~80%까지 비용을 절감할 수 있지만,

모든 리전 및 가용영역(AZ)에서 사용할 수 있는 것은 아니므로, 사전에 각 인스턴스 타입의 비용과 가용성을 확인하는 것이 중요합니다.

본 가이드에서는 다음과 같은 작업을 진행하겠습니다.

AWS에서 GPU 스팟 인스턴스를 이용한 EKS 클러스터 및 NodeGroup 구성
NVIDIA GPU Operator 설치 및 설정을 통한 GPU 자원 인식 및 관리
Prometheus와 Grafana 설치를 통한 GPU 성능 지표 수집 및 시각화

이 글을 통해 GPU 기반 클라우드 자원의 효율적인 관리 방안을 확인하고, 비용 효율성을 높이는 실질적인 방법을 익힐 수 있습니다.

AWS에서 GPU 스팟 인스턴스를 이용한 EKS 클러스터 및 NodeGroup 구성

eksctl 이용한 간편하게 K8s 클러스터 구성하기

K8s 클러스터를 생성하기 위해 필수적인 정보를 입력한 cluster.yaml 파일을 생성합니다.

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
 
metadata:
  name: ai-dc
  region: ap-northeast-2
  version: "1.31"
vpc:
  cidr: 10.10.0.0/16
  clusterEndpoints:
    publicAccess: true
    privateAccess: true
 
nodeGroups:
  - name: spot-nodegroup
    minSize: 1
    desiredCapacity: 1
    maxSize: 3
    instancesDistribution:
      maxPrice: 0.3
      instanceTypes: ["t3.xlarge", "t3.large"] # At least two instance types should be specified
      onDemandBaseCapacity: 0
      onDemandPercentageAboveBaseCapacity: 0
      spotAllocationStrategy: "capacity-optimized-prioritized"
    volumeSize: 100
    volumeType: gp3
    volumeDeleteOnTermination: true
    iam:
      withAddonPolicies:
        ebs: true
  - name: spot-gpu-nodegroup
    minSize: 1
    desiredCapacity: 3
    maxSize: 3
    instancesDistribution:
      maxPrice: 1.1
      instanceTypes: ["g4dn.xlarge", "g4dn.2xlarge"] # At least two instance types should be specified
      onDemandBaseCapacity: 0
      onDemandPercentageAboveBaseCapacity: 0
      spotAllocationStrategy: "capacity-optimized-prioritized"
    volumeSize: 100
    volumeType: gp3
    volumeDeleteOnTermination: true
    iam:
      withAddonPolicies:
        ebs: true
addons:
  - name: aws-ebs-csi-driver
    version: latest
    wellKnownPolicies:
      ebsCSIController: true

eksctl 명령어를 이용하여 K8s 클러스터를 생성합니다.

$ eksctl create cluster -f cluster.yaml

성공적으로 구성이 완료되었다면, 다음 명령어를 통해 kubeconfig를 업데이트하고 노드를 조회합니다.

$ eksctl get cluster --region ap-northeast-2
NAME    REGION      EKSCTL CREATED
ai-dc   ap-northeast-2  True
 
$ aws eks --region ap-northeast-2 update-kubeconfig --name <<< MY-CLUSTER-NAME >>
Added new context arn:aws:eks:ap-northeast-2:0193123123:cluster/ai-dc to /Users/eclipse/.kube/config
 
$ kubectl get node -o wide
NAME                                             STATUS   ROLES    AGE     VERSION               INTERNAL-IP   EXTERNAL-IP   OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
ip-10-10-30-34.ap-northeast-2.compute.internal   Ready    <none>   3m34s   v1.31.9-eks-5d632ec   10.10.30.34   3.36.51.87    Amazon Linux 2   5.10.233-224.894.amzn2.x86_64   containerd://1.7.25

NVIDIA GPU Operator 설치 및 설정을 통한 GPU 자원 인식 및 관리

GPU Operator 소개

NVIDIA GPU Operator는 Kubernetes 환경에서 GPU 자원을 효율적으로 관리할 수 있도록 지원하는 오픈소스 솔루션입니다.

GPU Operator는 NVIDIA 드라이버 설치부터, GPU 자원 할당 및 관리, 성능 모니터링까지의 전체 과정을 자동화합니다.

이를 통해 GPU 기반 워크로드의 배포와 관리가 쉬워지고, 운영 효율성을 높일 수 있습니다.

GPU Operator의 주요 기능

NVIDIA GPU 드라이버의 자동 설치 및 관리
NVIDIA CUDA Toolkit 및 관련 라이브러리 제공
GPU 자원 상태 모니터링 및 성능 지표 수집
Kubernetes 클러스터 환경에서 GPU 자원 활용 최적화 지원

GPU Operator 설치

GPU Operator는 Helm을 사용하여 Kubernetes 클러스터에 쉽게 설치할 수 있습니다. 아래와 같은 순서로 진행합니다:

NVIDIA GPU Operator 저장소 추가

$ helm repo add nvidia https://nvidia.github.io/gpu-operator
$ helm repo update

GPU Operator 설치

// 필요시 values.yaml 수정
$ helm show values gpu-operator nvidia/gpu-operator > values.yaml

$ helm upgrade --install gpu-operator --create-namespace -n gpu-operator nvidia/gpu-operator --values values.yaml \
  --set driver.enabled=true

설치 확인

모든 Pod가 정상적으로 실행되고 있으면 설치가 성공적으로 완료된 것입니다.

$ kubectl get pods -n gpu-operator
$ kubectl get nodes -o json | jq '.items[].status.allocatable'

Prometheus와 Grafana 설치를 통한 GPU 성능 지표 수집 및 시각화

Prometheus는 Kubernetes 환경에서 메트릭을 수집하고 저장하는 대표적인 모니터링 시스템입니다.

Grafana는 수집된 메트릭을 시각화하여 분석할 수 있게 지원합니다.

본 글에서는 Prometheus와 Grafana를 Helm을 사용하여 설치하는 방법을 안내합니다.

Prometheus/Grafana 설치

$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm repo add kube-state-metrics https://kubernetes.github.io/kube-state-metrics
$ helm repo update

$ helm upgrade --install prometheus --create-namespace -n devops-prometheus prometheus-community/kube-prometheus-stack \
   --set persistence.storageClassName="gp3" \
   --set persistence.enabled=true \
   --set persistence.size=40Gi \
   --set prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues=false \
   --set grafana.ini.server.root_url="https://<<< grafana.YOUR_DOMAIN >>>" \
   --set grafana.persistence.storageClassName="gp3" \
   --set grafana.persistence.enabled=true \
   --set grafana.persistence.size=20Gi \
   --set nodeSelector.failure-domain.beta.kubernetes.io/zone="ap-northeast-2a"

Prometheus와 Grafana의 설치 확인

$ kubectl get all -n devops-prometheus

Prometheus Web 확인

브라우저에서 http://localhost:9090 으로 접속할 수 있습니다.

$ kubectl port-forward svc/prometheus-kube-prometheus-prometheus -n devops-prometheus 9090:9090

DCGM 메트릭을 입력하여 정상적으로 조회되는지 확인합니다.

Grafana 대시보드 설정

Prometheus 로 수집된 메트릭을 시각적으로 확인하기 위해서 Grafana 대시보드를 사용합니다.

초기 패스워드 확인

$ kubectl get secret -n devops-prometheus prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo
prom-operator

메트릭에 따라 사전에 정의된 대시보드가 있으며 Grafana 공식사이트에서 조회 후 대시보드 ID를 복사하여 사용하거나, 기존에 사용하는 대시보드를 json 파일로 등록할 수 있습니다.

공식 사이트 접속하기

https://grafana.com/grafana/dashboards/

대시보드 ID를 클립보드에 복사합니다.

Grafana > Dashboard > Import

배포한 Grafana에 접속하여 복사한 대시보드 ID를 로드합니다.

대시보드 확인

Grafana에서 NVIDIA DCGM Exporter Dashboard를 가져오면 GPU 사용률, 전력 소비량, 메모리 사용량 등을 시각화할 수 있습니다.

값이 조회되지 않는 경우에는 편집 모드로 변경 후 Metrics browser의 메트릭 값을 복사하여 Prometheus 콘솔에서 조회되는지 확인합니다.

마무리

이제 AWS GPU 인스턴스 환경에서 NVIDIA GPU Operator를 활용하여 GPU 자원 모니터링이 가능합니다.

Kubernetes 환경에 구축된 Prometheus와 Grafana를 통해 GPU 성능 데이터를 실시간으로 수집하고 분석할 수 있습니다.

본 글에서 구축한 환경은 클라우드뿐만 아니라 On-Premise 환경에서도 활용 가능하며, 이를 통해 GPU 자원의 최적화와 운영 비용의 효율적 관리가 가능합니다.

Reference

#Prometheus #Kubernetes #Kubeflow #Docker #Amazon Web Service

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

eclipse 님의 최신 블로그

Cursor AI를 활용하여 Frontend 손쉽게 개발하기

지난 시간에는 Cursor AI를 활용해 Backend API를 만드는 과정을 확인하였습니다. 이번 글에서는 앞에서 만든 Backend API를 이용해 Vue.js 기반 Portal 화면을 손쉽게 개발하는 방법을 보여드리겠습니다. 기본 형태 만들기 먼저 Vue.js 프로젝트를 생성합니다. 이 단계에서 기본 라우터와 페이지 골격을 구성합니다. Portal 화면이 단순한 정적 페이지에 머물지 않으려면 Backend API와 연결해야 합니다. Cursor에게 Backend API 엔드포인트와 응답 스키마를 알려주면, 자동으로 API 호출 코드와 Axio 클라이언트를 생성해줍니다. frontend 폴더에 Vue3 기반의 포털 화면을 생성해줘. AWS EC2 인스턴스 목록...
Cursor AI를 활용하여 Backend API 손쉽게 개발하기

Backend 개발은 서비스의 성능과 안정성을 결정하는 중요한 요소입니다. 최근 인공지능 기술이 발전하면서 개발자의 생산성을 획기적으로 높일 수 있는 도구가 많이 등장하고 있는데요, 그 중에서도 Cursor AI를 활용한 효율적인 Backend-API 개발 방법을 소개하겠습니다. 1. Cursor AI 소개 Cursor AI는 개발자의 생산성을 높여주는 AI 기반의 코드 작성 도구입니다. Claude, GPT, Gemini 등 다양한 모델을 기반으로 하며, 코드 생성, 디버깅, 코드 최적화 등의 기능을 제공하여 반복적이고 지루한 개발 업무를 크게 줄여줍니다. 2. Backend API 개발에서의 Cursor AI 활용법 Step 1: Cursor AI를 이용한 A...
NVIDIA GPU Operator로 GPU 모니터링 PoC 구축하기

GPU를 활용한 클라우드 환경에서는 비용 효율적이고 안정적인 운영을 위해 GPU 자원의 성능 지표(Metric)를 정확하게 수집하고 분석할 수 있는 모니터링 시스템 구축이 필수적입니다. 특히 GPU 인스턴스는 높은 성능만큼 비용도 상대적으로 높아 효율적인 자원 관리와 비용 최적화가 매우 중요합니다. 본 글에서는 이러한 과제를 해결하기 위해 AWS의 GPU 스팟(Spot) 인스턴스(g4dn, g5, g6)를 기반으로 Kubernetes(EKS) NodeGroup을 구성하고, NVIDIA GPU Operator를 통해 GPU 자원을 모니터링하는 PoC(Proof of Concept) 환경을 구축하는 방법을 소개합니다. 스팟 인스턴스는 온디맨드 인스턴스 대비 약 70~...
Keycloak 활용한 SSO 구현 : #5 SSO 연동 테스트: Keycloak과 애플리케이션의 완벽한 통합

SSO 연동 테스트: Keycloak과 애플리케이션의 완벽한 통합 이번 글에서는 이전에 구성한 샘플 애플리케이션에 Single Sign Out을 구성해보고, 사전에 구축한 Keycloak을 활용하여 ArgoCD와 연동하는 방법을 안내드리겠습니다. ［연재순서］ eksctl로 손쉽게 시작하는 Kubernetes 클러스터 및 노드그룹 생성 방법 완벽한 HTTPS 보안: Ingress 컨트롤러와 Let＇s Encrypt으로 무료 인증서 설정하기 Keycloak 설치부터 설정까지: SSO를 위한 첫걸음 SSO 연동 샘플 애플리케이션 구성하기: 실전 가이드 SSO 연동 테스트: Keycloak과 애플리케이션의 완벽한 통합 ArgoCD 설치하기 ArgoCD는 Kubernete...

DEVOTEE 추천 블로그

VPC CNI의 netpol 기능 활성화

개요 VPC CNI에서 쿠버네티스 netpol을 사용할 수 있도록 설정하는 가이드입니다. EKS 클러스터 관리자를 대상으로 작성된 페이지입니다. 배경지식 VPC CNI 기존에 EKS에서 Kubernetes NetworkPolicynetpol을 사용하려면 반드시 Calico CNI + Tigera Operator를 별도로 설치해서 운영해야 했습니다. 하지만 2023년 8월 29일에 출시된 VPC CNI v1.14.0 버전 이상부터는 Calico 등의 별도 CNI 설치 없이도 network policy를 지원합니다. netpol 사용을 위해 설치했던 Calico를 VPC CNI로 대체하면 크게 2가지 기대효과가 있습니다. 비용 절감 : netpol 제공자를 VPC C...
External Cloud Provider 사용하여 Kubernetes와 AWS 인프라 연동하기

이 글은 EKS와 같은 퍼블릭 클라우드에서 제공되는 매니지드 쿠버네티스가 아닌 EC2 인스턴스 위에 직접 쿠버네티스 클러스터를 구축하고 이를 AWS 인프라와 연동하는 내용을 다루고 있습니다. seungkyua님이 쓰신 글 에서 Legacy Cloud Provider를 사용하여 AWS Loadbalancer 서비스를 사용하는 방법에 대해 소개를 하신 적이 있습니다. 해당 글에서 언급된 것처럼 퍼블릭/프라이빗 클라우드 인프라와 연동하기 위한 Cloud Provider들이 Kubernetes 에 내장되었다가 현재는 독립적인 형태로 제공되고 사용되고 있습니다. AWS in-tree Cloud Provider는 v1.27 버전에서 삭제 되었고 이후 버전부터는 Externa...
KubeVirt로 구현하는 GPU VM (1) - GPU Passthrough 및 Kubevirt 설치

시작하는 글 쿠버네티스(Kubernetes)는 컨테이너 기반의 클라우드 네이티브 아키텍처를 대표하는 플랫폼으로, 경량성과 확장성 측면에서 전통적인 가상머신(VM)보다 뛰어납니다. 그러나 모든 워크로드가 컨테이너로 대체 가능한 것은 아닙니다. 예를 들어, GUI 환경이 필요한 응용 프로그램, GPU를 직접 제어해야 하는 그래픽 또는 AI 응용 시스템, 기존 VM 기반의 운영 체계를 그대로 유지해야 하는 레거시 서비스의 경우에는, 컨테이너보다는 VM 환경이 더 적합합니다. 하지만 기존 KVM 기반의 가상화 환경에서는 쿠버네티스 클러스터 리소스와 VM 리소스를 분리 관리해야 하는 단점이 있었습니다. 이때 등장한 것이 바로 KubeVirt입니다. KubeVirt는 쿠버네...
KubeVirt로 구현하는 GPU VM (2) - Ceph 연동 및 VM 생성

시작하는 글 이번 글에서는 Kubernetes에 Ceph를 연동하고 이를 활용하여 GPU VM을 생성하고 설정하는 과정을 다룹니다. VM을 생성할 때 Ceph를 사용해야 하는 이유는, VM의 rootdisk와 데이터 디스크를 분산 스토리지 기반으로 안정적으로 관리하기 위함입니다. 이 글에서는 Ceph는 이미 설치되었다고 가정하고 Ceph CSI를 설치하고, StorageClass, PVC를 구성하여 VM이 사용할 Persistent Volume을 자동으로 프로비저닝하도록 설정하는 과정에 대해 설명드리겠습니다. VM 생성 시 rootdisk를 단순히 Containerdisk로 만드는 대신 이미지를 포함한 PVC를 생성하는 이유는, Containerdisk는 일시적인...

목록으로

DEVOCEAN

로그인 선택

미리보기

커뮤니티

글 등록

임시저장함

데보션 블로그 게재 요청