AKS로 쿠버네티스 시작하기 : 스토리지 연결

broccoli 23.05.08

2,919 10 0

facebook twitter kakao link

10 0

facebook twitter kakao link

AKS의 첫 번째 실무 용도

요즘 맡고 있는 시스템의 서비스 활성화를 위해 AI 분석을 진행하고 있습니다.

분석을 진행하다 보니 컴퓨팅 자원이 필요합니다. AKS 프로젝트를 하던 차라 자연스럽게 AKS로 컴퓨팅 자원을 손쉽게 제공하는 것이 어떨까 생각해 보았습니다.

AKS클러스터에 컴퓨팅 요소 생성

manifest 준비

AKS에 컴퓨팅 자원으로 pod를 하나 생성해야 합니다.

아직 yaml 작성에 익숙하지 않아 chatGPT에 물어 보았습니다. 아래와 같이 간단히 알려 주네요. 쓸만합니다.

pod 생성 명령어 수행

yaml파일을 위에서 알려준 대로 만들고, kubectl apply 명령을 수행하면 pod를 손쉽게 생성할 수 있습니다.

과거 서버에 centos 설치하거나, VM을 만드는 과정과는 비교가 되지 않을 정도로 간단하고 빠릅니다. (아주 최고의 사용자 경험입니다.)

이후 해당 pod에 접속해서 ls 동작까지 확인해 두었습니다.

해당 pod 에 접속하는 명령어는 kubectl exec -it <pod명> -- <명령어> 입니다. 여기서 명령어는 bash shell을 기동하는 명령어를 사용하였습니다.

vi centos-pod.yaml 
$ kubectl apply -f centos-pod.yaml pod/centos-pod created 
$ kubectl get pod centos-pod NAME READY STATUS RESTARTS AGE centos-pod 1/1 Running 0 25s 
$ kubectl exec -it centos-pod -- /bin/bash 
[root@centos-pod /]# ls bin dev etc home lib lib64 lost+found media mnt opt proc root run sbin srv sys tmp usr var 
[root@centos-pod /]#

스토리지 연결

해당 실무 용도를 위해 AI 분석에 필요한 입력 데이터는 NAS(azure file)를 마운트해서 사용하려고 합니다.

centos-pod가 azure file(NAS)를 마운트 해야 합니다.

참고할 만한 링크 먼저 공유드립니다. : Azure Files로 볼륨 만들기 및 사용

k8s에서 azure file(NAS) 마운트를 위한 전체 흐름 이해하기

k8s에서는 데이터를 저장하기 위해 StorageClass, PersistentVolume, 그리고 PersistentVolumeClaim을 사용합니다.

azure file(NAS)를 Kubernetes에서 마운트하기 위해 StorageClass, Secret, PersistentVolume, 그리고 PersistentVolumeClaim이 필요합니다.

오브젝트	정의 및 필요성
StorageClass	스토리지 관리를 위한 필수 요소로서 스토리지를 쉽게 사용할 수 있도록 PersistentVolume을 생성할 때 사용되는 오브젝트 - 이를 통해 클러스터 관리자는 다양한 스토리지 유형을 정의하고 사용자가 필요한 스토리지 유형을 선택할 수 있도록 합니다. - 정의 가능한 스토리지 시스템 : Ceph, GlusterFS, NFS 등이 있습니다. - azurefile 스토리지 클래스는 AKS가 생성될 때 자동으로 만들어 줍니다.
Secret	민감한 정보를 안전하게 저장하고 관리하는 오브젝트 - 여기서는 azurefile 접속에 필요한 azurestorageaccountname와 storageaccountkey을 저장
PersistentVolume	클러스터에서 사용 가능한 스토리지 볼륨 - 이를 통해 사용자는 스토리지 클래스가 제공하는 스토리지 유형 중 하나를 선택하고, 해당 스토리지 볼륨을 Pod에서 사용할 수 있도록 바인딩할 수 있습니다.
PersistentVolumeClaim	Pod에서 사용할 스토리지 볼륨을 요청하는 방법 - 이를 통해 개발자는 필요한 스토리지 용량과 스토리지 클래스를 지정하여 스토리지 볼륨을 요청할 수 있습니다.

- 위의 오브젝트는 Kubernetes에서 스토리지를 관리하는 데 필수적입니다.

Pod가 실행되는 노드가 다른 노드로 이동하거나, Pod가 삭제되거나, 스토리지 클래스가 변경되어도 데이터를 안전하게 보존할 수 있도록 제공됩니다.

아래에 SC, Secret, PV, PV의 상호 관계와 적용 방법에 대해 예시와 함께 도식화를 하였습니다.

StorageClass 만들기

azure에서 azure file를 생성하면 Storage class 가 생성되어 있어 그대로 사용할 수 있습니다.

아래와 같은 이름으로 Azure에서 azure file 만들 때 생성해서 제공해 줍니다.

$ kubectl get sc
NAME                    PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
azurefile               file.csi.azure.com   Delete          Immediate              true                   27d
azurefile-csi           file.csi.azure.com   Delete          Immediate              true                   27d
azurefile-csi-premium   file.csi.azure.com   Delete          Immediate              true                   27d
azurefile-premium       file.csi.azure.com   Delete          Immediate              true                   27d
default (default)       disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   27d
managed                 disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   27d
managed-csi             disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   27d
managed-csi-premium     disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   27d
managed-premium         disk.csi.azure.com   Delete          WaitForFirstConsumer   true

여기서는 azurefile-csi-premium을 사용하였습니다.

Secret 만들기

azure file에 접속하기 위한 azurestorageaccountkey, azurestorageaccountname 을 설정해야 합니다.

$ kubectl create secret generic azurefile-secret --from-literal=azurestorageaccountname=saaopdevstdfiles --from-literal=azurestorageaccountkey=xxxx

azurestorageaccountkey, azurestorageaccountname의 설정은 azure portal에서 마운트하고자 하는 Storage account에서 정보를 찾을 수 있습니다.

(azurestorageaccountkey의 값은 'xxx'로 비식별화 처리)

참고로 Storage account는 Azure에서 제공하는 클라우드 스토리지 서비스입니다.

이 서비스를 사용하면 다양한 유형의 데이터(파일, 메시지, 테이블, 큐 등)를 안전하게 저장하고, 검색하고, 백업하고, 복원할 수 있습니다.

PersistentVolume 만들기

azure file와 연결할 PersistentVolume을 만듭니다.

아래 예시처럼 `kind`를 `PersistentVolume`로 설정하고, NAS를 읽기만 할 예정이라 accessModes를 ReadOnlyMany로 설정합니다.

`spec`에 `storageClassName`은 AKS생성 시 azure가 제공하는 `azurefile-csi-premium`로 설정합니다.

azurefile에 접근하기 위해 필요한 secret은 위에서 만든 secret인 `azurefile-secret-costume-ai`을 사용합니다.

kind: PersistentVolume
apiVersion: v1
metadata:
  name: azurefile-pv-costume-ai # naming
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: azurefile-csi-premium # storage kind by azure file
  mountOptions:
    - dir_mode=0777
    - file_mode=0777
    - uid=1000
    - gid=1000
    - mfsymlinks
    - nobrl
  azureFile:
    secretName: azurefile-secret-costume-ai # secret to connect azure preminum file
    shareName: oavatarfiles  # azure file' sharing name 
    readOnly: true  # to read

shareName은 아래의 그림에서 볼 수 있듯이 azure portal에서 확인할 수 있는 'File shares'이름인 oavatarfiles를 사용하면 됩니다.

리소스 생성 명령 수행

kubectl apply -f <yaml 파일명>

$ kubectl apply -f pv-centos-pod.yaml
persistentvolume/azurefile-pv-costume-ai created

결과 확인

상태를 보니 양호하게 Bound 상태로 표시가 됩니다.

$ kubectl get pv
NAME                      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                              STORAGECLASS            REASON   AGE
azurefile-pv-costume-ai   10Gi       ROX            Retain           Bound    default/azurefile-pvc-costume-ai   azurefile-csi-premium            3s

PersistentVolumeClaim 만들기

azure가 제공하는 StorageClass와 위에서 생성한 PersistentVolume을 사용하여 PersistentVolumeClaim을 만듭니다.

아래 예시처럼 `kind`를 `PersistentVolumeClaim`로 설정하고 `spec`에 `storageClassName`을 `azurefile-csi-premium`로 설정합니다.

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: azurefile-pvc-costume-ai # pvc naming
spec:
  accessModes:
    - ReadOnlyMany  # access mode 
  storageClassName: azurefile-csi-premium # created by AKS
  resources:
    requests:
      storage: 10Gi

리소스 생성 명령 수행

kubectl apply -f <yaml 파일명>

$ kubectl apply -f pvc-centos-pod.yaml
persistentvolumeclaim/azurefile-pvc-costume-ai created

결과 확인

상태를 보니 양호하게 Bound 상태로 표시가 됩니다.

$ kubectl get pvc
NAME                       STATUS   VOLUME                    CAPACITY   ACCESS MODES   STORAGECLASS            AGE
azurefile-pvc-costume-ai   Bound    azurefile-pv-costume-ai   10Gi       ROX            azurefile-csi-premium   4s

Pod 생성(NAS 마운트 포함)

azure에서 제공하는 StorageClass, 위에서 생성한 Secret/PersistentVolume/PersistentVolumeClaim을 사용하여 Pod에서 azure file를 마운트할 수 있습니다.

예를 들어, 아래와 같이 Pod을 만들면 PVC를 통해 azure file를 마운트할 수 있습니다.

apiVersion: v1
kind: Pod
metadata:
  name: centos-pod
spec:
  containers:
  - name: centos-container
    image: centos:latest
    command: ["/bin/bash", "-c", "while true; do echo hello; sleep 10; done"]
    volumeMounts:
    - name: azurefile
      mountPath: /mnt/oavatarfiles   # centos-pod에서 사용할 마운트명
  volumes:
  - name: azurefile
    persistentVolumeClaim:
      claimName: azurefile-pvc-costume-ai

리소스 생성 명령 수행

kubectl apply -f <yaml 파일명>

결과 확인 : pod 상태 확인

상태를 보니 양호하게 Running 상태로 표시가 됩니다.

$ kubectl get pod centos-pod
NAME         READY   STATUS    RESTARTS   AGE
centos-pod   1/1     Running   0          2s

결과 확인 : pod로 접속하여 마운트한 외부 스토리지 내용 확인

k9s툴을 활용하여 편리하게 pod의 shell로 접속합니다. : cendos-pod를 선택한 후에 shell 접속인 <s> 단축키로 간편하게 접속 가능합니다.

/mnt/oavatarfiles 마운트 포인트로 접근이 가능하고, 하위 디렉토리와 파일을 확인할 수 있습니다.

[root@centos-pod /]# cd mnt
[root@centos-pod mnt]# ls
oavatarfiles
[root@centos-pod mnt]# cd oavatarfiles/
[root@centos-pod oavatarfiles]# ls
avatar	avatarmotion  category	edit  guide  ...

Python pod 로 적용해 보기

AI 분석이라 python 구동 환경까지 포함해서 구성해 보겠습니다.

아래는 AI 분석이 가능한 파이썬 동작 환경을 갖춘 centos 컨테이너를 생성하는 Kubernetes YAML 파일의 예시입니다.

apiVersion: v1
kind: Pod
metadata:
  name: python-pod
  labels:
    app: python
spec:
  containers:
  - name: python
    image: centos/python-36-centos7:latest
    command: ["/bin/bash"]
    args: ["-c", "echo Hello Kubernetes! && sleep 3600"]

위에서 만든 centos-pod를 참조하여 python-pod를 아래와 같이 만들 수 있습니다. volumeMounts 과 volumes내용을 위에서 그대로 복사하여 yaml을 손쉽게 만들었습니다.

metadata:
  name: python-pod
  labels:
    app: python
spec:
  containers:
  - name: python
    image: centos/python-36-centos7:latest
    command: ["/bin/bash"]
    args: ["-c", "echo Hello Kubernetes! && sleep 3600"]
    volumeMounts:
    - name: azurefile
      mountPath: /mnt/oavatarfiles   # centos-pod에서 사용할 마운트명
  volumes:
  - name: azurefile
    persistentVolumeClaim:
      claimName: azurefile-pvc-costume-ai

리소스 생성 명령 수행

kubectl apply -f <yaml 파일명>

python 환경 구동 확인

아래와 같이 python 명령으로 파이썬 인터프리터 동작이 확인 됩니다. AI 분석을 위한 기본적인 파이썬 환경 구동까지 완료하였습니다.

<<K9s-Shell>> Pod: default/python-pod | Container: python
(app-root) bash-4.2$ python
Python 3.6.9 (default, Nov 11 2019, 11:24:16)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

정리

실무 용도로 AI 분석에 필요한 pod를 만들고 AI분석의 입력 데이터 역할을 할 외부 스토리지(여기서는 azure file인 NAS)를 마운트하였습니다.

외부 스토리지 마운트를 할 때, SC를 AKS가 자동으로 생성해 주는 점을 유의해서 진행이 필요하였고,

Secret→ PV → PVC → cendos-pod → python-pod 생성과정을 통해 파이썬 구동 환경의 pod로 외부 스토리지 마운트를 성공하였습니다.

입력데이터 접근이 가능하게 되어 AI 분석에 필요한 파이썬 환경 제공이 가능하였습니다.

다수의 AI처리 task 수행을 위해 deployment를 생성하면 다중pod 구성으로 AI분석을 병렬로 처리할 수 있겠습니다. 차후에 한 번 더 시도해 보도록 하겠습니다.

#Kubernetes #Python #DevOps #Azure

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

broccoli 님의 최신 블로그

LLM과 Reveal.js로 슬라이드를 쉽게 만들고 공유하기

블로그를 운영하다 보면 작성한 글을 슬라이드와 같은 형식으로 효과적으로 공유해야 할 때가 있습니다. 이럴 때마다 슬라이드를 처음부터 새로 만드는 것은 상당한 시간과 노력이 필요한 작업입니다. 하지만, LLM과 Reveal.js를 활용하면 작성한 글을 효율적으로 슬라이드로 변환하고, GitHub Pages를 통해 쉽게 게시하여 함께 볼 수 있습니다. 이 글에서는 그 과정에 대한 아이디어를 나누어 보도록 하겠습니다. 블로그 글을 슬라이드로 변환해야 하는 이유 블로그 글은 상세한 설명과 깊이 있는 내용을 담기에 적합한 형식이지만, 발표나 강연에서는 핵심 내용을 시각적으로 전달할 수 있는 슬라이드가 더 효과적입니다. 블로그 글을 슬라이드로 변환하면 유용한 상황들이 있습니...
빠르게 실행해 볼 수 있는 AI 시대 - 프로젝트에 투입해야 하는 서버

들어가는 말 빠르게 실행해볼 수 있는 AI 시대의 글로 이번에는 하드웨어 분야 서버에 관한 내용으로 공유해 보도록 하겠습니다. AI 기술의 발전은 우리 사회의 많은 영역에 변화를 가져오고 있으며, 특히 엔지니어링 전문 분야에서의 역할과 접근 방식에도 깊은 영향을 미치고 있습니다. 과거에는 특정 분야의 깊이 있는 전문성이 중요했지만, 이제는 AI를 통해 새로운 지식을 빠르게 습득하고 다양한 문제에 유연하게 대처하는 능력이 점차 중요해지고 있다고 말할 수 있을 것입니다. 온프레미스 환경에 노출된 개발자가 하드웨어를 다루는 과정의 내용을 통해 AI시대 엔지니어의 역할에 대해 생각해 볼 수 있는 기회가 되었으면 합니다. 예상치 못한 온프레미스 도전 풍부한 클라우드 환경에...
진짜 AI 에이전트형 코딩 툴 ＇Claude-Code＇

Claude Code 왜 지금 핫한가? Claude Code란? Claude Code는 Anthropic에서 개발한 AI 기반 코딩 에이전트입니다. 단순한 코드 자동 완성 기능을 넘어 자율적(agentic) 코딩을 지원하는 강력한 도구입니다. 2025년 현재, Claude Code는 개발자가 복잡한 소프트웨어 프로젝트를 계획하고, 작성하며, 디버깅하고, 배포하는 전 과정을 자동화하거나 간소화할 수 있도록 설계되었습니다. 기존 AI 코딩 도구(예: Copilot, Cursor)는 코드 자동완성‧스니펫 제안에 초점이 있지만, Claude Code는 전체 코드베이스를 실제로 탐색, 분석, 수정, 커밋, 푸시까지 ‘엔지니어처럼’ 처리하는 AI 도구입니다. 예를 들어, 사...
KVM 기반 VM의 외부 접근성 향상을 위한 브리지 네트워크 구성

들어가는 말 올해 프로젝트는 온프레미스 환경에서의 도전 과제들이 많이 발생되고 있습니다. 그 중의 하나로 외부 네트워크를 통해서 호스트에 접속한 후에 호스트에 구성된 KVM 기반의 VM에 접속하는 불편을 해결하는 요구사항에 대한 과제입니다. 즉, 외부에서도 VM(가상머신)에 직접 접속할 수 있는 방법의 제시가 필요합니다. 브리지 네트워크 구성 방식의 특징 브리지 네트워크는 KVM 기반 VM에 외부에서 접근할 때 일반적으로 선호되는 방식입니다. 직접적인 IP 할당 : 브리지 네트워크를 사용하면 VM이 호스트와 동일한 네트워크에 존재하게 되어, VM에 IP를 직접 할당할 수 있습니다. 이는 NAT(Network Address Translation) 방식과 달리, VM...

목록으로

DEVOCEAN

로그인 선택

미리보기

커뮤니티

글 등록

임시저장함

데보션 블로그 게재 요청