GPT로 kubernetes 관리하기. k8sgpt

goto 24.04.03

1,952 14 2

facebook twitter kakao link

14 2

facebook twitter kakao link

DEVOTEE 요약: k8sgpt는 쿠버네티스와 GPT 기술을 결합한 오픈소스 프로젝트로, LLM을 이용해 쿠버네티스 이슈를 분석하여 문제의 원인과 해결방법을 제공합니다. 본문에서는 rockyos를 기반으로 한 쿠버네티스 환경에 k8sgpt를 설치하고, OpenAI가 아닌 LocalAI를 백엔드로 사용하는 방법을 설명하였습니다. 현재로서는 초기 단계이지만 AI 분야의 빠른 발전으로 인해 그 가능성은 무궁무진하다고 할 수 있습니다.

DEVOTEE 추천 블로그

k8sgpt란?

k8sgpt 공식 홈페이지
쿠버네티스와 GPT기술을 결합하여 생성한 오픈소스 프로젝트입니다.
LLM을 이용해 쿠버네티스 이슈를 분석하여 문제의 원인과 해결 방법 등을 제공합니다.

k8sgpt 사용하기

본문에서는 rockyos 기반 쿠버네티스 환경에 설치하였습니다.
k8sgpt는 기본적으로 openAI를 backend 로 지원하고 있습니다.
본문에서는 openAI 가 아닌 localai를 backend로 이용합니다.
localai에 대한 내용은 이전 포스팅을 참고해 주세요.
localAI에 대한 이전 글

1. k8sgpt 다운로드 및 설치

$ curl -LO https://github.com/k8sgpt-ai/k8sgpt/releases/download/v0.3.24/k8sgpt_amd64.rpm
$ sudo rpm -Uvh k8sgpt_amd64.rpm
$ k8sgpt
Kubernetes debugging powered by AI
 
Usage:
  k8sgpt [command]
 
Available Commands:
  analyze     This command will find problems within your Kubernetes cluster
  auth        Authenticate with your chosen backend
  cache       For working with the cache the results of an analysis
  completion  Generate the autocompletion script for the specified shell
  filters     Manage filters for analyzing Kubernetes resources
  generate    Generate Key for your chosen backend (opens browser)
  help        Help about any command
  integration Integrate another tool into K8sGPT
  serve       Runs k8sgpt as a server
  version     Print the version number of k8sgpt
 
Flags:
      --config string        Default config file (/home/vagrant/.config/k8sgpt/k8sgpt.yaml)
  -h, --help                 help for k8sgpt
      --kubeconfig string    Path to a kubeconfig. Only required if out-of-cluster.
      --kubecontext string   Kubernetes context to use. Only required if out-of-cluster.
 
Use "k8sgpt [command] --help" for more information about a command.

2. localAI backend 설정하기

#k8sgpt auth list 확인
$ k8sgpt auth list
Default:
> openai
Active:
Unused:
> openai
> localai
> azureopenai
> noopai
> cohere
> amazonbedrock
> amazonsagemaker
 
#localai backend 설정
$ k8sgpt auth add -b localai -u  http://local-ai.cloudpc.svc.cluster.local:80/v1 --model "gpt4all-falcon-newbpe-q4_0.gguf"
localai added to the AI backend provider list
$ k8sgpt auth list
Default:
> openai
Active:
> localai
Unused:
> openai
> azureopenai
> noopai
> cohere
> amazonbedrock
> amazonsagemaker
 
#k8sgpt default backend를 localai로 설정
$ k8sgpt auth default -p localai
Default provider set to localai
$ k8sgpt auth list
Default:
> localai
Active:
> localai
Unused:
> openai
> azureopenai
> noopai
> cohere
> amazonbedrock
> amazonsagemaker

3. 테스트

k8sgpt analyze
AI Provider: localai
 
0 kube-flannel/kube-flannel-ds-fdw8k(DaemonSet/kube-flannel-ds)
- Error: back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-ds-fdw8k_kube-flannel(8b2192e7-a6f9-4bf2-9ab5-837861d8ca2a)
- Error: the last termination reason is Error container=kube-flannel pod=kube-flannel-ds-fdw8k
 
1 kube-flannel/kube-flannel-ds-sj8q5(DaemonSet/kube-flannel-ds)
- Error: back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-ds-sj8q5_kube-flannel(fcad3657-d9af-4a91-bb7f-7a40e7fd461b)
- Error: the last termination reason is Error container=kube-flannel pod=kube-flannel-ds-sj8q5
 
2 kube-flannel/kube-flannel-ds-xn8nh(DaemonSet/kube-flannel-ds)
- Error: back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-ds-xn8nh_kube-flannel(3db4b683-cb09-4a30-8923-d95439247dfc)
- Error: the last termination reason is Error container=kube-flannel pod=kube-flannel-ds-xn8nh