Apache Airflow를 시작하는 가장 쉬운 방법, Astro CLI

추영욱 25.03.31

2,911 6 2

facebook twitter kakao link

6 2

facebook twitter kakao link

DEVOTEE 요약: Apache Airflow는 설치와 실행 과정이 어려운 것으로 알려져 있지만, Astronomer가 개발한 Astro CLI를 통해 이를 쉽게 할 수 있게 되었습니다. Astro CLI는 단 세 개의 명령어로 프로젝트 설정 및 실행이 가능하며, 여러 운영체제(MacOS, Windows, Linux)에서도 사용이 가능하다는 장점이 있습니다. 이 도구는 직관적인 명령어 및 다양한 템플릿을 제공하여 Airflow의 학습 및 사용을 더욱 간단하고 효율적으로 만들어 줍니다.

DEVOTEE 추천 블로그

Apache Airflow에 대해 자주 이야기가 나오는 것이 있습니다.

Airflow를 시작하기 어렵다.
로컬 환경에서 세팅하기 어렵다.

이런 이야기의 배경에는 설치부터 공식 문서에서 방대한 양의 세팅 관련 문서를 마주했던 경험과,

실행 및 테스트를 위해 추가적인 도구(Airflow Breeze) 혹은 명령어를 추가로 학습해야 했고 그마저도 사용하기 쉬운 것과는 거리가 멀었기 때문입니다.

이러한 이유로 많은 사람들이 "Airflow를 어렵다"고 느낍니다.

그런데 만약 Apache Airflow를 쉽게 설치하고, 단 몇 개의 명렁어만으로도 실행과 테스트를 할 수 있다면 어떨까요?

Apache Airflow 생태계에 많은 기여를 해온 Astronomer은 이 문제를 해결하기 위해 Apache Airflow를 설치하는 가장 쉬운 방법, Astro CLI라는 것을 개발했습니다.

그리고 이를 오픈소스로 공개하여 누구나 손쉽게 Airflow를 설치하고 사용할 수 있게 되었습니다.

이 글을 통해서 Astro CLI를 어떻게 사용할 수 있는지 알아보도록 하겠습니다.

Astro CLI 설치

Astro CLI는 MacOS, Window, Linux 모두 사용할 수 있습니다.

설치는 공식 홈페이지를 참고하여 설치할 수 있습니다.

설치가 완료되었는지 아래의 명령어를 통해 정상적으로 설치되었는지 확인해봅시다.

astro -h

Astro CLI 미리보기

과연 얼마나 쉽게 실행이 가능하길레 이렇게 호들갑인가 싶을 것입니다.

AstroCLI를 사용하면 단 3개의 직관적인 명령어만으로 프로젝트를 세팅하고 실행하고 중지할 수 있습니다.

astro dev init
astro dev start
astro dev stop

astro dev init && astro dev start
localhost:8080으로 Airflow UI 가 나오면 Username과 Password에admin과 admin을 쳐서 들어갑니다.
astro dev stop

한 번이라도 Airflow를 직접 세팅하느라 어려움을 겪으셨던 분이나,

처음 공부하실 때 공식문서의 “Installation of Airflow”를 보고 벽을 느끼셨던 분들은 이것이 얼마나 감동적인 경험인지 공감하실 것입니다.

그럼 조금 더 자세히 알아보도록 하겠습니다.

Astro CLI 를 사용한 Airflow 프로젝트 시작하기

프로젝트 폴더에서 astro dev init을 실행하면 프로젝트의 기본 디렉토리 구조가 생성됩니다.

디랙토리 구조는 다음과 같습니다:

.
├── .env                    # 로컬 환경 변수 설정 파일
├── dags                    # DAG 파일을 저장하는 디렉토리
│   └── exampledag.py       # 간단한 예제 DAG
├── Dockerfile              # Astro Runtime Docker 이미지
├── include                 # 기타 포함할 파일을 저장하는 디렉토리
├── plugins                 # Airflow 플러그인 저장소
├── tests                   # pytest로 실행할 DAG 유닛 테스트 파일 폴더
│   └── test_dag_example.py # 간단한 예제 테스트
├── airflow_settings.yaml   # Airflow connections, variables and pools 설정 파일
├── packages.txt            # OS 수준 패키지 목록
└── requirements.txt        # Python 패키지 목록

connections, variables, pools 설정하기

Airflow의 connection, variable, pools를 설정하는 방법에는 두 가지가 있습니다.

이 과정은 Astro CLI를 사용하지 않더라도 동일하기 때문에 이미 익숙할 수 있으므로 간단히 넘어가겠습니다.

AirflowUI를 통한 설정

Airflow UI에서 직접 설정할 수 있습니다. UI에서 "Admin" → "Connections/Variables/Pools"로 이동해서 설정하시면 됩니다.

airflow_settings.yaml를 통해 설정

airflow_settings.yaml 파일을 통해 아래와 같이 connections, variables, pools을 설정할 수 있습니다.

airflow:
  connections:
    - conn_id:
      conn_type:
      conn_host:
      conn_schema:
      conn_login:
      conn_password:
      conn_port:
      conn_extra:
        example_extra_field: example-value
  pools:
    - pool_name:
      pool_slot:
      pool_description:
  variables:
    - variable_name:
      variable_value: