DEVOCEAN

Managed Airflow 서비스인 Vane의 개발 과정 및 활용 기술들을 되짚어보고, 서비스 운영에서 경험한 인사이트를 공유하려 합니다.

'Vane'은 Managed Airflow를 SaaS 형태로 사용자에게 제공하는 서비스입니다. 비슷한 서비스로는 Astronomer와 MWAA가 있습니다. Vane은 사용자가 웹 UI에서 클릭 몇번으로 Airflow를 생성하고 관리할 수 있습니다. 다양한 데이터 시스템과의 연동을 지원하며 Jupyter Notebook을 자연스럽게 파이프라인으로 활용할 수 있습니다.

이번 세션에서는 워크플로우 오케스트레이션 영역에서의 De Facto 플랫폼인 Airflow 를 SaaS 화 하게 된 배경에 대해 설명하고, 아키텍처 및 개발하면서 발생한 문제들, 이를 어떻게 해결했고 이 과정에서 무엇을 배웠는지 등에 대해 자세히 공유해 드릴 예정입니다. 또한 사내에서 Airflow 및 데이터 플랫폼을 운영하면서 쌓인 경험 및 인사이트도 소개해 드리겠습니다.

■ 발표자 소개

박지원 (SK텔레콤)

대용량 데이터 처리와 데이터를 움직이는 백엔드 플랫폼에 관심을 갖고 있습니다. Data Lake 운영 경험을 바탕으로 현재 오픈소스 기반 데이터 플랫폼을 개발하고 있습니다.

김경민 (SK텔레콤)

백엔드 영역에서 다양한 개발 경험을 쌓아오다 머신러닝과 빅데이터 영역에 집중하게 되었습니다. AI 연구 및 분석 플랫폼 개발을 거쳐 현재는 SKT에서 데이터 플랫폼 엔지니어로 일하고 있습니다.