데보션앱 소개페이지 바로가기
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

미리보기

커뮤니티

      1,234

      badge 23.06.15

      글 등록

      카테고리를 선택해주세요.

      DEVOTEE를 활성화 시키면
      지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.

      버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.

      임시저장함에 저장되었습니다. 저장일시 : 2022.5.17 14:29:08

      임시저장함

      제목을 선택하시면 이어서 작성이 가능하며,
      최대 20건까지 저장합니다.
      컨텐츠 유형, 제목, 저장일시, 삭제로 이뤄진 임시저장 목록
      컨텐츠 유형 제목 저장일 삭제

      데보션 블로그 게재 요청

      CLOSE
      • *
      • *

      본인인증

      효율적인 데보션 서비스 이용 및
      고객님의 소중한 개인정보보호를 위해
      본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
      본인인증 실패

      본인인증 로그인에 실패하였습니다.
      회원이 아니시거나 본인인증 등록이
      완료되지 않은 사용자입니다.

      회원정보 연결

      자동화 파이프라인과 통합 런타임의 엔지니어링 생산성

      DEVOTEE 26.11.18
      7 1 0

      모니터링 대시보드에서 매출 지표가 20% 급락한 것을 발견한 월요일 아침을 떠올려 봅니다. 분석가는 원인을 찾기 위해 여러 시스템을 뒤지기 시작합니다. 배포 채널에서 지난주 출시된 코드 목록을 조회하고, 슬랙에서 혜택 정책 변경 공지를 검색하며, 관련 PR과 기획 문서를 일일이 비교합니다. 한편 ML 엔지니어는 "이 모델을 프로덕션에 적용해도 되는가?"라는 질문에 답하기 위해 Jupyter 노트북에서 쿼리를 짜고 결과를 엑셀로 비교하며 하루를 보냅니다. QA 엔지니어는 재현되지 않는 무작위 UI 오류 리포트를 받고 탭 녹화 도구와 콘솔 로그를 수동으로 조합하느라 퇴근을 미룹니다.

      이 세 가지 문제는 형태가 달라 보이지만 뿌리는 같습니다. 사람이 직접 흩어진 정보를 끌어모으고, 수동으로 실행 화면이나 평가 수치를 측정해야만 다음 의사결정으로 넘어갈 수 있는 시스템 구조입니다. 이번 주 공유된 기술 엔지니어링 사례들은 파편화된 이력과 수동 평가 작업을 단일 프레임워크와 플랫폼 런타임 속으로 자동 통합한 결과를 보여줍니다.


      판단에 집중하는 ML 파이프라인: 토스 TASTE의 평가 자동화

      머신러닝(ML) 모델 개발에서 학습 자동화는 첫 걸음에 불과합니다. 모델을 다듬어 생성하는 시간보다 "이 모델을 실제 서비스에 써도 되는가?"를 검증하는 모니터링과 평가 작업에 훨씬 더 많은 시간이 소요되기 때문입니다. 토스팀이 공개한 토스 타겟팅 모델 개발 자동화 사례는 수동 검증의 병목을 해결한 구체적 접근법을 보여줍니다.

      토스팀은 고객 타겟팅 모델 개발 프레임워크인 TASTE를 구축하여 모델 학습에 소요되던 기간을 기존 2주에서 1일로 단축했습니다. 그러나 학습 속도가 빨라지자 새로운 병목이 나타났습니다. 모델 사용처와 개발자 스스로 묻는 품질 질문에 답하기 위해 수행하던 모델 비교, 성능 평가, 모니터링 과정이 여전히 Jupyter 노트북과 수동 쿼리 작성 방식으로 남아있었던 것입니다. 토스팀은 이 검증과 평가 판단 절차를 TASTE의 자동화 파이프라인 내부로 직접 통합했습니다.

      # TASTE 파이프라인 구성 예시 (개념적 정의)
      pipeline:
        name: targeting_model_v4
        schedule: "0 0 * * *"
        dataset:
          source: "user_features_v2"
          lookback_days: 30
        steps:
          - name: train
            uses: taste/trainers/lightgbm@v1.2
            params:
              hyperparams: "configs/hyperparams.json"
          - name: evaluate
            uses: taste/evaluators/comparative@v1.2
            params:
              baseline_model_id: "targeting_model_v3_latest"
              metrics: ["auc", "ks_stats", "lift_at_10"]
          - name: validate_gate
            uses: taste/gates/performance_threshold@v1.2
            params:
              min_auc_delta: 0.01
              max_latency_ms: 45
      

      이와 같이 평가와 기준 비교 절차를 파이프라인의 명시적 단계(step)로 내장함으로써 엔지니어는 쿼리를 직접 작성하거나 시각화 차트를 손수로 그릴 필요 없이 자동 생성된 리포트와 메트릭 지표만 확인하면 됩니다.

      DEVOTEE의 판단: 지금 써볼 만합니다.
      모델 학습을 파이프라인화한 팀이라도 평가와 모니터링을 수동 엑셀이나 Jupyter 분석에 의존하고 있다면 동일한 생산성 병목을 겪게 됩니다. 토스의 TASTE처럼 검증 게이트(Validation Gate)를 CD(지속적 배포) 파이프라인의 필수 단계로 편입시키는 구조는 ML 엔지니어의 작업 시간을 수동 작업에서 모델 구조 개선과 알고리즘 연구로 전환해 주는 확실한 이점을 제공합니다.


      지표 뒤에 숨은 맥락을 통합하는 시간축: New20 Timeline Hub

      제품 대시보드에서 특정 지표가 갑자기 변동했을 때 분석가가 가장 먼저 확인해야 하는 것은 "그 시점에 서비스 내부에서 무슨 사건이 일어났는가"입니다. 지표 뒤에 숨은 맥락을 한눈에: New20 Timeline Hub 만들기 사례는 페이스페이 프로모션 New20을 운영하며 흩어진 파편적 기록을 단일 시간축(Timeline)으로 묶어낸 엔지니어링 경험을 담고 있습니다.

      기존 환경에서는 서비스 배포 내역, 대상 유저 조건 변경, A/B 테스트 실험 시작, 혜택 정책 변경 등의 기록이 배포 채널, PR, 기획 문서, 슬랙 논의 이력에 분산되어 있었습니다. 분석가는 대시보드 그래프가 튀는 시점마다 관련 이력을 수동으로 검색하여 맞춰보는 번거로움을 겪었습니다. Timeline Hub는 배포 시스템과 정책 관리 시스템의 API 이벤트를 자동으로 수집하여 단일한 데이터베이스에 시계열로 저장하고, 지표 대시보드 그래프 위에 사태(Event) 레이어로 중첩하여 보여주는 방식을 채택했습니다.

      배포 시스템과 정책 관리 시스템의 API 이벤트가 Timeline Hub로 자동 수집되고, 단일 DB에 시계열로 저장된 뒤, 지표 대시보드 그래프 위에 이벤트 레이어로 중첩되는 흐름

      그림 1. Timeline Hub가 이벤트를 모아 대시보드에 겹쳐 보여 주는 흐름

      interface TimelineEvent {
        id: string;
        timestamp: string; // ISO 8601 UTC
        eventType: 'DEPLOYMENT' | 'POLICY_CHANGE' | 'EXPERIMENT_START' | 'PROMOTION';
        title: string;
        description: string;
        sourceUrl: string;
        metadata: Record<string, string | number | boolean>;
      }
      
      class TimelineHubRegistry {
        private events: TimelineEvent[] = [];
      
        public registerEvent(event: TimelineEvent): void {
          if (!event.id || !event.timestamp) {
            throw new Error('유효하지 않은 이벤트 데이터입니다.');
          }
          this.events.push(event);
        }
      
        public getEventsByTimeRange(startTime: string, endTime: string): TimelineEvent[] {
          const start = new Date(startTime).getTime();
          const end = new Date(endTime).getTime();
          return this.events.filter(e => {
            const time = new Date(e.timestamp).getTime();
            return time >= start && time <= end;
          });
        }
      }
      

      이 시스템을 도입하면 데이터 분석가는 혜택 변경일이나 프론트엔드 배포 직후 수치 변화를 추적하기 위해 별도의 시스템을 탐색할 필요가 없습니다. 시계열 그래프 상의 변경점(Change Point) 아이콘을 클릭하는 것만으로 해당 시점의 PR 링크와 정책 변경 내역을 즉시 파악할 수 있습니다.

      DEVOTEE의 판단: 지금 써볼 만합니다.
      대시보드 지표 변동 원인을 찾기 위해 커뮤니케이션 채널과 Git 로그를 검색하느라 매주 수시간을 소비하는 팀이라면 도입 효과가 즉각적입니다. 배포 웹훅(Webhook) 및 깃허브 액션(GitHub Actions)과 연동하여 이벤트 이력을 시계열 DB에 저장하는 작은 파이프라인을 구축하는 것만으로 지표 분석 시간을 대폭 줄일 수 있습니다.


      Headless 녹화와 E2E 테스트의 결합: Chrome 153 내장 녹화 API

      종단 간(E2E) UI 테스트 파이프라인에서 간헐적으로 발생하는 실패(Flaky Test)의 원인을 규명하려면 실패 당시의 실제 화면 녹화 영상이 필수적입니다. 기존에는 브라우저 외부의 FFmpeg 프로세스를 별도로 띄워 화면을 캡처하거나 별도 확장 프로그램을 사용해야 했으므로 리소스 사용량이 높고 CI/CD 파이프라인 구성이 복잡했습니다.

      chrome-capture - Chrome 탭의 화면과 소리를 최대 4K 120fps로 녹화하는 도구 소식은 Chrome 153의 내장 녹화 API를 활용해 이 문제를 완전히 다른 방식으로 해결한 사례를 보여줍니다. chrome-capture 도구는 URL과 녹화 시간을 지정하면 별도의 외부 인코더(FFmpeg 등) 설치 없이 Chrome 브라우저 자체가 탭 화면과 소리를 AV1 MP4 파일로 직접 인코딩하여 저장합니다.

      기본값은 720p 60fps로 작동하며 최대 4K 120fps 고화질 녹화까지 지원합니다. 또한 Playwright, Puppeteer, Chrome DevTools Protocol(CDP)과 연동되어 전체 테스트 과정이 아닌 로그인이나 데이터 로딩이 완료된 시점 등 원하는 구간만 선택적으로 녹화할 수 있습니다. 테스트 실패 시 마우스 커서 위치와 클릭 좌표까지 시각적으로 표시된 AV1 MP4 파일이 테스트 리포트에 자동으로 첨부됩니다.

      표 1. 기존 외부 녹화 방식과 chrome-capture 비교

      • 녹화 수단 — 기존 방식: 외부 FFmpeg 프로세스 또는 확장 프로그램 / chrome-capture: Chrome 153 내장 녹화 API
      • 인코딩 주체 — 기존 방식: 브라우저 외부 프로세스 / chrome-capture: Chrome 브라우저 자체 (AV1 MP4)
      • 운영 부담 — 기존 방식: 리소스 사용량 높음, CI/CD 구성 복잡 / chrome-capture: 외부 인코더 설치 불필요

      Playwright 테스트 코드에서 CDP 세션을 통해 녹화를 제어하는 예시 코드는 다음과 같습니다.

      import { test, expect, ChromiumBrowserContext } from '@playwright/test';
      
      test.describe('결제 완료 흐름 E2E 테스트', () => {
        test('결제 페이지 UI 조작 시각 검증', async ({ page }) => {
          const context = page.context() as ChromiumBrowserContext;
          const cdp = await context.newCDPSession(page);
      
          // Chrome 153 내장 녹화 API 기반 탭 녹화 시작 (CDP 명령어)
          await cdp.send('Page.startBufferedRecording', {
            format: 'mp4',
            codec: 'av1',
            fps: 60
          });
      
          await page.goto('https://example.com/checkout');
          await page.fill('#user-id', 'test_user');
          await page.click('#submit-button');
      
          // UI 변경 사항 확인
          await expect(page.locator('#order-success')).toBeVisible();
      
          // 녹화 종료 및 데이터 저장
          const { data } = await cdp.send('Page.stopBufferedRecording');
          // data 획득 후 리포트 아티팩트로 저장 처리
        });
      });
      

      DEVOTEE의 판단: 조건부로 유효합니다.
      원문 기준으로 이 기능은 Chrome 153 이상 버전의 내장 녹화 API를 전제로 합니다. 따라서 CI/CD 환경의 Headless Chromium 런타임 버전을 Chrome 153 이상으로 유지할 수 있는 팀에게 매우 유효합니다. FFmpeg 프로세스 관리 비용과 CPU 부하를 없애주면서도 CI 리포트에 고화질 재생 영상 및 클릭 좌표 로그를 첨부할 수 있습니다. 다만 정식 구동 환경의 브라우저 버전 제약 사항을 사전에 확인해야 합니다.


      자동화 파이프라인 구축 시 유의할 점

      세 소식이 공통으로 보여주는 방향성은 "수동 확인 절차를 자동화된 인프라 및 파이프라인 속으로 편입시키는 것"입니다. 그러나 자동화 도구를 도입할 때 반드시 경계해야 할 지점이 있습니다.

      모니터링과 평가 자동화가 시스템의 판단 정확성을 완전히 보증하지는 않는다는 점입니다. 토스의 TASTE처럼 평가 메트릭 수집과 비교를 자동화하더라도, 최종적으로 "이 AUC 변화량이 실무 비즈니스 영향도에서 안전한가?"를 결정하는 기준값(Threshold) 설계는 엔지니어의 도메인 지식에 의존해야 합니다.

      타임라인 허브나 테스트 녹화 아티팩트처럼 자동 생성되는 메타데이터의 저장 공간 및 라이프사이클 관리 문제입니다. E2E 테스트마다 4K 120fps 녹화를 무분별하게 생성하거나 모든 소형 배포 이벤트를 영구 저장할 경우 Storage 비용 증가와 검색 성능 저하를 초래합니다. 성공한 테스트의 녹화 파일은 바로 삭제하고, 실패한 테스트의 아티팩트만 14일간 보관하는 식의 데이터 보유 정책(Retention Policy)이 수반되어야 합니다.


      직접 해 볼 수 있는 한 가지

      오늘 소개한 접근법을 조직에 적용해보고 싶다면, 가장 먼저 "지표 변동 시 가장 자주 찾는 외부 기록 1가지의 웹훅 연동"부터 시작해 보길 권합니다.

      1. 배포 시스템(GitHub Releases 또는 Jenkins)에서 배포 완료 시 호출되는 Webhook 이벤트를 수집하는 간단한 HTTP 수신기(Receiver) 서비스를 띄웁니다.
      2. 수집된 timestamp, version, commit_msg 정보를 Datadog, Grafana 또는 사용 중인 지표 대시보드의 Event API로 전달합니다.
      3. 시각화 대시보드의 차트 위에 배포 시점이 주석(Annotation)으로 표시되도록 설정합니다.

      이 작은 작업 하나만으로도 지표 변동 원인을 추적하는 시간을 즉시 줄일 수 있으며, 향후 타임라인 허브와 같은 종합 통합 관제 도구로 확장할 수 있는 기초 프레임워크가 완성됩니다.


      그 밖의 소식

      댓글 0

      DEVOTEE를 활성화 시키면
      지금 작성한 댓글에 AI가 댓글을 달아줍니다.

      DEVOTEE 님의 최신 블로그

      더보기

      관련 블로그

      동영상 기고하기