DEVOCEAN

안녕하세요, AI 서비스 개발을 위한 대규모 시스템 설계 스터디 호스트 송의석입니다.

11월 17일에는 저희 스터디의 마지막, 일곱 번째 모임을 진행하였습니다.

이번에는 스터디 스케줄 상 온/오프라인 병행으로 스터디를 진행하게 되었습니다. (오프라인 3명, 온라인 3명)

모임 이전에 각자 『데이터 중심 애플리케이션 설계』 도서의 챕터 11, 12를 읽어오고, 모임에서는 박용현님과 김진님이 한 챕터씩 맡아 발표를 진행해주셨습니다.

11장 스트림 처리

11장은 용현님이 발표를 맡아주셨습니다.

11장의 내용은 10장에 이어 스트림 처리에 대한 내용을 다루고 있었습니다.

배치 처리와 다르게 스트림 처리는 데이터가 생성되자마자 바로 처리하는 기술과 그 원리에 대해 다뤘습니다.

이 장에 대한 주요 개념으로는 데이터 파이프라인, 메시지 브로커, 이벤트 타임 vs 프로세스 타임, 상태 저장/무상태 연산, 장애 복구와 정확성 보장 등에 대한 이슈가 있었습니다.

요즘 실시간 데이터 처리 등에 대해 관심이 많아, 개인적으로 흥미있게 들은 것 같습니다.

12장 데이터 시스템의 미래

12장은 책의 마무리 장으로,

지금까지 배운 다양한 데이터 시스템의 구조와 기법들이 실제 애플리케이션 설계에서 일으키는 트레이드오프와 앞으로의 진화 방향을 다루었는데요,

김진님이 발표를 맡아 진행해주셨습니다.

시스템 설계자와 개발자는 일관성, 가용성, 성능, 확장성, 복잡성 간의 균형을 늘 고민해야한다고 강조하셨는데,

머리로는 알고 있으면서도 실제로 적용하기 어려운 개념이라 조금 반성의 시간을 갖게 되었습니다.

데이터베이스, 메시징 시스템, 분산파일시스템, 배치/스트림 처리 시스템 등 각종 컴포넌트는 모두 장단점을 가지며, 하나의 완벽한 해답은 없습니다.

그렇기 때문에 책의 저자분은 업무 목표와 데이터 처리 특성, 장애 복구 전략 등에 따라 여러 방식을 선택하고, 조합하고, 설계하는 것이 중요하다고 말했습니다.

길다면 길고 짧다면 짧은 오픈랩이 어느덧 마무리 단계에 들어오게 되었는데요,

마지막까지 함께해주신 모든 스터디원분들께 정말로 감사의 말씀을 드리고 싶습니다. 다들 정말 고생 많으셨습니다!