인재DB 채용공고 SEARCH SEARCH

로그인 선택

미리보기

커뮤니티

1,234

23.06.15

글 등록

카테고리를 선택해주세요.

DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.

버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.

임시저장함에 저장되었습니다. 저장일시 : 2022.5.17 14:29:08

임시저장함

제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.

컨텐츠 유형, 제목, 저장일시, 삭제로 이뤄진 임시저장 목록
컨텐츠 유형	제목	저장일	삭제

커뮤니티 글 보기 메세지 보내기

프로필
MBTI 분석 보기
관심사 분석 보기

Github URL

Linkedin URL

데보션 블로그 게재 요청

이메일주소 *
외부 블로그 및 동영상 URL 주소 *

본인인증 실패

본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.

확인

OpenLab - Kotlin, 코틀린 토이 프로젝트 아키텍처

KIDO 24.06.03

120 1 0

facebook twitter kakao link

1 0

facebook twitter kakao link

DEVOTEE 요약: Kotlin 오픈랩 스터디에서는 Spring, Kotlin, OpenAPI를 사용한 아키텍처를 구성하고 이를 위한 Docker-Compose 설정을 학습했습니다. 주요 기술 스택에는 Kotlin, SpringBoot, Redis, JPA, MySQL 등이 포함되며, Kafka와 Redis, MySQL을 주요 인프라 컴포넌트로 사용합니다. 설정된 Docker-Compose 파일을 활용해 여러 컨테이너들을 관리하고, 명령어를 통해 환경을 쉽게 시작하고 정지할 수 있습니다.

DEVOTEE 추천 블로그

안녕하세요.

이번 시간에는 Kotlin 오픈랩 스터디에서 사용할 아키텍처 스택을 정리해 보는 시간을 가졌습니다.

우리의 주 목적이 Spring + Kotlin + OpenAPI 이기 때문에 프로젝트 구성을 위한 아키텍처를 공유하였습니다.

이어 이러한 아키텍처를 구성하기 위한 인프라 구성을 위한 Docker-Compose에 대해서도 배우는 시간을 가졌답니다.

아키텍처 및 기술스택 선정하기

Architecture Overview

사용자
- MySQL: 사용자 정보 저장
- Kafka: 사용자 관련 처리를 위한 발송관리용
- Redis: 사용자 토큰, 사용자 정보 캐싱
프로젝트
- MySQL: 프로젝트 정보 저장
- Redis: 프로젝트 정보 캐싱
API 스펙관리
- MySQL: 스펙 메타정보 저장
- Kafka: 파일 후처리 전용 (삭제, git/S3/HostFile 동기화)
- Redis: 스펙정보 캐싱

기술스택 선정

Language: kotlin
Web Framework: SpringBoot
Cache Tool: Redis
ORM: JPA + query dsl + jooQ
DBMS: MySQL
Event Broker: Kafka
File Storage: S3
Source Version Control: GitHub
ETC:
- Tika: File Media Type Check Library
- ...

Docker Compose

Docker Compose는 여러 Docker 컨테이너들을 하나의 환경에서 수행될 수 있도록 컨테이너 관리를 수행할 수 있는 도구이다.

설정

우리는 다음과 같은 툴을 설치할 것이다.
Kafka 설정
- ZooKeeper: Kafka의 메타정보 및 상태관리
- Kafka 1 ~ 3: Kafka Broker
- Kafka-UI: UI for Apache kafka 로 카프카 모니터링 수행
Redis 설정
MySQL 설정

version: '3.7'
services:
  zookeeper-1:
    image: confluentinc/cp-zookeeper:5.5.1
    platform: linux/amd64
    ports:
      - '32181:32181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181
      ZOOKEEPER_TICK_TIME: 2000

  kafka-1:
    image: confluentinc/cp-kafka:5.5.1
    platform: linux/amd64
    ports:
      - '9092:9092'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-1:29092,EXTERNAL://localhost:9092
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

  kafka-2:
    image: confluentinc/cp-kafka:5.5.1
    platform: linux/amd64
    ports:
      - '9093:9093'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-2:29093,EXTERNAL://localhost:9093
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

  kafka-3:
    image: confluentinc/cp-kafka:5.5.1
    platform: linux/amd64
    ports:
      - '9094:9094'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-3:29094,EXTERNAL://localhost:9094
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

  redis_container:
    image: redis:latest
    container_name: redis_test
    ports:
      - 6379:6379
    volumes:
      - ./redis/data:/data
      - ./redis/conf/redis.conf:/usr/local/conf/redis.conf
    labels:
      - "name=redis"
      - "mode=standalone"
    restart: always
    command: redis-server /usr/local/conf/redis.conf

  mysql:
    image: mysql:latest
    platform: linux/arm64
    restart: always
    volumes:
      - ./db/mysql/data:/var/lib/mysql
      - ./db/mysql/init:/docker-entrypoint-initdb.d
    ports:
      - 3306:3306
    environment:
      MYSQL_ROOT_PASSWORD: root1234
      TZ: Asia/Seoul
      MYSQL_DATABASE: myDb
      MYSQL_USER: testuser
      MYSQL_PASSWORD: testuser1234

  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    depends_on:
      - kafka-1
      - kafka-2
      - kafka-3
    environment:
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: INTERNAL://kafka-1:29092,INTERNAL://kafka-2:29093,INTERNAL://kafka-3:29094
      KAFKA_CLUSTERS_0_ZOOKEEPER: "zookeeper-1:32181"

실행

docker-compose.yaml 파일이 존재하는 위치로 이동한다.
이후 docker-compose -f docker-compose.yaml up -d 를 수행한다.

cd sources/infra-sources

docker-compose -f docker-compose.yaml up -d

다음과 같은 결과를 얻을 수 있다.

[+] Running 11/11
 ✔ Container redis_test2                                                                                                                                           Started      3.7s 
 ✔ Container infra-sources-zookeeper-1-1                                                                                                                           Started      3.6s 
 ✔ Container my-dynamodb                                                                                                                                           Started      3.7s 
 ✔ Container infra-sources-mysql-1                                                                                                                                 Started      3.8s 
 ✔ Container redis_test                                                                                                                                            Started      3.7s 
 ! redis_container2 The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested              0.0s 
 ! redis_container The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested               0.0s 
 ✔ Container infra-sources-kafka-3-1                                                                                                                               Started      5.4s 
 ✔ Container infra-sources-kafka-1-1                                                                                                                               Started      5.3s 
 ✔ Container infra-sources-kafka-2-1                                                                                                                               Started      5.3s 
 ✔ Container kafka-ui                                                                                                                                              Started      5.8s

정지하기

정지하기 위해서는 다음과 같은 명령어를 수행한다.

docker-compose -f docker-compose.yaml down

#학습 모임 기록

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

KIDO 님의 최신 블로그

PIP를 대체하는 UV 사용법 가이드

이제 PIP 대신에 uv를 사용하기 UV는 Rust로 작성된 매우 빠른 Python 패키지 및 프로젝트 관리자입니다. 이 튜토리얼에서는 UV의 설치부터 기본적인 사용법까지 단계별로 알아보겠습니다. UV 소개 UV는 Python 패키지 관리와 프로젝트 관리를 위한 현대적인 도구입니다. 주요 특징은 다음과 같습니다: ⚡️ pip보다 10-100배 빠른 속도 🐍 Python 버전 관리 지원 🗂️ 종합적인 프로젝트 관리 기능 💾 디스크 공간 효율적인 전역 캐시 🖥️ macOS, Linux, Windows 지원 관련 github: https://github.com/astral-sh/uv PIP vs UV 비교 작업 pip + venv uv 프로젝트 초기화 mkdir...
[SpringBatch 연재 11] Job 및 Step 마다 시작/종료시 특정 작업 수행하기

Job 및 Step 마다 시작/종료시 특정 작업 수행하기 스프링 배치 프레임워크는 Job내부에 여러개의 Step을 수행할 수 있는 구조라는 것을 지금까지 아티클을 통해서 익숙해 졌을 것이다. 그렇다면 Job 시작하고, 종료할 때 특정 작업(보통 처리된 통계 내역등을 확인하여 리포트를 보내야하는 경우)이 있는 경우라면 어떻게 할 수 있을까? 혹은 Step 을 시작하고, 종료할 때 특정 로깅을 해야한다면 어떻게 할 수 있을까? 이번 아티클에서 스프링 배치는 Listener 를 이용할 수 있다. Job Listener 이용하기 JobListener은 Job이 시작/종료 할때마다 특정 이벤트를 수행하고 싶은경우 사용된다. 아래와 같이 Listener를 생성해볼 것이다. ...
[SpringBatch 연재 10] 스프링배치 플로우 컨트롤 하기

SpringBatch Flow Controller 개요 Spring Batch에서 배치 수행 Flow 컨트롤은 여러 Step을 정의하고 조건에 따라 순서대로 실행하거나 특정 Step을 건너뛸 수 있도록 하는 기능이다. 이는 FlowBuilder API를 사용하여 설정된다. Flow 컨트롤 방법 next: 현재 Step이 성공적으로 종료되면 다음 Step으로 이동한다. from: 특정 Step에서 현재 Step으로 이동한다. on: 특정 ExitStatus에 따라 다음 Step을 결정한다. to: 특정 Step으로 이동한다. stop: 현재 Flow를 종료한다. end: FlowBuilder를 종료한다. Flow 컨트롤 샘플 코드 next next는 Start 스텝...
[SpringBatch 연재 09] 입맛에 맞는 배치 처리를 위한 Custom ItemReader/ItemWriter 구현방법 알아보기

이번시간에는 Custom ItemReader와 ItemWriter에 대해서 알아볼 것이다. 스프링 배치는 사전에 구현된 내장 ItemReader와 ItemWriter를 가지고 있어서 일반적인 케이스는 모두 수용이 가능하다. 그러나 특이 케이스나, 비즈니스 로직에 딱 맞는 배치를 수행하기 위해서 Customize가 필요하다. - 우선 QueryDsl을 이용하여 Paging하여 데이터베이스의 값을 읽어 들이는 QuerydslPagingItemReader를 구현해 볼 것이다. - 그리고 CustomItemWriter를 구현하여 타 서비스를 호출하는 샘플을 만들어 보자. QuerydslPagingItemReader 개요 Querydsl은 SpringBatch의 공식 It...

DEVOTEE 추천 블로그

OpenLab - Kotlin 웹 어플리케이션 개발 오프라인 모임(1회차)

안녕하세요 :) 데보션 영 3기 Commit조 김경환 입니다. 저번 4월 30일에 첫 오프라인 Kotlin Study 시간을 가졌습니다! 온라인 OT때 스터디원 분들에 대해 소개를 들었지만,, 오프라인으로 뵈니 더 멋있고 굉장하신..! 분들을 뵈어 영광이였습니다. 사실 저는 대학생 신분으로 대기업 현업자 분들을 만날 기회가 많이 없어 많이 떨리기도 했지만, 기대반 설램반으로 참석했습니다 :) SKT T타워 지하에서 진행했는데요! 도착하니 저희 꼬마집사님께서 김밥과 음료를 들고 와주셔서 너무 반갑고 감사했습니다 ㅎㅎ (사실 저녁을 못먹고 가서... 저에게는 너무 한줄기 빛 같았던.. 〉_〈) 스터디 시간에는 실제로 현업에서 어떻게 일하는지, 어떤 프로세스를 가지고,...
OpenLab - Kotlin, 토이프로젝트에 대한 EventStorming 과 API 정의

지금까지 Kotlin OpenLab은 이벤트 스토밍, 그리고 개략적으로 우리가 무엇을 만들지에 대한 이야기를 했었습니다. 숙제로 각자 이벤트 스토밍을 해보고, 서로 공유하는 시간을 가졌습니다. 오늘은 다음 작업을 진행했습니다 . 1. 이벤트 스토밍 〉 API 스펙 정의 2. API 스펙을 OpenAPI Spec 공부하기 API Spec 정의하기 사용자 관련 Aggregate 사용자 사용자 아이디 사용자 이름 사용자 phone 사용자 메일주소 사용자 비밀번호 사용자 비밀번호 확인 사용여부 탈퇴여부 audit 생성일 생성자 수정일 수정자 사용자 토큰 accessToken refreshToken 사용자 조회 조건 사용자 정보: 사용자 Aggregate 일자 조건: 생성...
OpenLab - Kotlin 5회차, Cache 도입하기

안녕하세요 전 데보션영 2기로 활동했던 강다빈입니다. 지난 6월 25일 화요일 OpenLab 백엔드 코틀린 스터디에서 공부한 것들과 후기를 공유하고자 합니다. Cache를 사용해봅시다 지난 번 스터디때는 Exposed라는 Kotlin 기반 ORM 프레임워크를 스프링 부트 프로젝트에 적용하는 방법과 테이블에서 PK 만드는 관계 등을 공부했고, Transactional의 여러가지 propagation 방식, 스프링의 Auto Config(참고 추천 -〉 SpringBoot 나만의 의존성 설정하기), Kotlin의 문법과 TDD에 필요한 어노테이션 등을 공부했습니다. 배운 것들을 바탕으로 프로젝트에 UserServiceTest 코드를 잘 돌아가게 만들어보려고 밤새 고군...
OpenLab - Kotlin 6회차, Kafka

안녕하세요, kchabin이란 이름으로 활동 중인 강다빈입니다.😎 저번엔 오픈랩 코틀린 스터디 5회차 후기글을 작성했었는데요, 이번엔 마지막 6회차 스터디에서 배운 Kafka 내용 정리와 회고를 해보고자 합니다. Kafka Kafka는 로그 기반의 분산 스트리밍 플랫폼입니다. Kafka와 RabbitMQ의 차이점 둘 다 스트림 처리에 사용할 수 있는 메시지 대기열 시스템입니다. Kafka는 대용량의 실시간 데이터를 처리하고 저장하는데 중점을 두고, RabbitMQ는 메시지를 송신자에서 수신자로 전달하는데 중점을 둡니다. (AWS:Kafka와 RabbitMQ의 차이점은 무엇인가요?) 이미지 출처 : Part 1: RabbitMQ for beginners - Wha...

목록으로