[SpringBatch 연재 07] MyBatisPagingItemReader로 DB내용을 읽고, MyBatisItemWriter로 DB에 쓰기

KIDO 24.11.14

3,439 7 4

facebook twitter kakao link

7 4

facebook twitter kakao link

DEVOTEE 요약: MyBatis는 여전히 Spring Java 프로젝트에서 인기 있는 ORM 도구로, 직관적인 사용법과 DB Tool을 통한 쿼리 실행이 장점입니다. MyBatis를 Spring Batch에서 사용하는 방법으로 MyBatisPagingItemReader를 통해 데이터를 읽고, MyBatisBatchItemWriter를 통해 데이터를 저장합니다. MyBatisPagingItemReader는 설정이 간편하며 쿼리 최적화와 동적 쿼리 생성 장점을 갖고 있지만, MyBatis 의존성과 커스터마이징의 복잡성이 단점입니다.

DEVOTEE 추천 블로그

여전히 Spring Java 기반의 프로젝트에서 많이 사용하고 있는 ORM(?) 툴중의 하나는 MyBatis이다.

직관적인 사용법과, 쿼리를 mapper 파일에 직접 기술하고, 이를 DB Tool을 통해 수행할 수 있는 장점이 있는 도구라서 여전히 인기가 있는것 같다.

MyBatis를 Spring Batch에서 사용하는 방법을 알아보자.

MyBatisItemReader

MyBatisPagingItemReader Spring Mybatis에서 제공하는 ItemReader 인터페이스를 구현하는 클래스이다.

MyBatis의 Object Relation Mapper를 이용하며 다음과 같은 특징을 가지고 있다.

장점:

간편한 설정: MyBatis 쿼리 매퍼를 직접 활용하여 데이터를 읽을 수 있어 설정이 간편하다.
쿼리 최적화: MyBatis의 다양한 기능을 활용하여 최적화된 쿼리를 작성할 수 있다.
동적 쿼리 지원: 런타임 시 조건에 따라 동적으로 쿼리를 생성할 수 있다.

단점:

MyBatis 의존성: MyBatis 라이브러리에 의존해야 한다.
커스터마이징 복잡: Chunk-oriented Processing 방식과 비교했을 때 커스터마이징이 더 복잡할 수 있다.

주요 구성 요소

SqlSessionFactory: MyBatis 설정 정보 및 SQL 쿼리 매퍼 정보를 담고 있는 객체이다.
QueryId: 데이터를 읽을 MyBatis 쿼리 ID이다.
PageSize: 페이징 쿼리를 위한 페이지 크기를 지정한다.

1. SqlSessionFactory:

MyBatisPagingItemReader SqlSessionFactory 객체를 통해 MyBatis와 연동된다.
SqlSessionFactory는 다음과 같은 방법으로 설정할 수 있다.
@Bean 어노테이션을 사용하여 직접 생성
Spring Batch XML 설정 파일에서 설정
Java 코드에서 직접 설정

2. QueryId:

MyBatisPagingItemReader setQueryId() 메소드를 통해 데이터를 읽을 MyBatis 쿼리 ID를 설정한다.
쿼리 ID는 com.example.mapper.CustomerMapper.selectCustomers 와 같은 형식으로 지정된다.

3. PageSize:

MyBatisItemReader는 pageSize를 이용하여 offset, limit 을 이용하는 기준을 설정할 수 있다.

4. 추가 구성 요소:

SkippableItemReader: 오류 발생 시 해당 Item을 건너뛸 수 있도록 한다.
ReadListener: 읽기 시작, 종료, 오류 발생 등의 이벤트를 처리할 수 있도록 한다.
SaveStateCallback: 잡의 중단 시 현재 상태를 저장하여 재시작 시 이어서 처리할 수 있도록 한다.

샘플 코드

Customer 작성

package com.schooldevops.springbatch.batchsample.jobs.models;

import lombok.Data;

@Data
public class Customer {
    private Long id;
    private String name;
    private int age;
    private String gender;
}

Customer 객체를 지정한다.

MyBatisPagingItemReader 작성하기

    @Bean
    public MyBatisPagingItemReader<Customer> myBatisItemReader() throws Exception {

        return new MyBatisPagingItemReaderBuilder<Customer>()
                .sqlSessionFactory(sqlSessionFactory)
                .pageSize(CHUNK_SIZE)
                .queryId("com.schooldevops.springbatch.batchsample.jobs.selectCustomers")
                .build();
    }

MyBatisPagingItemReader 를 이용하여 DB 쿼리 결과를 읽을 수 있도록 ItemReader를 반환한다.
sqlSessionFactory: 세션 팩토리를 지정한다.
pageSize: 페이징 단위를 지정한다.
parameterValues: 파라미터를 전달할 수 있다.

query 작성하기

customer.xml 파일을 지정하고 다음과 같이 쿼리를 작성한다.

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
    PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
    "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="com.schooldevops.springbatch.batchsample.jobs">

	<resultMap id="customerResult" type="com.schooldevops.springbatch.batchsample.jobs.models.Customer">
		<result property="id" column="id"/>
		<result property="name" column="name"/>
		<result property="age" column="age"/>
		<result property="gender" column="gender"/>
	</resultMap>

	<select id="selectCustomers" resultMap="customerResult">
		SELECT id, name, age, gender
		FROM customer
		LIMIT #{_skiprows}, #{_pagesize}
	</select>
</mapper>

namespace: 쿼리들을 그룹화해서 모아놓은 이름 공간이다.
resultMap: 결과로 반환할 결과맵을 지정한다. 이는 db 칼럼과, java 필드 이름을 매핑한다.
select: 쿼리를 지정한다.
#{_skiprows}: 오프셋을 이야기하며, 쿼리 결과에서 얼마나 스킵할지 지정한다. pageSize를 지정했다면 자동으로 계산된다.
#{_pagesize}: 한번에 가져올 페이지를 지정한다.

전체 코드 보기

package com.schooldevops.springbatch.batchsample.jobs.mybatis;

import com.schooldevops.springbatch.batchsample.jobs.models.Customer;
import lombok.extern.slf4j.Slf4j;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.batch.MyBatisPagingItemReader;
import org.mybatis.spring.batch.builder.MyBatisPagingItemReaderBuilder;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.job.builder.JobBuilder;
import org.springframework.batch.core.launch.support.RunIdIncrementer;
import org.springframework.batch.core.repository.JobRepository;
import org.springframework.batch.core.step.builder.StepBuilder;
import org.springframework.batch.item.file.FlatFileItemWriter;
import org.springframework.batch.item.file.builder.FlatFileItemWriterBuilder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.FileSystemResource;
import org.springframework.transaction.PlatformTransactionManager;

import javax.sql.DataSource;

@Slf4j
@Configuration
public class MyBatisReaderJobConfig {

    /**
     * CHUNK 크기를 지정한다.
     */
    public static final int CHUNK_SIZE = 2;
    public static final String ENCODING = "UTF-8";
    public static final String MYBATIS_CHUNK_JOB = "MYBATIS_CHUNK_JOB";

    @Autowired
    DataSource dataSource;

    @Autowired
    SqlSessionFactory sqlSessionFactory;

    @Bean
    public MyBatisPagingItemReader<Customer> myBatisItemReader() throws Exception {

        return new MyBatisPagingItemReaderBuilder<Customer>()
                .sqlSessionFactory(sqlSessionFactory)
                .pageSize(CHUNK_SIZE)
                .queryId("com.schooldevops.springbatch.batchsample.jobs.selectCustomers")
                .build();
    }


    @Bean
    public FlatFileItemWriter<Customer> customerCursorFlatFileItemWriter() {
        return new FlatFileItemWriterBuilder<Customer>()
                .name("customerCursorFlatFileItemWriter")
                .resource(new FileSystemResource("./output/customer_new_v4.csv"))
                .encoding(ENCODING)
                .delimited().delimiter("\t")
                .names("Name", "Age", "Gender")
                .build();
    }


    @Bean
    public Step customerJdbcCursorStep(JobRepository jobRepository, PlatformTransactionManager transactionManager) throws Exception {
        log.info("------------------ Init customerJdbcCursorStep -----------------");

        return new StepBuilder("customerJdbcCursorStep", jobRepository)
                .<Customer, Customer>chunk(CHUNK_SIZE, transactionManager)
                .reader(myBatisItemReader())
                .processor(new CustomerItemProcessor())
                .writer(customerCursorFlatFileItemWriter())
                .build();
    }

    @Bean
    public Job customerJdbcCursorPagingJob(Step customerJdbcCursorStep, JobRepository jobRepository) {
        log.info("------------------ Init customerJdbcCursorPagingJob -----------------");
        return new JobBuilder(MYBATIS_CHUNK_JOB, jobRepository)
                .incrementer(new RunIdIncrementer())
                .start(customerJdbcCursorStep)
                .build();
    }
}

WrapUp

여기서는 MyBatis를 이용하여, 페이징을 이용한 청크단위 처리를 수행했다.
Mybatis는 쿼리를 직접 작성하고, 쿼리 내용직접 최적화 할수 있는 장점이 있다.
pageSize를 이용하면 자동으로 offset과 pagesize를 자동으로 계산하여 페이징 처리를 수행해준다.
ItemWriter은 단순하게 파일로 작성한 예제를 확인했다.

MyBatisItemWriter

MyBatisBatchItemWriter Spring Batch에서 제공하는 ItemWriter 인터페이스를 구현하는 클래스이다.
데이터를 MyBatis를 통해 데이터베이스에 저장하는 데 사용된다.

구성 요소

SqlSessionTemplate: MyBatis SqlSession 생성 및 관리를 위한 템플릿 객체이다.
SqlSessionFactory: SqlSessionTemplate 생성을 위한 팩토리 객체이다.
StatementId: 실행할 MyBatis SQL 맵퍼의 스테이tement ID이다.
ItemToParameterConverter: 객체를 ParameterMap으로 변경할수 있다.

장점

ORM 연동: MyBatis를 통해 다양한 데이터베이스에 데이터를 저장할 수 있다.
SQL 쿼리 분리: SQL 쿼리를 Java 코드로부터 분리하여 관리 및 유지 보수가 용이하다.
유연성: 다양한 설정을 통해 원하는 방식으로 데이터를 저장할 수 있다.

단점

설정 복잡성: MyBatis 설정 및 SQL 맵퍼 작성이 복잡할 수 있다.
데이터베이스 종속: 특정 데이터베이스에 종속적이다.
오류 가능성: 설정 오류 시 데이터 손상 가능성이 있다.

샘플

Mybatis xml작성하기

customer.xml 파일을 다음과 같이 작성한다.

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="com.schooldevops.springbatch.batchsample.jobs">

    <resultMap id="customerResult" type="com.schooldevops.springbatch.batchsample.jobs.models.Customer">
        <result property="id" column="id"/>
        <result property="name" column="name"/>
        <result property="age" column="age"/>
        <result property="gender" column="gender"/>
    </resultMap>

    <insert id="insertCustomers" parameterType="com.schooldevops.springbatch.batchsample.jobs.models.Customer">
        INSERT INTO customer2(name, age, gender) VALUES (#{name}, #{age}, #{gender});
    </insert>
</mapper>

MyBatisBatchItemWriter 작성하기

    @Bean
    public MyBatisBatchItemWriter<Customer> mybatisItemWriter() {
        return new MyBatisBatchItemWriterBuilder<Customer>()
                .sqlSessionFactory(sqlSessionFactory)
                .statementId("com.schooldevops.springbatch.batchsample.jobs.insertCustomers")
                .build();
    }

Map으로 파라미터를 전달한다면 다음과 같이 작성할수도 있다.

    @Bean
    public MyBatisBatchItemWriter<Customer> mybatisItemWriter() {
        return new MyBatisBatchItemWriterBuilder<Customer>()
                .sqlSessionFactory(sqlSessionFactory)
                .statementId("com.schooldevops.springbatch.batchsample.jobs.insertCustomers")
               .itemToParameterConverter(item -> {
                   Map<String, Object> parameter = new HashMap<>();
                   parameter.put("name", item.getName());
                   parameter.put("age", item.getAge());
                   parameter.put("gender", item.getGender());
                   return parameter;
               })
                .build();
    }

결과보기

ID,Name,Age,Female
1,unclebae,40,Male
2,superman,45,Male
3,WonderWoman,30,Female

WrapUp

지금까지 MyBatisBatchItemWriter를 작성해 보았다.
mybatis를 이용하여 ORM을 이용하고자 한다면 MyBatisBatchItemWriter로 청크단위 업데이트를 수행할 수 있다.
쿼리를 xml로 작성하고, 쿼리를 statementId를 통해서 조회하여 해당 쿼리를 수행하여 데이터를 DB에 밀어 넣었다.

#Spring #Programming Language

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

KIDO 님의 최신 블로그

PIP를 대체하는 UV 사용법 가이드

이제 PIP 대신에 uv를 사용하기 UV는 Rust로 작성된 매우 빠른 Python 패키지 및 프로젝트 관리자입니다. 이 튜토리얼에서는 UV의 설치부터 기본적인 사용법까지 단계별로 알아보겠습니다. UV 소개 UV는 Python 패키지 관리와 프로젝트 관리를 위한 현대적인 도구입니다. 주요 특징은 다음과 같습니다: ⚡️ pip보다 10-100배 빠른 속도 🐍 Python 버전 관리 지원 🗂️ 종합적인 프로젝트 관리 기능 💾 디스크 공간 효율적인 전역 캐시 🖥️ macOS, Linux, Windows 지원 관련 github: https://github.com/astral-sh/uv PIP vs UV 비교 작업 pip + venv uv 프로젝트 초기화 mkdir...
[SpringBatch 연재 11] Job 및 Step 마다 시작/종료시 특정 작업 수행하기

Job 및 Step 마다 시작/종료시 특정 작업 수행하기 스프링 배치 프레임워크는 Job내부에 여러개의 Step을 수행할 수 있는 구조라는 것을 지금까지 아티클을 통해서 익숙해 졌을 것이다. 그렇다면 Job 시작하고, 종료할 때 특정 작업(보통 처리된 통계 내역등을 확인하여 리포트를 보내야하는 경우)이 있는 경우라면 어떻게 할 수 있을까? 혹은 Step 을 시작하고, 종료할 때 특정 로깅을 해야한다면 어떻게 할 수 있을까? 이번 아티클에서 스프링 배치는 Listener 를 이용할 수 있다. Job Listener 이용하기 JobListener은 Job이 시작/종료 할때마다 특정 이벤트를 수행하고 싶은경우 사용된다. 아래와 같이 Listener를 생성해볼 것이다. ...
[SpringBatch 연재 10] 스프링배치 플로우 컨트롤 하기

SpringBatch Flow Controller 개요 Spring Batch에서 배치 수행 Flow 컨트롤은 여러 Step을 정의하고 조건에 따라 순서대로 실행하거나 특정 Step을 건너뛸 수 있도록 하는 기능이다. 이는 FlowBuilder API를 사용하여 설정된다. Flow 컨트롤 방법 next: 현재 Step이 성공적으로 종료되면 다음 Step으로 이동한다. from: 특정 Step에서 현재 Step으로 이동한다. on: 특정 ExitStatus에 따라 다음 Step을 결정한다. to: 특정 Step으로 이동한다. stop: 현재 Flow를 종료한다. end: FlowBuilder를 종료한다. Flow 컨트롤 샘플 코드 next next는 Start 스텝...
[SpringBatch 연재 09] 입맛에 맞는 배치 처리를 위한 Custom ItemReader/ItemWriter 구현방법 알아보기

이번시간에는 Custom ItemReader와 ItemWriter에 대해서 알아볼 것이다. 스프링 배치는 사전에 구현된 내장 ItemReader와 ItemWriter를 가지고 있어서 일반적인 케이스는 모두 수용이 가능하다. 그러나 특이 케이스나, 비즈니스 로직에 딱 맞는 배치를 수행하기 위해서 Customize가 필요하다. - 우선 QueryDsl을 이용하여 Paging하여 데이터베이스의 값을 읽어 들이는 QuerydslPagingItemReader를 구현해 볼 것이다. - 그리고 CustomItemWriter를 구현하여 타 서비스를 호출하는 샘플을 만들어 보자. QuerydslPagingItemReader 개요 Querydsl은 SpringBatch의 공식 It...

DEVOTEE 추천 블로그

[SpringBatch 연재 05] JdbcPagingItemReader로 DB내용을 읽고, JdbcBatchItemWriter로 DB에 쓰기

JdbcPagingItemReader 개요 JdbcPagingItemReader는 Spring Batch에서 제공하는 ItemReader로, 데이터베이스로부터 데이터를 페이지 단위로 읽는다. 대규모 데이터 처리 효율성: 메모리 사용량을 최소화하고 커밋 간격을 설정하여 대규모 데이터를 효율적으로 처리할 수 있다. 쿼리 최적화: SQL 쿼리를 직접 작성하여 최적화된 데이터 읽기가 가능하다. 커서 제어: 데이터베이스 커서를 사용하여 데이터 순회를 제어할 수 있다. JdbcPagingItemReader 주요 구성 요소 DataSource: 데이터베이스 연결 정보를 설정한다. SqlQuery: 데이터를 읽을 SQL 쿼리를 설정한다. RowMapper: SQL 쿼리 결과를 ...
[SpringBatch 연재 06] JpaPagingItemReader로 DB내용을 읽고, JpaItemWriter로 DB에 쓰기

JpaPagingItemReader 개요 JpaPagingItemReader는 Spring Batch에서 제공하는 ItemReader로, JPA를 사용하여 데이터베이스로부터 데이터를 페이지 단위로 읽는다. JPA 기능 활용: JPA 엔티티 기반 데이터 처리, 객체 매핑 자동화 등 JPA의 다양한 기능을 활용할 수 있다. 쿼리 최적화: JPA 쿼리 기능을 사용하여 최적화된 데이터 읽기가 가능하다. 커서 제어: JPA Criteria API를 사용하여 데이터 순회를 제어할 수 있다. JpaPagingItemReader 주요 구성 요소 EntityManagerFactory: JPA 엔티티 매니저 팩토리를 설정한다. JpaQueryProvider: 데이터를 읽을 JPA ...

목록으로

DEVOCEAN

로그인 선택

미리보기

커뮤니티

글 등록

임시저장함

데보션 블로그 게재 요청

[SpringBatch 연재 07] MyBatisPagingItemReader로 DB내용을 읽고, MyBatisItemWriter로 DB에 쓰기

MyBatisItemReader

장점:

단점:

주요 구성 요소

1. SqlSessionFactory:

2. QueryId:

3. PageSize:

4. 추가 구성 요소:

샘플 코드

Customer 작성

MyBatisPagingItemReader 작성하기

query 작성하기

전체 코드 보기

WrapUp

MyBatisItemWriter

구성 요소

장점

단점

샘플

Mybatis xml작성하기

MyBatisBatchItemWriter 작성하기

결과보기

WrapUp

KIDO 님의 최신 블로그

DEVOTEE 추천 블로그