⭐ JPA - 페이징 컬렉션, N+1 문제, 브릿지 뻥튀기 문제 해결 정리(+Batch Size)

devdo·2023년 7월 8일

JPA 배치사이즈

JPA

목록 보기

9/17

N + 1 문제 문제를 넘어서, fetch join 문제로 해결할려고 했지만,

JPA 컬렉션 필드를 Pagination할 때, fetch join으로 채택하는 순간
⚠️ 뻥튀기 되는 문제(MultipleBagFetchException) 즉, 중복문제!가 발생한다!

결국엔 Batch Size로 해결법으로 귀결!

1. 서브 쿼리 + groupBy

    @Override
    public Page<Board> findBoardPage(BoardRequestDto pageRequestDto) {
        Pageable pageable = pageRequestDto.getPageable();
        OrderSpecifier[] orderSpecifiers = createOrderSpecifier(pageRequestDto.getOrderCondition());

        List<Board> boardList = queryFactory
                .selectFrom(board)
                .leftJoin(board.categoryBridges, categoryBridge)
                .where(getSearch(pageRequestDto)
//                        , board.id.in(
//                                JPAExpressions
//                                        .select(categoryBridge.board.id)
//                                        .from(categoryBridge)
//                                        .where(categoryBridge.category.id.in(pageRequestDto.getCategoryIdList()))
//                        )
                )
                .groupBy(board.id)
                .offset(pageable.getOffset())
                .limit(pageable.getPageSize())
                .orderBy(orderSpecifiers)
                .fetch();

        JPAQuery<Long> countQuery = queryFactory
                .select(board.count())
                .from(board)
                .leftJoin(board.categoryBridges, categoryBridge)
                .where(getSearch(pageRequestDto)
//                        , board.id.in(
//                                JPAExpressions
//                                        .select(categoryBridge.board.id)
//                                        .from(categoryBridge)
//                                        .where(categoryBridge.category.id.in(pageRequestDto.getCategoryIdList()))
//                        )
                )
//                .groupBy(board.id)
                ;

        return PageableExecutionUtils.getPage(boardList, pageable, countQuery::fetchOne);
    }

2. 브릿지 -> 주테이블 IdList만 groupBy로 가져오고 + 인쿼리로 가져오기

    @Override
    public Page<Board> findBoardPage(BoardRequestDto pageRequestDto) {
        Pageable pageable = pageRequestDto.getPageable();
        OrderSpecifier[] orderSpecifiers = createOrderSpecifier(pageRequestDto.getOrderCondition());


        List<Long> boardIdList = queryFactory
                .select(board.id)
                .from(board)
                .leftJoin(board.tagBridges, tagBridge)
                .where(eqTagIdList(pageRequestDto))
                .groupBy(board.id)
                .fetch();

        log.info("boardIdList: {}", boardIdList);

        List<Board> boardList = queryFactory
                .selectFrom(board)
                .where(
                        board.id.in(boardIdList),
                        getSearch(pageRequestDto)
                )
                .offset(pageable.getOffset())
                .limit(pageable.getPageSize())
                .orderBy(orderSpecifiers)
                .fetch();

        JPAQuery<Long> countQuery = queryFactory
                .select(board.count())
                .from(board)
                .where(
                        board.id.in(boardIdList),
                        getSearch(pageRequestDto)
                )
                ;

        return PageableExecutionUtils.getPage(boardList, pageable, countQuery::fetchOne);
    }

-> 안됨!

in 쿼리로 들어올 idList 들이 너무 많아지면 문제 생김!

다 안되는 얘기!

Batch_size

이걸로 해결!

컬렉션은 지연 로딩으로 조회한다.
지연 로딩 성능 최적화를 위해 hibernate.default_batch_fetch_size ,
@BatchSize를 적용한다.
hibernate.default_batch_fetch_size: 글로벌 설정 => 이 방식을 씀!
이 옵션을 사용하면 컬렉션이나, 프록시 객체를 한꺼번에 설정한 size 만큼 IN 쿼리로 조회한다.
Batch size를 채택할시,⭐ 컬렉션 필드를 위한 fetch join 처리는 이제 쓰지 않는다! => 알아서 IN 쿼리로 변환!

application.yml

  jpa:
    open-in-view: true
    hibernate:
      ddl-auto: update
      naming:
        physical-strategy: org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl
    show-sql: true
    properties:
      hibernate:
        format_sql: true
        default_batch_fetch_size: 100  # 위치 꼭 이곳!
      dialect: org.hibernate.dialect.MySQL8Dialect

Entity

    @BatchSize(size = 100)
    @OneToMany(mappedBy = "board")
    private List<TagBridge> tagBridges = new ArrayList<>();

ProjectRepositoryCustomImpl

    @Override
    public Page<Project> findPageBy(ProjectSearchRequest request, String userEmail) {

        Pageable pageable = createPageable(request.getPage(), request.getSize(), request.getSort());


        List<Project> projects = queryFactory
                .selectFrom(project)
//                // 필요한 연관관계만 fetch join (N+1 방지) -> Batch size 설정으로 대체, 만약 fetch join 사용 시 페이징 오류 발생
//                .leftJoin(project.tasks)
//                .leftJoin(project.labels)
//                .leftJoin(project.userProjects)
                .where(
                        notRemoved(),  // ⭐ 프로젝트가 제거되지 않은 상태조건(필수)
                        containsSearchKeyword(request.getSearchKeyword()),  // 검색어 필터
                        eqStatus(request.getStatus()),                      // 상태 필터
                        filterByUserAccess(userEmail)  // 🔐 사용자별 프로젝트 접근 권한 필터
                )
                .orderBy(createCustomOrderSpecifier(request.getOrderCondition()))       // 커스텀 정렬 조건
                .offset(pageable.getOffset())
                .limit(pageable.getPageSize())
                .fetch();

        log.info("projects: {}", projects);

        // 카운트 쿼리 (최적화된 단순 카운트)
        Long total = queryFactory
                .select(project.count())
                .from(project)
//                // 필요한 연관관계만 fetch join (N+1 방지)
//                .leftJoin(project.tasks)
//                .leftJoin(project.labels)
//                .leftJoin(project.userProjects)
                .where(
                        notRemoved(),  // ⭐ 프로젝트가 제거되지 않은 상태조건(필수)
                        containsSearchKeyword(request.getSearchKeyword()),
                        eqStatus(request.getStatus()),
                        filterByUserAccess(userEmail)  // 🔐 사용자별 프로젝트 접근 권한 필터
                )
                .fetchOne();
        log.info("📊 프로젝트 페이지 조회 결과 - 총 {}개 프로젝트 조회됨", total);

        return PageableExecutionUtils.getPage(projects, pageable, () -> total != null ? total : 0L);
    }