💡 이 글은 회사 인턴 기간에 스터디한 내용을 정리한 글입니다!

1. Thread Pool

1.1 필요성

쓰레드풀(Thread Pool)을 정의하기에 앞서 문제 상황 하나를 먼저 생각해보자.

사용자 요청이 들어올 때마다 쓰레드를 만들고 싶다!
이런 구조는 특히 웹에서 매우 흔하다.

사용자 요청마다 쓰레드를 새로 만들어서 작업을 수행하도록 구현했다.
만약 사용자 요청이 많아지면 어떻게 될까?

쓰레드가 너무 많아져서 프로그램이 예상치 못한 동작을 할 수 있다.
심한 경우 프로그램이 종료된다..!

그래서 쓰레드풀(Thread Pool)을 사용해 이런 상황을 예방한다.

1.2 개념

개발 분야에서는 Pool이라는 단어가 흔하게 사용된다.(Connection Pool, Thread Pool ...)
개발 분야에서 Pool이란, 어떤 대상을 Pool에 여러개 넣어두고 관리하는 느낌으로 사용한다.

그래서 쓰레드풀(Thread Pool)도 여러 쓰레드를 Pool에 넣어두고 관리하며 사용할 수 있게 해준다.

1.3 장점

1.3.1 자원 효율성

쓰레드풀에는 쓰레드 갯수의 최솟값과 최댓값을 지정할 수 있다.
쓰레드풀은 최솟값만큼의 쓰레드를 프로그램이 기동될 때 미리 생성한다.
이 쓰레드들은 계속 가지고 있다가 작업이 들어오면 할당하기 때문에 쓰레드를 새로 생성/삭제하는 비용이 줄어든다.

1.3.2 작업 제어

위에서 설명했듯이 쓰레드풀은 쓰레드 갯수를 조절할 수 있다.
쓰레드 갯수를 많게 하면 요청이 많아졌을 때 부하를 줄일 수 있다.
쓰레드 갯수를 적게 하면 메모리를 절약할 수 있다.
프로그램의 특성에 맞게 작업을 제어할 수 있다.

1.3.3 쓰레드 관리

뒤에서 설명할 여러 옵션을 활용하여 쓰레드의 생명 주기를 관리할 수 있다.

1.4 단점

1.4.1 유연하지 못한 대기시간

1분 걸리는 작업과 1초 걸리는 작업이 섞여서 쓰레드풀을 사용한 프로그램에 들어온다고 생각해보자.
시간이 좀 지나고나면 쓰레드풀의 쓰레드들은 모두 1분 걸리는 작업이 진행중일 것이다.
그러면 그 뒤에 들어오는 1초 걸리는 작업들은 실제 작업 시간보다 훨씬 긴 시간을 대기시간으로 소모하게 된다.

이렇게 작업의 크기가 차이나는 작업들이 섞여 들어올 경우 비효율이 발생할 수 있다.

1.4.2 데드락 발생 가능

이건 쓰레드풀의 단점이라기보다는 멀티쓰레드 프로그래밍에 대표적인 주의점이다.
각 쓰레드가 수행하는 작업 간에 의존성이 존재한다면 데드락이 발생할 수 있다.

1.5 사용하기 좋은 상황

위 단점을 조합하면 다음과 같은 결론을 내릴 수 있다.

쓰레드풀은 실행 규모가 비슷하고 서로 독립적인 작업일 때 사용하기 좋다!

즉, 웹 개발에서 사용하기 좋다.

1.6 Java vs Spring

Java에서는 java.util.concurrent 라이브러리를 활용해 쓰레드풀을 관리할 수 있다.
Spring에서는 ThreadPoolTaskExecutor 프레임워크를 활용해 쓰레드풀을 관리할 수 있다.

Java의 쓰레드풀 관리는 경량이며 프레임워크 의존성이 낮은 게 장점이다.
Spring의 쓰레드풀 관리는 여러 어노테이션과 통합할 수 있고 이를 통해 소스 코드를 간결하게 작성할 수 있는 게 장점이다.

우리는 Spring 관점에서 좀 더 자세히 들여다보자.

2. Task Executor

2.1 개념

TaskExecutor에 대해서 먼저 알아보자.

TaskExecutor는 Spring에서 비동기 작업 실행을 추상화한 인터페이스입니다.
구현체로는 다음과 같은 종류가 있다.

• SimpleAsyncTaskExecutor (Default)
• SyncTaskExecutor
• ConcurrentTaskExecutor
• ThreadPoolTaskExecutor

SimpleAsyncTaskExecutor는 Spring에서 비동기를 수행할 때 기본값으로 설정되는 TaskExecutor이다.
SimpleAsyncTaskExecutor는 요청이 들어올 때마다 쓰레드를 생성한다.
최대 쓰레드 갯수는 설정할 수 있지만 그 외에 자세한 설정은 어려워서 TreadPoolTaskExecutor를 사용하기를 권장한다.

2.2 @Async와의 관계

TaskExecutor는 비동기 작업 실행을 하기 위해 만들어졌다.
@Async 어노테이션을 사용한 메서드는 다른 쓰레드에서 비동기로 실행된다.
기본적으로는 SimpleAsyncTaskExecutor를 이용해 쓰레드를 관리하지만 Param을 통해 특정 TaskExecutor를 지정할 수 있다.

2.3 예제 코드

@Configuration
@EnableAsync
public class ThreadPoolConfig {

    @Bean(name = "taskExecutor")
    public Executor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(5);
        executor.setMaxPoolSize(10);
        executor.setQueueCapacity(25);
        executor.setThreadNamePrefix("Thread-");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setAwaitTerminationSeconds(30);
        executor.initialize();
        
        return executor;
    }
}

위 코드는 Config 클래스다.
@Bean 어노테이션으로 이름을 지정해서 taskExecutor를 생성하고 있다.
여러 설정이 보이는데 이는 2.4 옵션 및 설정에서 자세히 보도록 하자.

@RestController
public class ThreadPoolController {

    @Autowired
    private ThreadPoolService threadPoolService;

    @GetMapping("/start-tasks")
    public String startTasks(@RequestParam(defaultValue = "10") int taskCount) {
        for (int i = 0; i < taskCount; i++) {
            threadPoolService.executeTask("Task " + i);
        }
        return taskCount + " Tasks done!";
    }
}

위는 Controller 코드이다.
Service의 executeTask() 메서드를 반복해서 호출하고 있다.
해당 메서드는 비동기로 ThreadPoolTaskExecutor를 활용해 멀티쓰레드 작업을 하고 있다.

@Service
public class ThreadPoolService {

    @Async("taskExecutor")
    public void executeTask(String task) {
        System.out.println(Thread.currentThread().getName() + " is processing " + task);
        try {
            Thread.sleep(2000); // Simulate task
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        }
    }
}

위는 Service 코드이다.
ThreadPoolTaskExecutor를 지정해서 비동기로 작업한다.
2초 대기와 로그를 찍는 작업을 넣어 멀티쓰레드 동작을 확인할 수 있다.

위 코드를 동작하면 브라우저와 콘솔에서 다음과 같은 결과를 확인할 수 있다.

2.4 옵션 및 설정

여러 옵션이 있지만 대표적인 7가지 옵션만 살펴보자.

2.4.1 setCorePoolSize

기본 쓰레드 갯수를 의미한다.
최소 쓰레드 갯수로 이해하면 된다.
프로그램이 구동될 때 생성하여 종료될 때까지 유지된다.

기본값은 1이다.

2.4.2 setMaxPoolSize

최대 쓰레드 갯수를 의미한다.
corePoolSize만큼의 쓰레드가 모두 작업중일 때 새로운 작업이 들어오면 추가 쓰레드를 생성한다.
그리고 쓰레드는 기본 쓰레드까지 포함해서 최대 MaxPoolSize만큼 가지고 있을 수 있다.

기본값은 Integer.MAX_VALUE이다.

2.4.3 setQueueCapacity

큐의 용량이다.
용량이 가득찼는데 새로운 작업을 넣으려고 하면 RejectedExecutionHandler에 정의된 정책대로 행동한다.

기본값은 Integer.MAX_VALUE이다.

2.4.4 setThreadNamePrefix

쓰레드의 이름을 설정한다.
기본값은 클래스 이름이다.

2.4.5 setRejectedExecutionHandler

큐 용량을 초과하여 작업이 왔을 때, 처리 정책이다.
정책은 다음과 같은 종류가 있다.

• AbortPolicy (Default)
• DiscardPolicy
• DiscardOldestPolicy
• CallerRunsPolicy

하나씩 살펴보자.

AbortPolicy (Default)

거부 정책이다.
RejectedExecutionException을 던진다.

이를 통해 사용자에게 안내해서 서버 부하를 막을 수 있다.

DiscardPolicy

새로운 작업을 거부한다.
작업을 버리고 예외를 발생시키지 않는다.

DiscardOldestPolicy

큐에서 가장 오래된 작업을 버린다.
그리고 새로운 작업을 큐에 추가한다.

최신 요청 작업이 더 중요한 경우에 사용한다.

CallerRunsPolicy

작업을 호출한 쓰레드에서 직접 실행한다.
부하를 좀 더 유동적으로 관리할 수 있다.

어떤 작업도 버려지기를 원치 않을 때 사용한다.

2.4.6 setWaitForTasksToCompleteOnShutdown

애플리케이션이 종료될 때 동작을 지정힌다.
false(Default)인 경우, 애플리케이션이 즉시 종료된다.
true인 경우, 쓰레드에서 수행중이던 작업과 큐에 남은 작업까지 모두 수행한 후 종료된다.

2.4.7 setAwaitTerminationSeconds

2.4.6 setWaitForTasksToCompleteOnShutdown과 함께 사용된다.
setWaitForTasksToCompleteOnShutdown 값이 true인 경우, 프로그램 종료까지 대기할 시간을 지정한다.

기본값은 0으로 쓰레드에서 수행중이던 작업과 큐에 남은 작업이 모두 끝날 때까지 대기한다.