클린코드 13장 동시성

kimjunkyung·2021년 8월 5일

스터디 클린코드

클린코드

목록 보기

14/15

노션에서 정리한 내용을 벨로그로 옮겼기 때문에 노션으로 보면 조금 더 보기 더 편합니다🤗

이동하기 → junnkk's Notion

동시성과 깔끔한 코드는 양립하기 어렵.
여러 스레드를 동시에 돌리는 이유, 여러 스레드를 동시에 돌리는 어려움, 이런 어려움에 대처하고 깨끗한 코드를 작성하는 방법들, 동시성을 테스트하는 방법과 문제

동시성이 필요한 이유

동시성

→ 결합을 없애는 전략. 무엇(what)과 언제(when)를 분리하는 전략
스레드가 하나인 프로그램은 무엇과 언제가 서로 밀접

∴ 호출 스택을 보면 프로그램 상태 알 수 있음.(단일 스레스 프로그램 디버깅 시 breakpoint 이용)
무엇과 언제를 분리(즉, 다중 스레드 사용) ⇒ 애플리케이션의 구조 효율 ↑, 시스템 이해 쉽고 문제 분리 쉽다

ex) 서블릿(servlet)모델

서블릿은 웹 or EJB 컨테이너 아래에서 돌아가는 데 이 컨테이너는 동시성을 부분적으로 관리

→ 웹 요청이 들어올 때마다 웹 서버는 비동기식으로 서블릿을 실행하고 각 서블릿 스레드는 다른 서블릿 스레드와 무관하게 돌아간다.

→but 웹 컨테이너가 갖는 결함 분리 전략은 간단하지 않다. 그렇더라도 큰 구조적 이점 갖는다.
동시성의 이점
1. 구조적 이점 → 시스템 이해, 문제 분리
2. 응답 시간과 작업 처리량 개선 → ex) 한 번에 한 사이트에 방문하는 정보 수집기 등
  
  즉, 병렬 처리가 필요할 때 동시성 채택.
미신과 오해

동시성이 필수적인 상황이 있지만 어렵다.
- 동시성 관련 미신과 오해
  - 항상 성능을 높여준다.
    
    → 대기 시간이 길어 여러 스레드가 프로세서를 공유할 수 있을 때
    
    or 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아짐.
  - 동시성을 구현해도 설계는 변하지 않는다.
    
    → 단일 스레드 시스템 설계 ≠ 다중 스레드의 시스템 설계(언제와 무엇의 분리)
  - 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.
    
    → 실제 컨데이너의 동작 방법과 동시 수정, 데드락 등을 피하는 방법을 알아야 함.
- 동시성 관련 타탕한 생각
  - 동시성은 다소 부하를 유발한다.
    
    → 성능 측면의 부하, 더 많은 코드 요구됨
  - 동시성은 복잡하다.
  - 일반적으로 동시성 버그는 재현하기 어렵다.
    
    ∴ 일회성 문제로 여겨 무시하기 쉬움
  - 동시성을 구현하려면 흔히 근본적인 설계 전략은 재고해야 한다.
프로세스, 스레드 정리 참고

난관

동시성이 어려운 이유
```
public class X {
	private int lastIdUsed = 42;

	public int getNextId() {
		return ++lastIdUsed;
	}
}
```
인스턴스 X를 생성하고 lastIdUsed = 42로 설정하고 두 개의 스레드가 해당 인스턴스를 동유한다고 가정.

getNextId() 동시 호출 시

i) 각각 43, 44 / lastIdUsed = 44

ii) 각각 44, 43 / lastIdUsed = 44

iii) 각각 43, 43 / lastIdUsed = 43

⇒ iii) 와 같은 결과 나올 수 있어 위험

동시성 방어 원칙

⇒ 동시성 코드가 일으키는 문제로부터 시스템을 방어하는 원칙과 기술

단일 책임 원칙(SRP)

: 주어진 메서드/ 클래스/ 컴포넌트를 변경할 이유가 하나여야 한다는 원칙
- 동시성은 복잡성 때문에 분리해야 한다.
- 동시성 구현 시 고려할 점
  1. 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.
  2. 동시성 코드에는 다른 코드에서와 다르고 어려운 독자적인 난관이 있다.
  3. 잘못 구현한 동시성 코드는 여러 방식으로 실패한다. 하나만으로도 어렵.
  
  ⇒ 동시성 코드는 다른 코드와 분리하라
따름 정리: 자료 범위를 제한하라
- 공유 객체를 사용할 때 사용 코드 내에 임계 영역을 synchronized 키워드로 보호한다.
- 임계 영역의 수를 줄인다.
- 공유 자료를 수정하는 위치가 많을 때 발생할 수 있는 문제점
  1. 보호할 임계 영역을 빼먹어서 공유 자료를 수정하는 모든 코드를 망가뜨림.
  2. 모든 임계 영역을 올바로 보호했는지 확인하느라 시간과 노력 들어감.(DRY 위반을 확인)
  3. 버그 찾기 힘듦
  
  ⇒ 자료를 캡슐화하라. 공유 자료를 최대한 줄여라.
따름 정리: 자료 사본을 사용하라

공유 자료를 줄이는 방법 (⇒ 문제 발생 가능성 ↓)
- 처음부터 공유하지 않는 게 best
- 객체를 복사해 읽기 전용으로 사용
- 각 스레드가 객체를 복사해 사용한 후 한 스레드가 해당 사본에서 결과를 가져옴
따름 정리: 스레드는 가능한 독립적으로 구현하라

다른 스레드와 자료를 공유하지 않는 스레드를 구현한다.

→ 각 스레드는 클라이언트 요청 하나를 처리하는데, 이때 다른 스레드와 동기화할 필요 없이 모든 정보를 비공유 출처에서 가져오며 로컬 변수에 저장한다.

ex) HttpServlet 클래스에서 파생한 클래스는 모든 정보를 doGet(), doPost() 매개변수로 받는다.

→ 각 서블릿은 자신이 독자적인 시스템에서 동작하는 것처럼 요청 처리.

but 서블릿을 사용하는 대다수는 db 연결 같은 자원 공유하긴 함.
- 참고
  
  참고 1
  
  참고 2
  
  ⇒ 독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라

라이브러리를 이해하라

자바 5로 스레드 구현 시 고려할 점( → 자바 5는 동시성 측면에서 나아짐)
- 스레드 환경에 안전한 컬렉션을 사용
- 서로 무관한 작업을 수행할 때는 executor 프레임워크 사용
- 가능하다면 스레드가 차단되지 않는 방법 사용 (blocking X)
- 일부 클래스 라이브러리는 스레드에 안전하지 못하다
스레드 환경에 안전한 컬렉션

java.util.concurrent 패키지가 제공하는 클래스

→ 다중 스레드 환경에서 사용해도 안전하고 성능 좋다

ex) ConcurrentHashMap 은 HashMap보다 빠르고 동시 읽기/쓰기를 지원하고 자주 사용하는 복합 연산을 다중 스레드 상에서 안전하게 만든 메서드로 제공
- 좀 더 복잡한 동시성 설계를 자원하고자 추가된 클래스
  
  자바 5 클래스

⇒ 언어가 제공하는 클래스를 검토하라. 자바에서는 java.util.concurrent, java.util.concurrent-atomic, java.util.concurrent.locks를 익혀라.

실행 모델을 이해하라

다중 스레드에서의 기본 용어

기본 용어

다중 스레드 프로그래밍에서 사용하는 실행 모델 : 생산자-소비자, 읽기-쓰기, 식사하는 철학자들
생산자-소비자

→ 한정된 자원인 대기열을 사용
- 생산자 스레드
  
  : 대기열이 비어있을 때, 정보를 생성해 buffer나 queue에 넣는다.
  
  → 정보를 채운 다음 소비자 스레드에 "대기열에 정보가 있다"는 시그널 보냄.
- 소비자 스레드
```
: *대기열에 정보가 있을 때,*  대기열에서 정보를 가져와 사용한다.

→ 정보를 읽어들인 후 "대기열에 정보가 있다"는 시그널을 보냄.
```
  ⇒ 둘 다 진행 가능함에도 불구하고 동시에 서로에게서 시그널을 기다릴 가능성이 존재
읽기-쓰기

읽기 스레드(독자)를 위한 주된 정보원으로 공유 자원을 사용하지만, 쓰기 스레드(저자)가 이 공유 자원을 이따금 갱신.

⇒ 처리율 문제( 균형 잡기 힘듦)
1. 처리율 강조(독자 우선권) 시 읽기 스레드가 계속 되는 경우 쓰기 스레드는 기아 상태에 빠지거나 오래된 정보 쌓임.
2. 쓰기 스레드 우선권 갖을(저자 우선권) 시 처리율 ↓
  
  ∴ 양쪽 균형을 잡으면서 갱신 문제를 피하는 해법이 필요
식사하는 철학자들

가운데에 스파게티 한 접시가 놓여있는 둥근 식탁에 둘러 앉은 철학자들. 각 철학자들 왼편에는 포크 놓여있음.
- 각 철학자는 배가 고프지 않으면 생각하며 시간 보냄.
- 배가 고프면 양손에 포크를 쥐고 스파게티를 먹는다. (좌우의 철학자 중 한 명이라도 포크를 사용하는 중이라면 먹지 못함)
  
  → 철학자 = 스레드, 포크 = 자원이라고 생각하면 자원을 놓고 경쟁하는 프로세스와 비슷한 문제 상황.
  
  잘 설계되지 않은 시스템은 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다.

⇒ 위에서 설명한 기본 알고리즘과 각 해법을 이해하라

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾기 힘든 버그 생김. (자바에서는 개별 메서드 보호하는 synchronized 지원)

⇒ 공유 객체 하나에는 메서드 하나만 사용하라

공유 객체 하나에 여러 메서드가 필요할 때 고려할 방법 3가지

클라이언트에서 잠금

클라이언트에서 첫번째 메서드를 호출하기 전에 서버를 잠근다. 마지막 메서드 호출까지 잠금 유지.\

→ 공유 객체를 사용하는 코드에서 공유 객체를 잠그는 것이다
서버에서 잠금

서버에다 '서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는' 메서드 구현. 클라이언트가 이 메서드 호출.

→ 공유 객체에 새로운 메서드를 작성하고 잠금이 필요한 동작 전체를 수행하게 하는 것이다.
연결(Adapted) 서버

잠금을 수행하는 중간 단계를 생성. '서버에서 잠금' 방식과 유사하지만 원래 서버는 변경 X

참고 예시

문제 코드

public class IntegerIterator implements Iterator<Integer> {
    private Integer nextValue = 0;
    
    public synchronized boolean hasNext() {
        return nextValue < 100000;
    }
    
    public synchronized Integer next() {
        if (nextValue == 100000)
            throw new IteratorPastEndException();
        return nextValue++;
    }
    
    public synchronized Integer getNextValue() {
        return nextValue;
    }
}

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while(iterator.hasNext()) {
    // nextValue가 99999인 상황에서 두 스레드에서 순차적으로 while(iterator.hasNext())를 호출하게 되면
    // 두 스레드 모두 while문 안으로 진입하게 된다. 이는 예상되지 않은 결과이다.
    int nextValue = iterator.next();
    // do something with nextValue
}

클라이언트에서 잠금 예시

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while (true) {
    int nextValue;
    synchronized (iterator) {
        if (!iterator.hasNext())
            break;
        nextValue = iterator.next();
    }
    doSometingWith(nextValue);
}

서버에서 잠금 예시

public class IntegerIteratorServerLocked {
    private Integer nextValue = 0;
    
    public synchronized Integer getNextOrNull() {
        if (nextValue < 100000)
            return nextValue++;
        else
            return null;
    }
}

// Shared Resource
IntegerIterator iterator = new IntegerIterator();

// Threaded-Code
while (true) {
    Integer nextValue = iterator.getNextOrNull();
    if (next == null)
        break;
    // do something with nextValue
}

연결 서버 예시

public class ThreadSafeIntegerIterator {
    private IntegerIterator iterator = new IntegerIterator();
    
    public synchronized Integer getNextOrNull() {
        if(iterator.hasNext())
            return iterator.next();
        return null;
    }
}

// Threaded-Code는 위 서버에서 잠금 예시와 동일

동기화하는 부분을 작게 만들어라

자바에서 synchronized 키워드를 사용하면 락을 설정하여 임계 영역을 보호한다.

→ 락으로 감싼 코드는 한 번에 한 스레드만 실행이 가능하므로 전체적으로는 스레드를 지연시키고 부하를 가중시킨다.

∴ synchronized 남용 X

but 임계 영역 수를 줄이고자 필요 이상으로 큰 임계 영역을 만들면 스레드 간에 경쟁이 늘어나고 프로그램 성능도 ↓

⇒ 동기화하는 부분을 최대한 작게 만들어라

올바른 코드 종료는 구현하기 어렵다

영구적으로 돌아가는 시스템 구현 방법 ≠ 잠시 돌다가 종료하는 시스템을 구현하는 방법
깔끔하게 종료하는 시스템 구현은 어렵다 ⇒ 데드락 위험

⇒ 종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라. 생각보다 오래 걸리고 생각보다 어려우므로 이미 나온 알고리즘 검토하면 도움됨.

스레드 코드 테스트하기

⇒ 문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라. 테스트가 실패하면 원인을 추적하라. 다시 돌렸더니 통과하더라도 그냥 넘어가면 X

다중 스레드 사용 시 고려할 점 多

말이 안 되는 실패는 잠점적인 스레드 문제로 취급하라

다중 스레드 코드는 때때로 '말이 안되는' 오류 발생 시킴. 대부분의 개발자는 이런 문제를 직관적으로 파악 X.

but 이런 문제를 일회성이라고 치부하고 무시하면 잘못된 코드가 시스템에 추가될 뿐.

⇒시스템 실패를 '일회성'이라 치부하지 마라.
다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

ex) 스레드가 호출한느 POJO를 만든다.

∵ POJO는 스레드를 모르므로 스레드 밖에서 테스트 가능. → POJO 많을 수록 좋다.

⇒ 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라. 먼저 스레드 환경 밖에서 코드를 올바로 돌려라.
다중 스레드를 쓰는 코드 부분을 다양한 환경에 끼워 넣을 수 있게 스레드 코드를 구현하라

다중 스레드를 쓰는 코드를 다양한 설정으로 실행하기 쉽게 구현하라
- 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
- 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
- 테스트 코드를 빨리, 천천히 다양한 속도로 돌려본다.
- 반복 테스트가 가능하도록 테스트 케이스를 작성한다.
  
  ⇒ 다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라
다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라

적절한 스레드 개수 파악은 시행착오를 필요로 함.
- 고려할 점
  
  → 적절한 스레드 개수를 조율하기 쉽게 코드를 구현한다.
  
  → 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려한다.
  
  → 프로그램 처리율과 효율에 따라 스스로 스레드 개수를 조율하는 코드도 고민한다
프로세서 수보다 많은 스레드를 돌려보라
- 시스템이 스레드를 스와핑할 때도 문제 발생
- 스와핑이 잦을수록 임계 영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.
다른 플랫폼에서 돌려보라

다중 스레드코드는 플랫폼에 따라 다르게 돌아간다.

⇒처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라
코드에 보조 코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라
- 스레드 코드는 오류를 찾기 힘듦. → 소수만 실패해서 산발적이고 우발적이고 재현이 어려운 버그 생성됨
- 오류를 좀 더 자주 일으킬 방법
  
  ⇒ 보조 코드 추가하여 코드 실행 순서 바꿈.
  
  ex) Object.wait(), Object.sleep(), Object.yield(), Object.priority() 등
  - 보조 코드를 추가하는 방법
    1. 직접 구현하기
    2. 자동화
직접 구현하기

코드에다 직접 wait(), sleep(), yield(), priority() 함수 추가 → 까다로운 코드 테스트에 적합

예시) p241
```
public synchronized String nextUrlOrNull() {
    if(hasNext()) {
        String url = urlGenerator.next();
        Thread.yield(); // 테스트를 위해 추가되었다. 
        updateHasNext();
        return url;
    }
    return null;
}
```
- yield() 삽입 시 코드 실행 경로가 변화 → 이전에 실패하지 않았던 코드의 실패 가능성 열어줌.
- 이 방법의 문제점
  - 보조 코드 삽입 위치를 직접 찾아야 함.
  - 어떤 함수를 어디서 호출해야 적당한지 모름
  - 배포 환경에 보조 코드를 남기면 프로그램 성능 ↓
  - 무작위적이다. 오류 안 드러날 확률 ↑
  ⇒ 위처럼 배포 환경이 아니라 테스트 환경에서 보조 코드를 실행할 방법과 실행 마다 설정을 바꿔줄 방법 필요. ( 오류 드러날 확률 ↑)
  
  → 최대한 POJO와 스레드를 제어하는 클래스 단위로 나누면 보조 코드 추가 위치 찾기 쉬움.
자동화

보조 코드를 자동을 추가하려면 AOP, CGLIB, ASM 등 사용.

예시) p242

    public class ThreadJigglePoint {
        public static void jiggle() { }
    }

    // 다양한 위치에 ThreadJiglePoint.jiggle() 추가

    public synchronized String nextUrlOrNull() {
        if(hasNext()) {
            ThreadJiglePoint.jiggle();
            String url = urlGenerator.next();
            ThreadJiglePoint.jiggle();
            updateHasNext();
            ThreadJiglePoint.jiggle();
            return url;
        }
        return null;
    }

→ ThreadJiglePoint.jiggle() 은 무작위로 sleep이나 yield 호출하거나 아무 동작(nop)하지 않음.

ThreadJiglePoint 클래스를 편리하게 구현하는 두가지 방법
1. jiggle() 메서드를 비워두고 배포 환경에서 사용
2. 무작위로 nop, sleep, yield 등을 테스트 환경에서 사용
- 코드를 흔드는(jiggle) 이유 : 스레드를 매번 다른 순서로 실행하기 위함
  
  → 좋은 테스트 케이스와 흔들기 기법은 오류 드러날 확률 ↑
⇒ 흔들기 기법을 사용해서 오류를 찾아내라

결론

다중 스레드 코드는 올바르게 구현하기 어렵다.

∴ 각별히 주의해서 깨끗하게 작성해야 함.
- SRP 준수
  
  → POJO 사용해서 스레드를 아는 코드와 모르는 코드를 분리한다.
  
  → 스레드 코드 테스트 시에는 스레드만 테스트(즉, 스레드는 최대한 집약되고 작아야 함.)
- 동시성 오류를 일으키는 잠정적인 원인을 철저히 이해한다.
- 사용하는 라이브러리와 기본 알고리즘을 이해한다.
- 보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법 이해한다.