TIL92. Django ORM : EagerLoading(Resolve N+1 Problem)

📌 이 포스팅에서는 N+1 Problem이 가지는 문제를 해결하기 위해 EagerLoading하는 방법에 대해 살펴보겠습니다.

🌈 EagerLoading(Resolve N+1 Problem)

🔥 N+1 Problem 이란?

🔥 EagerLoading 이란?

1. N+1 Problem 이란?

🤔 N+1 Problem

✔️ N+1 문제란 Lazy-Loading의 성능 이슈로 외래키를 참조해서 데이터를 참조해서 데이터를 가져올 때, 발생한다.

✔️ Publish와 Book 테이블이 있고, Book 테이블의 user 필드가 Publish 테이블을 정참조하고 있다고 가정해 보자.

🚀 Publish 테이블
class Publish(TimeStampModel):
    name                = models.CharField(max_length=30)
🚀 Book 테이블    
class Board(TimeStampModel):
    name               = models.CharField(max_length=100)
    description        = models.TextField()
    publisher          = models.ForeignKey('Publish', on_delete=models.CASCADE)

✔️ Book에 대한 list를 뿌려주는 API를 만든다고 가정 할 때, get 매서드는 아래와 같은 로직을 가진다.

✔️ 하나의 book 객체의 publish 필드를 통해 Publish 테이블로 이동해 name값을 가져오려는 순간 N+1의 문제가 발생된다.

✔️ 여기서 for문이 순회하는 횟수가 N이 되기 때문에 데이터가 많을 수록 엄청난 양의 query가 발생한다.

class BookListView(View):
    def get(self, request):
        result = []
        queryset = Book.objects.all()
        for book in queryset:
            books.append({
                'id':book.id,
                'name':book.name,
                'publish':book.publisher.name, # book.publisher에 접근하면, 캐싱되지 않은 데이터 때문에 query 발생(N+1 문제)
            })
        return JsonResponse({"message": result}, status=200)

✔️ 이를 해결하기 위해 ORM에서 사용하는 기법이 즉시 호출(EagerLoading) 인데, 지금 당장 사용하지 않을 데이터도 포함하여 미리 Query문을 실행하는 방법이다.

• 🚀 정참조 일 때,, 방법1: select_related
• 🚀 역참조 일 때,, 방법2: prefetch_related

2. EagerLoading 이란?

🤔 select_related

✔️ select_related은 정참조일 때 사용하고, JOIN을 통해 데이터를 즉시 로딩한다. 또한 이 결과를 캐슁에 저장시킨다.

 🚀 select_related
class BookListView(View):
    def get(self, request):
        result = []
        queryset = Book.objects.all().select_related("publisher") # 👈 정참조 일 때, select_related 활용
        for book in queryset:
        books.append({
                'id':book.id,
                'name':book.name,
                'publish':book.publisher.name, 
  	     })
        return JsonResponse({"message": result}, status=200)

🤔 prefetch_related

✔️ 아래 코드는 store.books.all()에서 역참조가 발생되어 이 때마다 query가 N번만큼 발생하는 N+1문제를 갖고 있다.

class BookListView(View):
    def get(self, request):
        result = []
        queryset = Store.objcts.all()
        for store in queryset:
            books = [book.name for book in store.books.all()] # 👈 역참조 부분에서 N+1 문제 발생
            store.append({
                'id':store.id,
                'name':store.name,
                'book':books
         })
        return JsonResponse({"message": result}, status=200)  

✔️ prefetch_related는 역참조 일 때 N+1 문제를 해결하기 위해 사용하고, 추가 쿼리 셋을 이용해 데이터를 가져와 애플리케이션 단에서 모두 합쳐 반환한다.

class BookListView(View):
    def get(self, request):
        result = []
        queryset = Store.objcts.all().prefetch_related('books') # 👈 prefecth_related 사용
        for store in queryset:
            books = [book.name for book in store.books.all()] 
            store.append({
                'id':store.id,
                'name':store.name,
                'book':books
         })
        return JsonResponse({"message": result}, status=200)  

✔️ prefetch_related를 사용하면, result_cash에 캐쉬로 데이터가 담기는데, 기존 query를 보내고, 추가로 역참조에 대한 prefetch_related를 보내 이를 최종적으로 합쳐준다.

✔️ 예를 들어, queryset = Store.objcts.all().prefetch_related('books', 'comment', 'whishlist')를 하면, query가 총 4개 요청된다.

🤔 최적화를 위해 이런식으로도 사용 가능합니다.

✔️ 아래는 prefetch_related를 활용해 역참조 시, EagerLoading한 예시다.

class StoreListView(View):
    def get(self, request):
        queryset = Store.objects.all().prefetch_related("books")
        result = []
        for stroe in queryset:
	        total_books = [book.name for book in store.books.all()]
	        filter_books = [book.name for book in store.books.filter(name='Book9991)]
            result.append({
    	        'id':store.id,
                'bame':store.name,
                'total_books':total_books,
                'filter_books':filter_books,
            })
        return JsonResponse({"message": result}, status=200)  

✔️ queryset이 재사용된다면, to_attr 속성에 캐슁해두고 재사용하는 것이 더 효율적이다.

class StoreListView(View):
    def get(self, request):
        queryset = Store.objects.all().prefetch_related(
            Prefetch('books', queryset=Book.objects.all(), to_attr='total_books'),
            Prefetch('books', queryset=Book.objects.filter(name='Book9991'), to_attr='filtered_books')
        )
        result = []
        for stroe in queryset:
	        total_books = [book.name for book in store.books.all()]
	        filter_books = [book.name for book in store.books.filter(name='Book9991)]
            result.append({
    	        'id':store.id,
                'bame':store.name,
                'total_books':total_books,
                'filter_books':filter_books,
            })
        return JsonResponse({"message": result}, status=200)