PaginatedList가 뭐죠? 🐍

주의! 작자는 현재(2023년) REST API를 모릅니다.. 나중에 배울게요😉

☹️찾아보게 된 계기

대학강의 관련 프로그램을 만들기 위해 api(canvas LMS api)를 파이썬으로 다루는 canvasapi를 다루다가 튀어나온 단어이다.

아래는 canvasapi docs중 일부이다.

여기서 get_courses()는 현재 계정이 수강중인 강좌 (관리자라면 운영중인 강좌)를 모두 가져오는 함수이다. 모두 가져오듯이 일반적인 파이썬 기능처럼 list의 형태로 가져오는 줄 알았지만, canvasapi.paginated_list.PaginatedList 형식을 따른다. 일반적인 list 형식과 비슷한 형식이라고 생각했지만, 뭔가 작동 방식이 다른 느낌이었다.
예를 들면

import canvasapi
canvas = canvasapi.Canvas('api_url', 'token')
canvas.get_courses()[0] # 작동한다
canvas.get_courses()[:] # 작동하지 않는다

# 모든 값을 가져오려면 이렇게 해야 한다.
courses: list = []
for course in canvas.get_courses():
	courses.append(course)

iterator 특성을 가졌지만 슬라이싱은 안되고, print를 해도 객체 값만 내뱉는다. 심지어 인덱스 값을 크게 해놓으면 함수가 다소 느리게 작동하기도 한다.

😀뜯어보자

canvasapi/canvasapi/paginated_list.py

일단 self._elements에 있는 요소들을 반환한 다음, 마지막에 도달 했을 때 까지 self._grow()를 불러와서 그 요소들을 반환한다

    def _grow(self):
        new_elements = self._get_next_page()
        self._elements += new_elements
        return new_elements

    def _get_next_page(self):
        response = self._requester.request(
            self._request_method,
            self._next_url,
            _url=self._url_override,
            **self._next_params,
        )
        data = response.json()
        ...
        return content

추측한게 맞았다. PaginatedList 는 _grow() 실행시 _get_next_page() 를 실행하면서 그 데이터를 self._elements에 넣은 다음 데이터를 반환한다. 그리고 _get_next_page() 에는 request를 받는 함수가 있다.

따라서 이 PaginatedList 는 for문에 집어넣고 실행시키면, 기존에 미리 불러왔던 데이터들을 가져오고, 그 후 한개씩 넘어갈 때마다 api 요청을 보내 데이터를 가져오는 식으로 되어있다.

개인적으론(어처피 모든 데이터 사용하는데) list로 변환하는 기능도 만들어 주었으면 하지만, 그렇기엔 사람들이 많이 쓰진 않아서 만들지 않은 것 같다.

🤔다른 곳에서도 쓰나?

일단 PaginatedList가 어디서 나온 단어인지 검색해보자

이 밑에는 내가 다루고 있었던 canvasapi api 문서가 그대로 나온다 아무래도 잘 쓰지 않는 형식인가 보다

아마존 링크와 PyGithub(github api를 파이썬으로 가져올 수 있게 만드는 패키지)가 눈에 띄니 킵해두고 용어를 검색해보자.

Pagination : 페이징이라고도 하는 페이지 매김은 문서를 전자 페이지 또는 인쇄된 페이지와 같은 개별 페이지로 나누는 프로세스입니다.

페이지 형식..이라고 하니 순서대로 읽어오는건가? 싶다.

일단 링크에서 아마존docs 글은 java dynamodDB쪽에서 사용하는 정보인것 같다.

상관이 없어보이지만, Iterable<T>, Collection<T>, List<T> 인터페이스를 사용하는 것을 볼 수 있다.

PyGithub의 PaginatedList.py도 마찬가지이다

어느 api와는 다르게 슬라이싱을 지원한다 그냥 api가 지원안하는거였다..
아무튼 __iter__ 과정을 살펴보자. 여기서는 self.__grow를 통해 새로운 요소를 가져온다.

	def _grow(self) -> List[T]:
        newElements = self._fetchNextPage()
        self.__elements += newElements
        return newElements
    def _fetchNextPage(self) -> List[T]:
        raise NotImplementedError

PaginatedListBase여서 의도적으로 에러를 일으키는 것 같다(난 그냥 pass 로 방치해놨었는데 좋은거 알고 갑니다)

class PaginatedList(PaginatedListBase[T]):
	# (생략)
     def _fetchNextPage(self) -> List[T]:
        headers, data = self.__requester.requestJsonAndCheck(
            "GET", self.__nextUrl, parameters=self.__nextParams, headers=self.__headers
        )
        data = data if data else []
        return self._getPage(data, headers)

여기서도 인덱스가 늘어날 때마다 self.__requester.requestJsonAndCheck를 통해 새로 요청을 받아온다는 것을 알 수 있다.

얻은 것 🔍

그냥 없는 기능이구나.. 하면서 들여다 보았지만 생각보다 얻은 점이 있다. 바로 (물론 PyGithub) 코드가 엄청 깔끔하고 잘 구조가 잘 짜여져있다는 것 이다..! 나중에 참고해야겠다.