Rust와 Python을 활용한 백엔드 공부
1.공부를 다시 시작하기로 했다
고립과 은둔의 시간 끝에 일반 사회에 편입되려는 시도를 하고 있다.
2.환경 구축 및 기본 예제
PyO3를 사용하여 작성한 Rust 코드를 Maturin으로 컴파일해 Python 코드에서 호출하여 FastAPI로 실행해 보는 가장 기본적인 예제
3.Rust 구조체를 Python 클래스로 만드는 예제
Rust의 구조체를 Python의 클래스와 연동하는 예제
4.복잡한 데이터 다루기
Python의 List를 Rust의 Vec와 연결하여 데이터를 받고 Rust의 HashMap을 Python의 Dict와 연결하여 데이터를 주는 예제
5.에러 핸들링
(이전 실습에서 이어서 진행) Rust에서 발생한 에러를 Python 에러로 내보내는 예제
6.기본 병렬 처리
Rayon 라이브러리를 사용하여 병렬 처리를 수행하는 예제
7.공유 자원을 다루는 병렬 처리
동일한 자원에 쓰기 연산을 수행하는 경우에 대한 병렬 처리 예제
8.(여담) #[pymodule] 속성
#[pymodule] 속성을 mod 블록에 붙이는 것과 fn 함수에 붙이는 것의 차이에 대하여
9.모듈화
Rust 코드를 여러 파일에 나누어 모듈 단위로 관리하는 예제
10.비동기 처리
tokio 및 pyo3-async-runtimes 라이브러리를 통해 비동기 작업을 수행하는 예제
11.(여담) 인코딩 이슈
FastAPI 응답의 한글 인코딩이 깨질 때 해결할 수 있는 방안에 대하여
12.메모리 복사 생략
데이터 자체를 복사하는 과정을 생략하고 메모리 주소만 넘겨 받아 사용하는 예제
13.가변 제로카피
(이전 실습에서 이어서 진행) 메모리 주소만 넘겨 받은 데이터를 수정하는 예제
14.제로카피 필터링
(이전 실습에서 이어서 진행) 데이터 복사 없이 Python Numpy 배열을 읽어와 조건에 맞는 데이터의 인덱스를 추려내는 예제
15.MMAP(Memory-MAPping)
큰 데이터를 처리할 때 MMAP을 사용하여 제로카피 연산을 수행하는 예제
16.행렬 연산
64GB 램 안에서 가장 거대하고 빠른 행렬 연산을 구현해 보는 예제
17.CSV 파일 다루기 — 행 단위 독립 연산
CSV 파일의 행 단위 독립 연산을 빠르게 수행하는 예제
18.CSV 파일 다루기 — 행 간 연산
CSV 파일의 이전 행과 비교하는 행 간 연산을 수행하는 예제
19.로그 남기기
병렬 처리를 하며 로그 수준에 따라 터미널에 실행 로그를 출력하는 예제
20.로그 아카이빙
로그를 파일의 형태로 아카이빙하는 예제
21.데이터베이스 연결
PostgreSQL docker 생성 후 데이터베이스 연결 풀 설정
22.데이터베이스 연결 재구조화
본격적인 실습에 앞서 프로젝트를 관리하기 쉽게 재구조화하는 예제
23.(여담) uv 패키지 관리자
패키지 관리자 pip에서 uv로 갈아타기
24.비정형 데이터를 다루는 데이터베이스 - 설계
비정형 데이터인 이미지 파일을 포함하는 데이터베이스 활용의 설계
25.비정형 데이터를 다루는 데이터베이스 - 조회
(이전 실습에서 이어서 진행) 데이터베이스에서 원하는 데이터를 검색하는 예제
26.비정형 데이터를 다루는 데이터베이스 - 수정
(이전 실습에서 이어서 진행) 데이터베이스 내 비정형 데이터를 수정하는 예제
27.비정형 데이터를 다루는 데이터베이스 - 삭제
(이전 실습에서 이어서 진행) 데이터베이스의 자료를 삭제하고 복구하는 예제
28.관계형 로직의 데이터베이스 - 설계
단순화된 사주 분석을 통해 관계형 로직을 살펴보는 예제
29.관계형 로직의 데이터베이스 - 다시 설계
(이전 실습에서 이어서 진행) PyO3가 아닌 gRPC를 사용하는 방식으로 변경
30.관계형 로직의 데이터베이스 - 로직
(이전 실습에서 이어서 진행) 단순화된 사주 분석을 통해 여러 테이블의 데이터를 조합하는 에제
31.관계형 로직의 데이터베이스 - 게이트웨이
(이전 실습에서 이어서 진행) gRPC를 통해 사용자와 Rust 사이를 연결하는 Python 코드 작성
32.날짜별 정보를 담은 데이터베이스 (1) 환경 구축 및 통신 규약 설정
게시판 로그를 통한 날짜별 정보를 담는 데이터베이스 예제
33.날짜별 정보를 담은 데이터베이스 (2) Rust gRPC 엔진
(이전 실습에서 이어서 진행) 게시판 로그를 받아 DB에 몰아넣는 예제
34.날짜별 정보를 담은 데이터베이스 (3) FastAPI 게이트웨이
(이전 실습에서 이어서 진행) Rust에게 작업을 전달하는 게이트웨이 작성
35.날짜별 정보를 담은 데이터베이스 (4) Python 데이터 분석
(이전 실습에서 이어서 진행) 시계열 데이터 분석으로 봇/일반/단골 구분하는 예제
36.다차원 검색을 수행하는 데이터베이스 (1) 환경 구축 및 통신 규약 설정
다차원 검색을 실습하기 위해 감정 단어 사전을 구현해 보자.
37.다차원 검색을 수행하는 데이터베이스 (2) Rust gRPC 엔진
(이전 실습에서 이어서 진행) DB와 직접 소통하여 검색을 수행하는 Rust 엔진 구현
38.다차원 검색을 수행하는 데이터베이스 (3) FastAPI 게이트웨이
(이전 실습에서 이어서 진행) 검색 쿼리를 Rust 엔진에 전달하고 응답을 받는 FastAPI 게이트웨이 작성
39.다차원 검색을 수행하는 데이터베이스 (4) SvelteKit 프론트엔드
(이전 실습에서 이어서 진행) 이 실습은 시각화까지 진행하면 좋을 듯하다.
40.다차원 검색을 수행하는 데이터베이스 (5) 배포해보기
(이전 실습에서 이어서 진행) 시각화까지 한 김에 배포까지 진행해 보자. 무료 티어로 충분히 커버될 프로젝트니까.
41.계층 구조를 재귀적으로 탐색하는 데이터베이스 (1) 환경 구축 및 통신 규약 설정
계층 구조를 재귀적으로 탐색하는 데이터베이스 (1) 환경 구축 및 통신 규약 설정 나는 기본적으로 잡지식에 관심이 많다. DB 실습에 사주 분석 같은 걸 넣은 것도 그런 이유다. 그리고 이번에는 좀 더 잡지식스러운 것을 준비해 보았다. 오컬트, 좋아하세요? > ##### 🤖 AI AGENT | INTRO 오컬트 지식 그래프라는 도메인은 관계형 데이...
42.계층 구조를 재귀적으로 탐색하는 데이터베이스 (2) Rust gRPC 엔진
(이전 실습에서 이어서 진행) 복잡한 그래프에 탐색 쿼리를 날리는 Rust 엔진 작성하기
43.계층 구조를 재귀적으로 탐색하는 데이터베이스 (3) FastAPI 게이트웨이
(이전 실습에서 이어서 진행) 사용자로부터 요청을 받아 Rust 엔진과 소통하는 FastAPI 스크립트를 작성한다.
44.계층 구조를 재귀적으로 탐색하는 데이터베이스 (4) SvelteKit 프론트엔드
(이전 실습에서 이어서 진행) D3.js를 이용하여 시각화 해본다.