# multiprocessing
[Python] Pandas Apply 함수 병렬처리 하기
Pandas DataFrame에 Apply 함수를 적용할 때, 병렬 처리로 속도를 크게 개선할 수 있습니다. 제 경우엔 병렬처리로 9시간 걸리던 잡을 1시간으로 단축시켰습니다. Apply 함수를 사용한다면 꼭 병렬처리로 시간을 단축시키시는걸 추천드립니다 👍
[Python] PID
PID란? PID(ProcessID/Process IDentification number)는 운영체제에서 프로세스를 식별하기 위해 프로세스에 부여하는 번호를 의미한다. 이때 Python으로 서비스 혹은 데몬을 구동할 때 구동되고 있는 PID값이 필요한 경우가 있다. 확
PyTorch num_workers>0인 경우의 오류
DataLoader에서 num_workers를 1 이상으로 할 때 생기는 오류와 해결책 정리
Python 병렬처리
이전에 분산처리에 대한 포스팅을 한 적이 있다.그 포스팅에서도 중요하게 다루었지만 대용량 데이터를 다루기 위해서는 병렬처리 활용 방식을 필수적으로 알아두어야합니다.데이터 전처리 방식들도 중요하지만 그 방식에 대한 연산속도나 메모리 관리도 신경써야하는 것이죠.머신러닝이나
[Python] Multi-Processing, Multi-Threading
프로세스는 간단하게 말하면 CPU에서 자원을 할당받아 실제로 실행 중인 프로그램이다.따라서 각 프로세스마다 CPU 자원을 각자 할당받고 사용한다.쓰레드(Thread) 는 프로세스 안에서 실제로 작업을 처리하는 흐름이다.하나의 프로세스에는 최소 하나의 쓰레드가 있고, 프
220824 수요일 TIL
"연구에 집중한 날: 데이터불균형, 멀티프로세싱, ndarray 차원, unlabeled false data 생성"데이터불균형멀티프로세싱 처리ndarray 차원 다루기서버 간 파일 전송연구기록 : True과 False의 비율이 너무 차이가 나서 데이터 불균형이 문제가
[Dimelo Project] pm2 cluster mode session 공유 안되는 문제
https://velog.io/@suyeonpi/Dimelo-Project-nest.js-docker%EC%97%90-pm2-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0지난 내 글을 보면 pm2를 fork 모드가 아닌 cluster모드로
[파이썬] multiprocessing jupyter에서 안되면 .py로 돌려라
multiprocessing Pool, Process, Queue 기본 설명: https://m.blog.naver.com/townpharm/220951524843입력값을 process들을 건너건너 분배하여 함수 실행을 병렬화하는 편리한 수단을 제공한다 - P
Python Ray
사용성 \- 기존 코드에서 약간의 수정만으로 병렬 처리 가능 (쉽고 범용성 높음)병렬처리 고려하지 않은 함수에 decorator로 마지막에 구현 가능 @ray.remote def, class 모두 가능 Cluster 환경에서 구축 가능 \- AWS, GCP,
특정 프로세스 원할 때 중지하기
요구사항 클라이언트에서 실시간 분석할 cctv 주소를 주면 flask 서버에서 백그라운드로 처리하고, 나중에 클라이언트에서 분석을 중지하고 싶다고 요청하면 특정 cctv의 실시간 분석 작업을 중지해야한다. 기존코드 백그라운드 작업은 multiprocessing 모
python multiprocessing(3) - joblib
multiprocessing을 Joblib으로 바꿔보자joblib이란 \- python multiprocessing 모듈을 개선한 모듈경량 pipelining 을 활성화하면서 병렬 계산을 쉽게하고, 결과를 쉽게 디스크기반의 캐시로 사용할 수 있게 해준다.joblib을
python multiprocessing(2)- multiprocessing 을 이용한 원주율 추정
python multiprocessing module 을 이용하여 embarrassingly parallel(서로 통신하지 않고 문제를 독립적으로 푸는 경우)한 문제의 속도를 향상시켜보자!
python chunk implementation
긴 시간 동안 실시간으로 어떤 데이터를 로깅하려면, 적절하게 끊어서 저장해줘야 한다. 실시간으로 파일을 쓰는 것은 많은 리소스를 필요로 하고, 한번에 모아서 저장하는 것은 데이터 전체를 잃을 가능성이 크다. 그래서 Chunk라는 클래스를 만들어서, 일정 갯수 이상 데이
Python 으로 multiprocessing 을 해보자 (1)
multi processing 모듈 : process와 thread기반의 병렬처리를 사용해서 작업을 대기열에 분산시키고, 프로세스 간에 데이터를 공유할 수 있도록 함주로 단일 컴퓨터의 멀티코어 병렬처리에 초점이 맞춰져 있음 (멀티머신 x)I/O위주의 문제를 병렬화 할때
Python - MultiProcessing
AI 사업을 위해 현재 사내 데이터를 전처리하며 경도, 위도를 변환하는 작업이 있었는데 해당 작업이 시간이 굉장히 오래 걸렸고 맥북으로 하다간 3일 밤낮을 켜놔야할 느낌이 강하게 들어 python의 multiprocessing을 이용했다.이름에서 느껴지듯이 오랜시간이
Multiprocessing (feat. python)
컴퓨터가 작업을 처리하는 속도를 높여주는 방법 중 하나이다.무언가 일이 주어졌을 때 1명이 일하냐, 4명이 동시에 일하느냐에 따라 작업 처리 속도가 확연히 차이 날 것이다.우선 Multiprocessing을 사용하지 않았을 때를 살펴보자.코드결과이제 Multiproce