# multiprocessing
[Python]. multiProcessing 대용량 빅데이터 구간별로 전처리하기
numpy 데이터를 DB에 삽입 하려고하다보니형식이 맞지않아 삽입을 할 수 없는 상황이 생겼다.그래서 Python의 flaot 형태로 변경해서 삽입하려고 시도했고numpy 에서 tolist() 함수를 통해 Python float 형태로 변경하면 FP형식이 유지되지않는
Python 병렬처리
이전에 분산처리에 대한 포스팅을 한 적이 있다.그 포스팅에서도 중요하게 다루었지만 대용량 데이터를 다루기 위해서는 병렬처리 활용 방식을 필수적으로 알아두어야합니다.데이터 전처리 방식들도 중요하지만 그 방식에 대한 연산속도나 메모리 관리도 신경써야하는 것이죠.머신러닝이나
[Python] Multi-Processing, Multi-Threading
프로세스는 간단하게 말하면 CPU에서 자원을 할당받아 실제로 실행 중인 프로그램이다.따라서 각 프로세스마다 CPU 자원을 각자 할당받고 사용한다.쓰레드(Thread) 는 프로세스 안에서 실제로 작업을 처리하는 흐름이다.하나의 프로세스에는 최소 하나의 쓰레드가 있고, 프
220824 수요일 TIL
"연구에 집중한 날: 데이터불균형, 멀티프로세싱, ndarray 차원, unlabeled false data 생성"데이터불균형멀티프로세싱 처리ndarray 차원 다루기서버 간 파일 전송연구기록 : True과 False의 비율이 너무 차이가 나서 데이터 불균형이 문제가
파이썬 프로세스와 쓰레드
저번에는 파이썬 multiprocessing 라이브러리의 process와 pool 기능을 알아보았다.그래서 이번에는 파이썬 쓰레딩 사용법을 설명해야 하는데...사실 글을 쓰려고 준비를 하다보니 설명해야 할 배경지식이 너무 많다. 원리를 말하려자니 핵심 용어들을 설명할
파이썬 멀티프로세싱 풀
지난 시간에는 파이썬 멀티프로세싱 중 프로세스(Process)^1를 이야기했다.이번에는 멀티프로세싱의 또다른 방법인 풀(Pool)을 설명하겠다.풀은 스타크래프트의 스포닝 풀을 생각하면 된다.산란못을 지으면 부화장에서 저글링을 생성할 수 있다. 부화장을 많이 지을수록 더
[Dimelo Project] pm2 cluster mode session 공유 안되는 문제
https://velog.io/@suyeonpi/Dimelo-Project-nest.js-docker%EC%97%90-pm2-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0지난 내 글을 보면 pm2를 fork 모드가 아닌 cluster모드로
[파이썬] multiprocessing jupyter에서 안되면 .py로 돌려라
multiprocessing Pool, Process, Queue 기본 설명: https://m.blog.naver.com/townpharm/220951524843입력값을 process들을 건너건너 분배하여 함수 실행을 병렬화하는 편리한 수단을 제공한다 - P
Python Ray
사용성 \- 기존 코드에서 약간의 수정만으로 병렬 처리 가능 (쉽고 범용성 높음)병렬처리 고려하지 않은 함수에 decorator로 마지막에 구현 가능 @ray.remote def, class 모두 가능 Cluster 환경에서 구축 가능 \- AWS, GCP,
특정 프로세스 원할 때 중지하기
요구사항 클라이언트에서 실시간 분석할 cctv 주소를 주면 flask 서버에서 백그라운드로 처리하고, 나중에 클라이언트에서 분석을 중지하고 싶다고 요청하면 특정 cctv의 실시간 분석 작업을 중지해야한다. 기존코드 백그라운드 작업은 multiprocessing 모
python multiprocessing(3) - joblib
multiprocessing을 Joblib으로 바꿔보자joblib이란 \- python multiprocessing 모듈을 개선한 모듈경량 pipelining 을 활성화하면서 병렬 계산을 쉽게하고, 결과를 쉽게 디스크기반의 캐시로 사용할 수 있게 해준다.joblib을
python multiprocessing(2)- multiprocessing 을 이용한 원주율 추정
python multiprocessing module 을 이용하여 embarrassingly parallel(서로 통신하지 않고 문제를 독립적으로 푸는 경우)한 문제의 속도를 향상시켜보자!
python chunk implementation
긴 시간 동안 실시간으로 어떤 데이터를 로깅하려면, 적절하게 끊어서 저장해줘야 한다. 실시간으로 파일을 쓰는 것은 많은 리소스를 필요로 하고, 한번에 모아서 저장하는 것은 데이터 전체를 잃을 가능성이 크다. 그래서 Chunk라는 클래스를 만들어서, 일정 갯수 이상 데이
Python 으로 multiprocessing 을 해보자 (1)
multi processing 모듈 : process와 thread기반의 병렬처리를 사용해서 작업을 대기열에 분산시키고, 프로세스 간에 데이터를 공유할 수 있도록 함주로 단일 컴퓨터의 멀티코어 병렬처리에 초점이 맞춰져 있음 (멀티머신 x)I/O위주의 문제를 병렬화 할때
Python - MultiProcessing
AI 사업을 위해 현재 사내 데이터를 전처리하며 경도, 위도를 변환하는 작업이 있었는데 해당 작업이 시간이 굉장히 오래 걸렸고 맥북으로 하다간 3일 밤낮을 켜놔야할 느낌이 강하게 들어 python의 multiprocessing을 이용했다.이름에서 느껴지듯이 오랜시간이
Multiprocessing (feat. python)
컴퓨터가 작업을 처리하는 속도를 높여주는 방법 중 하나이다.무언가 일이 주어졌을 때 1명이 일하냐, 4명이 동시에 일하느냐에 따라 작업 처리 속도가 확연히 차이 날 것이다.우선 Multiprocessing을 사용하지 않았을 때를 살펴보자.코드결과이제 Multiproce