딥러닝 처리 속도 개선하기

데이터 분석 및 모델링 공부를 하다가 관련 직무에 지원했지만, 입사 후엔 어플리케이션 개발 팀에 배속되었고 거기서 맡은 업무는 데이터 전처리였다. 스스로 생각하기에 꽤나 특이한 경로를 거치는 중인데 덕분에 데이터 엔지니어링 뿐 아니라 그 전엔 전혀 알지 못했던 웹 개발

| 본 포스팅에선 도커를 이용하여 웹 서버를 flask, gunicorn, nginx 조합으로 구성하는 방법을 정리한다.도커 이미지는 flask와 gunicorn 이 같이 설치된 것과, nginx 가 설치된 것 두 개를 만들어 준다. 하나를 만들어서 컨테이너를 두 개

입사 후 첫 프로젝트가 데이터 전처리였다. 주어진 당면 과제가 가능한 모든 파트에 멀티 프로세스를 적용하고 전처리 시간을 최대한 줄이라, 그래야 뒷작업까지 하루 안에 끝낼 수 있다.. 라는 것.전처리에서 시간을 많이 잡아 먹는 부분을 찾아보니 주로 list나 dicti

테스트는 다음과 같은 조건으로 한다. (MP==멀티 프로세스, MT==멀티 스레드) 서버 구성 : single, MP, MTrequests 방식 : single, MP, MT서버 구성은 gunicorn 실행 시 option을 달리하며 구현할 수 있고, request