데이터 엔지니어링이나 ML모델을 서비스하다보면 주기적으로 어떤 작업을 실행하고 싶을 때가 많다고 한다.예)월요일 아침마다 쌓인 데이터로 자동으로 보고서를 생성해야할 때한 달마다 ML모델을 주기적으로 재학습 시킬 때(continous training)Batch servi

Serving 라이브러리, BentoML이란? BentoML같은 serving 라이브러리가 없을 땐 AI 모델을 이용한 서비스를 배포하기 위해 FastAPI와 같은 것을 이용해 직접 API를 만들곤 했다. FastAPI로 백엔드를 구현하려면 따로 알아야 할 것들도 있

ML 모델을 만들 때 좋은 성능을 내는 모델을 찾아내기 위한 실험을 다양하게 진행하곤 한다.이 경우 여러 방법으로 실험 조건과 결과를 기록하는 것이 필수인데, 메모장이나 스프레드시트 같은 것들을 사용하곤 한다.하지만 실험 인원이 많아지면 각자의 실험 코드가 달라지거나

여기 streamlt과 FastAPI로 이루어진 서비스가 있다.

web get 을 뜻함웹상에서의 파일을 다운로드할 때 사용한다.옵션\--limit-rate : wget은 기본적으로 최대 대역폭으로 다운로드하는데 필요할 경우 속도에 제한을 둘 수 있다.\--tries=N : 연결이 불안정할 경우 N번만큼 재시도한다.\-b : 백그라운

개발에 본격적으로 입문하면 리눅스를 다룰 일이 많아진다. 자주 사용되는 리눅스 커맨드에 대해 알아보자. (알고보면 리눅스 쉘 커맨드로 할 수 있는 것들이 은근 많다.) cd 경로를 이동한다. ls 현재 디렉터리의 파일들을 보여준다. pwd 현재 위치의 절대 경로를

https://programmers.co.kr/learn/courses/30/lessons/17676처리 완료 날짜, 시각, 처리시간으로 이루어진 로그 파일을 받아 초당 최대 처리량을 구해내는 문제이다.초당 최대 처리량은 처리량이 가장 많았던 1초를 뜻하는 것

https://programmers.co.kr/learn/courses/30/lessons/72413출발점과 두 사람의 집의 위치, 도로들의 예상 요금이 주어졌을 때 최저 택시요금을 구하는 문제이다.합승은 해도 되고 안 해도 된다.가중치가 모두 양인 그래프에서

AI 엔지니어를 길러내는 짜임새 있는 과정이었다. 과정은 3개의 level로 나뉘어진다.level 1에서는 AI에 필요한 기초 수학(선형대수, 확률론, 통계)부터 시작해서 파이썬 기초, Git을 이용한 버전관리, 딥러닝 기초 이론과 간단한 이미지 분류 대회로 기초를 닦

개발자로 커리어를 변경하기로 마음먹은 2020년 12월 31일.개발자는 보통 웹으로 시작하고 수요도 많다는 말을 듣고 무작정 Udemy 인강 The Complete Web Developer in 2021: Zero to Mastery외 2개를 구매해 수강했다.2021년

설치 다음을 실행하면 FastAPI를 위한 여러가지가 설치된다. (아래에 나오는 uvicorn도 함께 설치된다.) 가장 간단한 웹 서버 위 코드로 파일을 만들면 get request를 하면 {"message": "Hello World"} 이라는 json을 뱉는 서

https://www.acmicpc.net/problem/15488나이트가 K번 지멋대로 움직일 때 체스판을 벗어나지 않고 남이있을 확률을 구하는 문제이다.일반적인 방법으로 풀면 시간 초과가 날 것이니(사실 문제 분류 봤음..) DP로 각 턴마다의 상태를 저장

파이토치에서 경사하강법을 이용한 단순선형회귀분석을 하는 방법을 알아보자우선 y = 2x 라는 아주 간단한 선형관계를 가진 데이터를 준비한다.가중치는 하나일 것이므로 1의 shape를 가진 0 토치 텐서 변수를 만들어준다. 얘는 두 개의 파라미터를 받는데 모양과 학습

잘 알다시피 1차원 데이터는 벡터, 2차원을 행렬, 3차원을 텐서라고 부른다. 2차원 행렬의 크기를 구하기 위해선 배치 사이즈x차원(dim)를 하면 된다. 우리가 딥러닝으로 컴퓨터 비전을 다룰 때의 3차원 텐서는 보통 배치 사이즈x높이x너비가 데이터의 크기다. 자

[신경망을 수식으로 표현] 신경망이 어떻게 학습을 알아보기 위해 우선 신경망을 수식으로 표현해보자. n개의 입력 데이터를 받는 단층 신경망이* d개의 뉴런을 가지고 있고 p*개의 출력을 내보낸다면 다음과 같은 행렬들의 식으로 나타낼 수 있다. O는 출력, X는 입

https://www.acmicpc.net/problem/10026일반인이 보는 시각, 적록색약이 보는 시각 두 개의 bfs 함수를 만들어 풀었다.일반인의 경우 현재 위치의 색과 다음 위치의 색이 같을 때만 탐색을 이어나가고 적록색약은 조건을 완화해 R->G

https://www.acmicpc.net/problem/12865동적계획법으로 풀어야 하는 문제다.각 무게마다 담을 수 있는 최대의 가치를 dp배열에 저장해가며 풀었다.구체적으로 새 무게/가치 짝이 들어오면 이미 dp배열에 존재하는 값들을 이용해 새로 가능한

https://www.acmicpc.net/problem/15684

구체적인 문제 내용을 적을 수는 없지만 다소 평이한 문제가 나왔다. 다만 주어진 시간에 비해 문제 수가 다른 코테와 비교하여 다소 많아 약간 시간에 쫒기는 듯한 기분으로 보았던 것 같다.평소 백준 문제를 VScode로 많이 풀어 프로그래머스 환경이 낮선 것도 있었고 이