- 전체보기(52)
- 웹크롤링(6)
- 쿠버네티스(3)
- 웹 API 디자인(3)
- LLM(2)
- 테스트 환경(2)
- AB 테스트(2)
- github action(2)
- 트러블슈팅(2)
- 자동화(1)
- Gemini(1)
- 데이터 인프라(1)
- organization(1)
- 다이어그램(1)
- 작업스케줄링(1)
- 실습(1)
- flutter(1)
- 시뮬레이션(1)
- 리액트(1)
- 개발(1)
- mac(1)
- Slurm(1)
- 웹스크래핑(1)
- 인프라(1)
- llama.cpp(1)
- 알고리즘(1)
- GCP(1)
- IaaS(1)
- FTP(1)
- 데이터 엔지니어링 기초(1)
- 서버(1)
- python(1)
- 세라프(1)
- 백엔드 기초(1)
- CI/CD(1)
- ssh(1)
- docker(1)
- 몬테카를로(1)
- 컨테이너(1)
- oom(1)
- 1인 개발(1)
- github actions(1)
- 서빙(1)
- 말평(1)
- 국립국어원(1)
- 웹 브라우저(1)
- 머신러닝(1)
- 산업공학(1)
- 기초수학(1)
- 용어(1)
- 로컬 챗봇(1)
- vLLM(1)
- Phi 2(1)
- github(1)
- db(1)
- 용어정리(1)
- gguf(1)
- URL 파라미터 방식(1)
- sftp(1)
- 도커(1)
- 데이터 엔지니어링(1)
- 최적화(1)
- HPC(1)
[4편 보강 예제] Slurm으로 “진짜 LLM 추론” 한 번 돌려보기 (phi-2)
아닙니다. Slurm 개념을 이해했으면, 이제는 진짜로 GPU 잡아서 뭔가 돌아가는 경험을 한 번 해야 한다. 근데 여기서 gpt2 같은 걸 돌리면 솔직히 감이 안 옴...!
서버 처음 쓰는 사람은 왜 MobaXterm을 쓰게 될까
HPC 시리즈를 여기까지 따라왔다면 이제 딱 이 상태다. SSH/SFTP 개념은 알겠고, Slurm도 이해했고, 베이스라인도 한 번은 돌려봤다. 근데 막상 “서버에 접속해서 실험을 계속 굴리는 생활”을 하려니까 갑자기 너무 불편해진다.
HPC 실수 12가지
HPC는 익숙해지면 강력한데, 모르면 진짜 불친절하다. 아래는 “모르면 꼭 한 번은 당하는 실수들”이다. 나도 다 해봤고, 주변에서도 계속 본다.하나의 env에 이것저것 설치하다가 어느 날 갑자기 import 에러가 난다. 버전 충돌이 터지면 원인 추적이 거의 불가능해
베이스라인 이후, 뭘 바꿔야 할까
베이스라인을 한 번이라도 끝까지 돌려봤다면 아마 이런 생각이 들 거다. 점수가 생각보다 안 나온다, 문장이 좀 이상하다, 중요한 발언을 놓친다, 길면 아예 잘린다.
서빙 이전에 반드시 검증해야 할 것들, 그리고 로컬 튜닝 실패 패턴
앞선 글이 “왜 도구가 다른가”를 정리했다면, 이 글은 실제로 로컬에서 손을 더럽히며 겪었던 판단 기준과 실패 패턴을 정리한 기록이다.
llama.cpp vs vLLM/TGI 같은 LLM 실행인데 왜 완전히 다른 선택인가?
로컬 모델을 활용해 챗봇을 구성하는 방식은 이제 더 이상 낯선 주제가 아니다.
국립국어원 말평 도전
말평 과제란? 국립국어원의 인공지능 말평(Korean Language Intelligence Benchmark)은 한국어 인공지능 기술의 성능을 객관적으로 평가하기 위해 마련된 국가 공인 벤치마크입니다. 형태소 분석, 품사 태깅, 개체명 인식, 문장 관계 추론, 감정
파이썬 라이브러리(Cython,NetworkX,Louvain,Python-TSP| 성능 최적화와 그래프 알고리즘
Cython은 Python 코드를 C로 컴파일하여 네이티브 속도로 실행할 수 있게 해주는 라이브러리다
MOVIE SHELF | AI로 영화플리 서비스 만들어본 후기
MOVIESHELF 서비스 바로 가기https://movieshelf.store/
localStorage vs sessionStorage vs Cookie
웹 개발을 하다 보면 클라이언트 측에서 데이터를 저장해야 하는 상황이 자주 발생한다. 사용자의 설정값을 기억하거나, 장바구니 정보를 유지하거나, 로그인 상태를 관리하는 등의 기능을 구현할 때 말이다.
UUID vs NanoID와 URL 파라미터 방식 완전 정리
UUID와 NanoID 기본 개념(2. 충돌 확률의 진실(3. URL 파라미터 방식의 차이(4. ASP.NET vs 모던 웹의 접근법(5. 실무 선택 가이드(6. 개발 시 활용 프롬프트(웹 개발을 하다 보면 고유한 ID를 생성해야 하는 경우가 정말 많다. 특히 이번 로