개요

• GCP에서 스타트업 크레딧 3000만원을 받았음
• 1분기 내에 최소 $300달러를 써야함, 안 그러면 동면처리 되어 회수해감
• 아직 AWS 사용중이지만 8월에 크레딧이 만료되면 GCP로 이사가야함 (스타트업의 비애)
• 그래서 어디에 쓸까~ 하다가 내부적으로 AI 관련 기획이 많이 나와서 AI를 돌리자!
• 마침 DeepSeek 두두등장, 일단 돌려만 보자!

목차

• 클라우드 사양 선택하고 인스턴스 생성하기
• 본격적으로 DeepSeek R1을 설치해보자
  • 리눅스에 ollama 설치하기
  • DeepSeek R1 8B 설치하기
• DeepSeek와 간단하게 놀아보자

클라우드 사양 선택하고 인스턴스 생성하기

자.. GCP에서 인스턴스를 생성하는 화면에서 GPU 인스턴스 옵션들을 살펴봅시다.

음.. 뭐가 뭐지? 내가 아는 GPU는 RTX.. 일단 일반인 기준으로 사용할거면 두가지만 집중하면 됩니다.

모두 NVDIA이고 A100, H100 시리즈는 너무 비싸니까 패스, V100도 비싸서 패스
그나마 사용할 수 있는 가격대의 GPU는 L4, T4, Tesla P4 정도가 있습니다.

여러 기준을 따져서 한달에 $600 정도 소비할 수 있는 NVIDIA L4를 선택했습니다.
이야 AI 인스턴스 하나가 전체 서버비용의 두배!

어찌저찌 인스턴스를 만들어서 SSH로 접속에 성공했다, 자 여기까지는 맨날 하던 일이니까 무난합니다.

본격적으로 DeepSeek R1을 설치해보자

자.. 이제 시작이죠, 첫 AI 설치.. 두근두근 합니다.

리눅스에 ollama 설치하기

https://ollama.com/download/linux 공식 사이트에서 안내해주는 명령어로 설치해주면 됩니다!

curl -fsSL https://ollama.com/install.sh | sh

엇.. 명령어 한줄로 설치가 끝났네요, 많이 좋아졌군요 나때는 말이야..

DeepSeek R1 8b 설치하기

Ollama에서는 여러개의 DeepSeek 설치 옵션들을 줍니다, 7b 8b 14b.. 8b를 선택했습니다.
현재 사양에서 8b가 그나마 안정적으로 돌아갈거라고 판단했는데, 돌려본적이 없어서 잘 모르겠네요.

ollama run deepseek-r1:8b

짜잔 설치를 완료하고 Hello World라고 입력했습니다! Think 태그 안에서 사고하고 대답해주네요.
근데.. 저 사고과정이 왠지 조금 느린다고 생각이 들었습니다, 내가 뭔가를 놓쳤나?

문득 GPU를 제대로 활용하고 있는게 맞겠지? 라는 생각이 들었어요, 아래와 같은 명령어로 확인할 수 있습니다

ollama ps

그런데 PROCESSOR가 100% CPU라고 나오는것이다, 어쩐지.. 느리다 싶었습니다.
엥 그러면 CUDA도 설치되어 있지 않은거 아닌가? 라는 생각도 들어서 최적화를 시작했습니다.

CUDA를 설치하고 아래 명령어로 설치가 되었는지 확인합니다, 저는 Rocky Linux를 사용했습니다.

nvcc --version

그리고 아래와 같은 명령어를 입력하니 GPU를 사용하기 시작했습니다.

export OLLAMA_CUDA_VISIBLE_DEVICES=0
export OLLAMA_ACCELERATE=cuda
ollama run deepseek-r1:8b

이후 사고와 응답속도가 전과 비교도 안될 정도로 빠르게 작동하는것을 확인하였습니다.

[dev@*-* ~]$ ollama ps
NAME              ID              SIZE      PROCESSOR    UNTIL              
deepseek-r1:8b    28f8fd6cdc67    6.9 GB    100% GPU     4 minutes from now

PROCESSOR가 100% GPU로 변경되어 있던 부분도 확인할 수 있습니다.

DeepSeek와 간단하게 놀아보자

뭐.. 일단 찜찜하긴 하지만 대충 설치가 완료되었습니다, 한번 간단하게 대화를 해보도록 하겠습니다.

다른 추론 모델들처럼 혼자서 추론과정을 거쳐서 대답을 합니다, 간단한 대답은 생략하는 듯 합니다.

근데 가끔씩 중국어나 일본어를 섞어서 얘기하길래 이걸 당장 어플에 적용하기는 그렇고 개선해 나가야겠다는 생각이 드네요. AI 절대 안 할 줄 알았는데....

마무리하며

고등학교 1학년 때 자바를 싫어했고 자바를 평생 안 할 줄 알았습니다, 그땐 C만 사용했으니까요.
고등학교 3학년까지도 헬스를 싫어했고 헬스를 평생 안 할 줄 알았습니다, 그땐 복싱을 했으니까요.
얼마 전까지도 AI에는 관심이 없었고 사용만 했고 AI 개발을 안 할 줄 알았습니다, 스프링만 하고 싶었으니까요.

하지만 트렌드는 무섭게 다가오고 결국 저 개인의 생존이 아닌 프로덕트의 생존과 방향성 덕분에 AI를 하게 되었습니다, 인생이 하고 싶은것만 할 수는 없고 예측대로도 안되고 싫어하던것도 어느 순간 좋아지더군요.

빠르게 변화하는 트렌드에 저도 한입 맛보자 DeepSeek를 설치해봤습니다, 생각보다 너무 간편하네요.

주변 얘기 들어보니 요즘 업계 자체가 직군 불문하고 AI 도입 때문에 시끄럽던데 여러분들도 대비할겸 간편하게 찍먹 해보는것도 나쁘지 않은 경험이 될 수 있겠다 생각이 듭니다.