100달러 충전했는데 3일만에 5만원 긁힌 이력서 AI 서비스 개발기
"어? 뭔가 이상한데?"
클로드 API에 100달러 충전해놓고 여유롭게 있었는데, 서비스 공개 후 3일 만에 5만원이 긁혔다. 지금은 68달러, 약 8만원 정도가 소진된 상태다.
처음에는 "뭔가 잘못됐나?" 싶었는데, 알고 보니 생각보다 많은 분들이 이력서 평가 서비스를 사용해주신 거였다.
한 번에 클로드 API를 6번 호출하는 구조라 비용이 꽤 나가는 편인데, 그래도 사람들이 써주니까 뿌듯하기도 하고 지갑은 아프기도 하고.
"사실 나도 서탈로 개고생했던 사람"
미안하다. 어그로 좀 끌어봤다. 보다시피 난 서울대 학부졸업을 했다. 그래서 너는 서울대니까 다 붙는거 아니야라는 이야기를 종종 듣는다.
근데 현실인 서류광탈 ㅋㅋ 겁나 떨어지고, 서류 붙은 곳들은 이상한 곳들이었다(그래서 안 갔다). 그렇다고 내가 뭐 눈이 높은 것도 아니고, 3년 차에 4~5천 바란 게 전부인데도 말이다.
그때 깨달은 건 학력보다는 빅테크 출신이 100만 배 더 먹힌다는 것이었다. 근데 빅테크를 어떻게 가냐고!! 이런 상황이었다.
시대가 달라졌다. 이제는 학력의 메리트가 전보다 줄었다. 경제가 각박해져서 "대충 학력 좋은 애 뽑아놓으면 성장하겠지"를 못 기다리는 시대가 됐다.
그거보다 강력한 근거를 줘야 뽑히는 시대. 더 깐깐해졌기 때문에 학력을 안 보는 거지, 네카라 출신 경력은 여전히 프리패스일 것 같다.
"채용담당자가 되고 나서 보인 것들"
그런데 어쩌다 보니 내가 채용담당자가 됐다. 이력서를 보는 입장이 되니까 이전과는 완전히 다른 게 보이기 시작했다.
대부분의 이력서에서 누락되는 것들:
- (신입) 부트캠프에서 어땠는지
- (신입) 대학교 조별과제에서 어떤 역할이었는지
- (경력) 회사에서 기획자, 디자이너와 어떤 일을 했는지
다들 기술 스택만 주구장창 나열하는데, 솔직히 기술적 역량에서 개발자들 간 차이가 크지 않다. 오히려 소프트스킬이 더 중요하다. 노벨평화상을 받았다 이런 수준이 아니라, 그냥 나의 의사소통 능력에 대한 남들의 평가, 경험을 녹여내면 된다.
나는 프로덕트 엔지니어를 지향하는 주의라서, 개발자가 개발만 하는 게 아니라 자신의 제품에 관심을 가지고 의견을 낼 줄 알아야 한다고 생각한다.
그래서 비즈니스적으로 도메인 관심사를 보이라고 한다. 관련 전공이거나 취미, 또는 지원하는 회사 도메인의 사이드 프로젝트를 한 경험 같은 것들 말이다.
솔직히 말해서 뽑는 입장에서는 대박이 걸리기보단 꽝을 피하는게 더 우선이다.. 세상엔 진짜 다양한 사람들이 많으니까..
"그래서 AI로 만들어봤다"
이런 인사이트들을 바탕으로 이력서 평가 서비스를 만들어봤다.
특이한 점들:
- 항목별 체크리스트로 해당 내용이 존재하느냐 부재하느냐만 체크해서 점수를 낸다
- 기술적 역량은 점수를 낮게 본다 (위에서 말한 이유로)
- 그래서 토스, 올영 같은 곳 분들 이력서도 낮게 나온다
- 내 이력서도 낮게 나온다 (나도 그리 잘 쓰진 않았거든)
하지만 나는 라이브러리를 만들고 운영 중이라는 한 줄로 통과한다. 보여줄 성과가 뚜렷하면 이력서는 간결해도 된다는 방증이다. 그런데 그런 경우는 흔치 않으니까... (내 라이브러리는 https://flitter.dev 이다)
"기술적으로는 이렇게 만들었다"
할루시네이션을 줄이려고 여러 전략을 써봤다. 같은 이력서인데 언제는 3점, 어제는 5점 나오면 안 되니까.
주요 전략들:
- 평가 항목이 늘어날수록 길어지는 시스템 프롬프트를 분할해서 합치기
- 그래서 한 번에 6개의 클로드 API를 호출한다 (ㅠㅠ 그래서 비용이 비싸다)
- 구조화된 응답을 얻기 위해 실패하면 retry로 어느 부분이 파싱 실패했는지 확인하고 다시 시도
- 최대한 실패 없이 일관된 응답을 내기 위한 전략들
이런 전략들은 내 고유 아이디어라기보다는 이전부터 나온 AI 활용 기술들이다. 클로드 블로그 포스팅 가면 쉽게 접할 수 있다. AI의 대중화로 이런 기법들도 대중화되면 좋겠다.
<출처: https://www.anthropic.com/engineering/building-effective-agents>
당연히 스벨트 전도사인 나는 이걸 스벨트킷으로 만들었다 ㅋㅋ
"개발은 클로드코드가, 화면은 스토리북이"
이 모든 걸 클로드코드로 만들었다. 사실 화면을 잘 안 본다.
터미널에서 클로드코드로 주구장창 개발하다가, 화면을 보면서 피드백해야 할 일이 있으면 스토리북을 띄워둔다.
생각해보라. 이력서 평가지의 레이아웃을 고치고 확인할 때마다 실제 이력서를 올려보는 건 너무 귀찮다. 매번 클릭해서 결과 보는 데 30초 걸리고, 게다가 비싸다 ㅠㅠ 클로드 API 6번 호출하는데 테스트할 때마다 돈이 나간다고.
그래서 화면 개발할 때는 주로 스토리북을 띄워두고 개발하는 편이다. 컴포넌트별로 독립적으로 확인할 수 있고, 다양한 상태를 시뮬레이션할 수 있어서 훨씬 효율적이다.
스토리북 설정도 클로드코드가 다 짜줬다!
"스벨트킷 프로젝트에 스토리북 설정해줘, 그리고 이력서 평가 결과 컴포넌트 스토리 만들어줘"
이런 식으로 말하면 알아서 다 만들어준다. 개발자 인생이 이렇게 편해져도 되나 싶을 정도다.
덕분에 실제 서비스 로직과 UI 개발을 완전히 분리해서 작업할 수 있었고, 비용 걱정 없이 화면을 다듬을 수 있었다.
"그래서 뭘 배웠나"
학력은 정말 중요하지 않다. 내가 이걸 당당히 말할 수 있는 이유는 서울대 나와도 줄기차게 떨어져봤기 때문이다. 하지만 그렇다고 헛된 희망을 주려는 게 아니다. 사실 나는 누구보다 학력을 봤으면 좋겠다고 생각했다.(그래야 내가 유리함 ㅠ) 그런데 그것만으로는 안 됐다.
지금은 더 깐깐한 시대다. 그냥 각박한 거다. 더 강력한 근거를 줘야 뽑히는 시대가 됐다.
자기 PR의 시대가 왔다. 라이브러리도 만들고, 요즘IT에 글도 쓰고, velog에도 글을 쓰고 있다. 네카라 출신이 아닌 내가 어필하기 위한 방법들이다.
P.S. 이력서 평가가 궁금하다면 한 번 써보시길. 100달러 다 떨어지기 전에 ㅋㅋ
그리고 이것도 AI가 쓴 글임ㅋㅋ
