드디어 3주간 프로젝트가 끝났다. 팀원들도 무리한 요구를 잘 이행해줬고, 그 덕에 내가 해보고 싶었던 것 대부분 해보며 목표한 것에 달성 할 수 있었다.
저번에 초급 프로젝트의 회고는 따로 적지 않았다. 제대로 진행되지 않고, 모든 것을 내가 진행해주는 구조였기에 회고라고 할 것은 팀원들의 적극적인 참여가 없었다 말고는 남길 말이 없었기 때문이다. 그래서 개인적으로 이번 프로젝트를 하며, 특히 팀장을 하며 이건하지 말아야지가 있었다.
나는 만 3년을 복무하고 6월에 전역한 군인이다. 병으로 복무한 것도 아닌 장교로 만 3년을 복무했다. 보통 나같은 단기 자원들은 소대장만 하고 끝나는 것이 보통이지만, 나는 소대장 보다 중대장으로 2년 이상을 복무하고 전역한 특이한 경우이고 이로 인해 더더욱 군인 마인드가 심했다.
그래서 가장 답답한 것은 즉각적이지 않은 피드백, 기한 준대로 안지키는 것, 대충하자는 마인드 이 3가지이다. 정말 이전 팀에서는 내가 싫어하는 것만 일어나서 팀원이었지만 너무 힘들었다. 친구들에게 이에대해 상담을 하였고 전역하신 아버지에게 이를 털어 놓고 의견을 들어보았다. 그 답변은 "걔네는 군인이 아닌데 너만 지금 답답해 하는거다."였다. 나는 내가 한말에 모두가 움직이고 막말로 옷도 입고 벗겨줄 수 있는 환경에 3년을 있다가 왔고, 목표는 무조건 수행해야한다는 강박이 있었다. 하지만 사회는 특히 이 교육에서는 못했으면 아쉬운 것이 맞았고 아마 다들 그렇게 생각하고 있었을 것이다.
그러니 나는 아직 군대 물이 덜 빠진 것이 맞았고, 더군다나 팀장이 된 나는 더더욱 그 위치에서 예전처럼 그런다고 하면 아마 팀 분위기를 내가 저해하는 상황이 될 것이다. 그래서 마음의 여유를 갖고 기다리고 목표에 대한 강박을 버리는 것이 중요하다고 생각했다. 그래야 팀원들에게 친근하게, 다같이 기쁜 마음으로 프로젝트를 할 수 있을 것이라고 생각해 마음을 비우고 생각을 버리자는 마음에 이런 규칙을 세웠다.
나는 승부욕이 말도 안되게 강하다. 평가를 한다지만 이를 알수 있는 방법은 없다. 그런데 경쟁의식을 갖을 이유가 있을까? 물론 잘하면 좋겠지만 오히려 미흡하더라도 지금은 배우고 이를 수정하는 과정이 더 중요하다는 생각이 들었다. 지적을 받지 않으면 스스로 발전하기 힘들고 나태해지기 마련이다. 경쟁의식을 갖는다면, 나는 1번을 또 반복할 것이고 팀원들을 압박할 것이라고 생각했다. 그래서 '경쟁의식을 갖지 않는다.'라는 규칙을 세웠고 이를 매일 생각했다.
서비스는 완벽하면 좋다. 하지만 사용자들은 오히려 시리즈를 좋아하고 빠르게 서비스를 만들고 지속 업데이트를 하는 회사를 좋아한다. 완벽한 것을 만드는데 매몰되면 안된다. 그래서 완벽한 것 보다 단계단계 개발하며 빠르게 서비스를 만들고, 개선점을 찾고, 그것을 계속 업데이트 하는 방향을 지향했다.
큰 3가지 원칙을 바탕으로 프로젝트에 임했다. 그렇게 나는 "배우는 시간이다. 내생각과 지식에 대한 검증의 시간이다."라는 마음가짐으로 프로젝트를 시작하였고, 하루마다 팀원, 강사님, 멘토님께 평가를 받아왔다.
군인이 아니라해서 그냥 흘러가는대로 프로젝트를 진행하고자 한 것은 아니고 목표를 분석하고, 목표 기반 주단위 계획 수립, 그리고 3일간 세부계획을 수립하여 일일 토의를 통해 진행상황 공유 및 추적관리, 계획 수정을 하였다.
이를 팀원들에게 공유하며 팀원들의 의견을 듣고 내의견을 나누고, 더 좋은 방안은 수용하며 프로젝트를 진행하였다.
첫 시작이었다. 굉장히 떨렸다. 막상 내가 전 팀장을 욕을 하고 동기 평가에 악담을 적으며 비난을 했는데, 팀원들에게 내가 그렇게 보이면 어쩌지 하는 생각도 있었다. 그렇게 첫 토의를 하며 서로 인사를 하고, 솔직한 이야기를 했다.
"저는 저번 프로젝트에 제대로된 진행을 하지 못했습니다. 그래서 경험적으로 어떻게 진행해야할지 모르는데 이전 팀에서 어떻게 진행했었나요?"
대부분 아는 분위기였고 팀원들의 이전 경험에서 공통되는 부분을 수용하고, 특히 역할은 바로 나누지 않고 데이터 분석을 한 이후에 정하기로 했다. 그 이유는 데이터 분석을 하는 기간동안 팀원들의 과제 성취도를 탐색하려고 한 것이다. 전문가는 아니지만, 적어도 팀원들보다는 내가 지식이나 경험이 많았기 때문에 이렇게 하였다. 그래서 역할 분담과 협업 환경 개설, 데이터 분석 시작을 하였다.
걱정했던 부분은 대부분 이때 해소가 되었고 확신이 생기기 시작했다.
팀원들이 야간에도 디스코드로 이야기를 주고 받으며 원래 계획했던 것 보다 하루 일찍 데이터 초기 분석을 마무리 했다. 이때 또 할 수 있다는 확신이 확고해져갔다. 이제는 프로젝트를 시작해야해서 역할을 세부적으로 나눴고 이때 경험의 한계가 나왔다.
역할을 나눔에 있어 데이터 전처리 담당이 필요했는데, 어떤 업무냐고 했을때 명확하게 답변을 주지 못했다.
"제가 생각한 데이터 엔지니어의 업무는 모델링 전까지 해주시면 된다."
"데이터 전처리는 문장단위로 데이터를 쪼개서 전처리를 하면 됩니다."
여기서 핵심 오류는 2번째 문장이다. 벡터 DB를 구성할때 임베딩과 청킹이 시행되는데 이 청킹은 문장단위 분할이 아니다. 내가 '아직도 기술을 배워야 한다. 알아야 한다.'에 매몰 되어 있었다. 이에 기인해서 세부적인 과정을 모르고 '이럴때 이렇다.'정도만 알고 있으니 팀원들에게 애매모호한 답변을 줄 수 밖에 없었다. 여기서 내가 배운 것은 개념에 대해 다시 공부를 한번 해봐야겠다. 였다.
당연히 팀원이 이를 지적했고 나는 인정을 하였다. 내가 많은 것을 안다는 것이 아니라는 것을 다시 느끼고 급하게 많은 지식과 기술을 습득한 것의 맹점을 알게 되었다.
데이터 전처리를 예상 보다 빠르게 마무리해줘서 Retriever개발을 화요일 저녁부터 할 수 있었다.
데이터 전처리 뿐만아니라 전체에 대한 Basecode를 작성해주었다. 사실 예전의 나였다면 안봤을 것이다. 근데 이전 프로젝트에서 팀원들에게 똑같이 Basecode를 제공 했는데 철저히 무시당하고 본인들 마음대로 개발한 것이 생각이 났다. 그 기억에 작성자의 코드를 바탕으로 내가 이해해서 이어서 작성하는 것이 맞다고 생각해 이번에 처음 타인의 코드를 사용했다. 그 덕에 시간을 많이 아낄 수 있었다.그리고 생각 이상으로 상세하게 코드를 작성했고 크게 수정할 필요가 없었다.
결론적으로 나도 예정보다 더 빨리 코드를 작성할 수 있었다. 그리고 나역시 마찬가지 끝까지 코드를 작성하며 나의 생각을 팀원에게 전달하려고 했다.
추후 생성기 개발을 하는 팀원에게 할 내용을 전달해주는 과정에서도 제대로 설명을 해주지 못했다. 지금 생각해보면 그냥 확실하게 "코드 보고 "그래서 여기서도 나의 한계가 여실히 들어나는 순간이었다.
이제 모델 개발은 남은 팀원들에게 맡기고 나는 모델 대시보드를 담당했다. 여기서 부터는 팀원을 믿고 프로토타입을 만들며 앞으로 있을 로컬 임베딩 모델 선정과 어떻게 진행해야 하는지 많은 고민을 했었다.
대충 프로토타입 대시보드는 개발을 완료했다. 그리고 검색기를 개발하며, 임베딩 하면 벡터로 만들어서 유사도 계산 할 수 있다.는 것은 알겠다. 근데 이걸 제공하는 서비스가 없었다. 아무리 뒤져봐도 없었다. 그래서 이건 이번 프로젝트 마무리하며 서비스로 한번 내봐야겠다고 생각해 준비를 좀 해봐야겠다.
벡터 DB 대시보드는 고차원의 임베딩 벡터를 2,3차원으로 축소해서 좌표평면에 나타낸 것인데 이를 통해 정확한 분포 보다는 대략적인 분포와 임베딩의 변화를 볼 수 있다. 이 대시보드를 통해 버려지는 데이터들도 벡터 DB에 업로드 되는 것을 확인했다. 그리고 데이터 청킹에 대한 결과확인으로 t-SNE 축소를 한 결과물로 문서가 군집화가 잘 된 것도 확인하였다. 발전시켜서 시각화 관련 사이트로 발전시켜 보고 싶다.
주말까지 시간을 할애하여 첫 서비스를 완성하고 발표 자료를 만드는데 돌입했다. 당장 화요일 부터 3일간 1명이 참석이 제한되어서 내가 생각하던 고급 검색 기법을 구현 할 수 있을지 의문이 들기 시작했다. 이때, 내가 모델개발에 투입 되면 프로젝트는 요구사항을 다 맞출 수 있게 되지만 성능은 포기 해야했고, 내가 계속 검색기 개발을 했다면 로컬 모델을 포기 해야했다. 그 기로에서서 고민하기 시작했다.
고민을 하다보니 벌써 발표 전날이었고, 이제는 발표 자료를 준비해야 했다. 그리고 팀 협업 공간도 한번 관리를 해줘야해서 팀 공용 문서 관리에 좀 더 취중한 하루 였다.
드디어 우리의 첫 결실을 평가 받는 때가 왔다. 중간발표 1번 순서였고 결과는 잘 마무리 되었다. 많은 질문이 있을 줄 알았지만, 질문은 없었고 팀 중에 결과물을 보여준 것은 우리가 유일 했다.그래서 나름 뿌듯했고 여태 내가 잘 하고 있다고 생각이 들어 기분이 좋았다. 내가 기분좋으니 팀원들도 같이 기분이 좋았었다.
하지만 이건 어디까지나 중간 발표다. 여기서 마무리 된 것 처럼 업되어 있다고 순간 느꼈다. 팀원들도 최상의 결과물에 기뻐했지만 나까지 여기에 안주하고 있다면 남은 일주일을 날릴 수 있다고 느꼈다. 그래서 평정심을 찾는 것이 중요했고, 나는 기쁜 마음을 잠시 접었었다. 팀원들에게는 조금 미안하지만 냉정하게 우리 할 거 또 잇다고 얘기 했었다....ㅎㅎ(미안합니다ㅜㅜ)
이제는 새로운 모델을 개발을 해야 했다. 열심히 찾아본 모델을 팀원들에게 소개하고 우리기 이걸 왜 사용해야하는지 설명했다. 사전에 데이터 전처리를 부탁해서 바로 개발할 수 있는 상황이었고, QLoRA를 진행했다.
하지만 우리는 몰랐다... 한국어로 학습된 모델을 사용하고 RAG 시스템 개발을 하는 우리는 굳이 QLoRA를 할 이유가 없었다. 왜냐하면 이미 검색기가 있었고, Fine-Tuning과 RAG는 언어 모델의 정보의 한계를 극복하고자 하는 기술 이었기 때문이다. 근데 이를 간과하고 일단 QLoRA를 진행했다.
3명에서 힘을 모아 밤새 학습한 결과, 학습에 성공했다!!! 하지만 대시보드에서 가중치 로드하고, 답변 생성하는데 구동 환경의 연산 장치를 사용한다는 것을 몰랐던 우리는 OOM 문제를 마딱뜨리게 되었다. 이를 해결하고자 GPU, CPU를 같이 사용하게 하고 별짓을 다했지만 해결되지 않았다. 그래서 팀원중 한 분이 모델 양자화를 해주셔서 덕분에 모델이 느리지만 정상 작동 하긴 했다.
여기서도 아쉬운 것은 좀 더 명확하게 알려 줄 수 있었다면 더 빠르게 끝낼 수 있지 않았을까?라는 것이었다. 그래도 나도 배우는 입장이고 하니 개발하며 하나씩 배워가는 것도 기술이라는 것을 이때 많이 느꼈다.
이제 마지막 주다. 다행히 기초적인 결과물은 완성 되어서 발표 및 제출 자료 준비만 신경 쓰면 되었다. 그래서 전반적인 발표 구성을 어떻게 할지, 보고서는 어떻게 작성해야하는지(저번 팀에서 발표 자료로 퉁쳤다...ㅋㅋ)고민을 부단히 했다. 특히 보여줄 것이 2개인데, 로컬에서 동작하는 것이 너무 느린것이 흠이었다. 그래서 이때부터 실제 배포를 해야겠다고 고민하고 있었다.
어제의 고민을 실행에 옮기기 전에 발표 자료에 대한 가이드를 팀원에게 주고 나는 빠르게 작성을 마무리 지었다. 그리고 배포를 준비하기 위해 이것저것 찾아보던 중, 필연적으로 우리서비스는 고용량, 고성능 GPU가 있는 환경에서 배포해야한다.는 것을 알게 되었다. 그래서 AWS, GCP등 이것 저것 찾아보니 돈이 너무 많이 들었다. 기존에 컨테이너 만들어서 배포하는 것은 해봐서 익숙하지만, 그밖에 설정하는데 아직 익숙하지 않아 여러가지를 찾고 있었다.
그러던 중, Hugging Face에서 저렴하게 GPU환경에서 배포가 가능한 것을 찾게 되었다!!!! Dockerfile만 간단하게 작성하고 돈을 지불하면 간편하게 배포가 가능했다. 그래서 다음날 시도해보기 위해 준비를 해놨다.
이것 저것 준비하며 멘토링 시간이 되었다. 멘토님과 이야기 하다가 이런 배포 문제를 말씀드렸고 정말 모델 양자화 까지 한거면 우리는 최선을 다한 것이 맞다고 말씀해주셨다. 그리고 AI 개발자가 하는 업무 중에 모델 크기를 줄이면서, 성능이 저하되지 않는 최적의 지점을 찾는 것이 있다고 말씀주시며 우리를 격려 해주셨다. 그리고 전 기수들 이야기를 해주시며 사실상 온전한 성능을 확인해보는 것 자체가 어려운 것이라고 하시며 멘토님이 교육 받을때는 직접 GPU를 구입해서 확인해본 적이 있고 실제 현업에서도 돈 나눠서 구입하기도 한다 하셨다. 당장 지금 부담되는 돈일지라도 결과를 확인해서 고민을 더 해보는 과정이 합격을 이끌어 낼 수 있다는 조언에 바로 금액을 결제 하고 서비스를 완성 시켰다.
API모델은 출력이 잘 되었지만, 로컬 모델(Llama-3)은 아직도 답변이 제대로 출력 되지 않는 문제가 있었고, 이는 특수 토큰과 컨텍스트 윈도우 에러로 인해 엄청 커져버린 파라미터들 때문이었다. 프롬프트를 모델이 감당 가능한 수준으로 줄이고, 특수 토큰을 새로 수정해줬다. 그리고 Auto-Trimmer도 사용해서 동적으로 답변 길이를 조절 하도록 했다.
결과를 확인 할 수 있었던 덕에 로컬 모델도 많은 테스트를 진행해 답변을 개선 할 수 있었다. 20달러를 결제 했는데 이것 때문에 애매하게 개발했다로 끝날 뻔한 것을 실험까지 해서 완벽하게 마무리 지을 수 있었다.
어제 성능 개선한 것을 팀원들에게 알려주며 프로젝트가 성공했다고 알릴 수 있어서 좋았다. 그리고 오늘 부터 제출 할 것이 있어 제출자료 마감하는데 좀 더 신경을 썻던 하루였다.
대망의 마지막 최종 발표날이다. 오전에 발표 준비하고, 오후에 최종 발표의 포부를 열었다. 시간이 많지 않아 중간 발표에 말한 것은 최대한 생략하고 컴팩트하게 발표 했다. 결과적으로 칭찬은 받았지만, 우리가 간과한게 하나 있었다.
"QLoRA를 했는데 RAG가 필요한가요?? 과적합 안일어 나던가요?"
분명 답변 자체는 잘 출력이 되어서
"과적합 없이 답변 잘 출력 되었습니다."
라고 답변 했는데, 지금 생각하면 굉장히 머리짧은 생각이었다.
사실 사내 데이터라는 가정하에 외부 데이터에 대한 답변을 고려하지 않아도 된다고 생각을 해. 팀원들에게 QLoRA 해야된다고 말했고, QLoRA와 RAG는 사용시기가 다를 뿐, 똑같은 행위이다.
QLoRA는 Fine-Tuning의 일환으로, 언어모델을 압축해서 작은 LoRA 어댑터만 학습하는 방법이고
RAG는 벡터 DB를 통해 모르는 정보를 검색해서 답변을 출력하는 방법이다.
다만 Fine-Tuning은 시간이 많이 들고 메모리 업데이트가 힘든 방면, RAG는 벡터 DB만 업데이트 해주면 되기 때문에 정보가 얼마나 자주 업데이트 되나로 기준 잡아 사용할 수 있다. 그래서 , QLoRA를 한다면 RAG가 필요 없는 것이다....
그래서 QLoRA의 결과와, 일반 모델에 RAG 결과를 비교해서 채택 하는 것이 일반적인 경우였던 것이다.
생각해보니 그랬다는 사실에 제대로 답변을 못 준 질문자에게 개인적으로 연락해 사과와 함께 나의 생각을 전달해서 오해를 풀었다.
강사님도 이점을 지적하였고, 틀린 방법이 아니지만, 설명이 안되면 틀린방법으로 볼 수 밖에 없나는 것을 대학 이후로 다시금 느끼게 되었다.
팀원들도 다소 아쉽다는 이야기와 너무 야박했다는(?) 소감을 말해주며 우리의 프로젝트의 마지막을 장식했다. 팀원들에게도 이부분은 설명을 했고 우리는 이 경험을 통해 배웠다고 서로 격려했다.
그리고 다른 팀 발표를 들었을 때도 느낀점은, 솔직히 체계적으로 온것 같지 않아보였다. 하지만, 그안에서 중점적으로 했던 목표는 다들 다른 것은 알 수 있었다. 중점이 다르기에 각자 다른 분야에 집중적으로 투자를 했고, 그 결과 5개의 다른 결과가 나온 것이다. 서로의 생각을 알 수 있었던 좋은 경험이었다.
첫 팀프로젝트가 좋지 않았고, 이번에는 팀장인지라 부담이 많이 되었다. 걱정한 부분은 팀원들이 잘 채워줘 더욱 힘이 되었던 프로젝트였고, 여러모로 내가 부족한 부분도 느낀 프로젝트였다.
일단 정말 취업에 대한 압박에 온갖 기술들을 마구잡이로 단기간에 습득한 나는 내실이 없음이 이번 프로젝트를 통해 드러났다. 분명 그땐 알고 썼는데 지금은 모른다는게 정말 부끄러웠다.
그리고 AI 의존도이다. 핑계일 수 있지만, AI를 써서 단기간에 많은 코드를 작성할 수 있었다. 하지만, 이를 사용하므로서 내가 점점 생각을 안하게 되고 있었다. 그래서 기술에 대한 원리도 모르고, AI가 조언해주는 대로 찾아보고 그렇게 프로젝트를 마무리했는데 한번 AI 없이 로직을 구성하는 것을 한번 해봐야겠다. 그러다 보면 내실이 쌓이지 않을까 싶다. 당분간 AI를 좀 멀리해야겠다고 느꼈다.
어찌 되었건 내 단점을 이번에 알게 되었으면 자책하는게 아니라, 고쳐 나가야 된다. 다시금 기존 지식들을 정리하고, 좀 더 성숙한 개발자가 되도록 할 예정이다.
안좋은 것만 본것은 아니다. 이번에 스스로 발전했다고 느낀 점도 있었다. 처음에 3가지 규칙을 정했다고 했다. 그 규칙을 계속 생각하며 개발에 참여했고, 특히 의도대로 강사님께서 "서비스 개발을 하는 느낌으로 체계적으로 잘 진행해 왔고, 결과물이 잘 나왔다."라고 피드백을 주셨다. 팀원들도 우리가 만든 결과물에 굉장한 자부심을 갖는 것 같았고 내가보기에 코딩에 자신감이 없던 분도 어느정도 역할을 주고 혼자 해내며 잘 성장하신 것 같았다. 무조건 닥달하고 직급으로 누르면 결과가 나오지 않는 다는 것을 알지만 사회에서 팀은 좀 더 너그럽게 융통성 있는 리더가 인정받고 팀을 이끌 수 있는 것을 배웠다. 사회에서의 팀과 조직은 어떤가를 경험하는 좋은 계기였다. 그래서 결국 3가지 규칙은 잘 세워서 초심을 잃지 않은 것 같다.
이제는 기술을 위한 코딩이 아닌 진짜 내가 필요하거나 사람들이 필요한 개발을 해보려고 한다. 고급 기술, 최신 기술을 얼마나 많이 아냐가 취업을 시켜주지 않는 다는 것도 알게 되었다. 당장 그 최신기술을 쓴다면 좋겠지만 그 대안은 어디에나 있다. 단계를 나눠 개발을 하고 피드백하고 이런 것이 정말 중요하다는 것도 이번에 배웠기 때문에 이제는 그런 것에 구애받지 않고, 해보고 싶은 개발을 해보려고 한다.