이직
이직을 결심하게 된 배경
나는 그렇게 열심히는 하지 않는 사람일지 모르지만, 항상 마음만은 폭발적으로 성장하고 싶은 생각이 있다. 그리고 나는 시간을 집약적으로 쓰고 싶은 사람이라 회사 업무를 통해서 내가 폭발적으로 성장할 수 있다면 가장 좋다고 생각한다. 2023년 초부터 다녔던 회사는 나에게 폭발적인 성장을 할 수 있는 발판을 마련해 주었다. 하지만 스타트업의 시장이 급격하게 얼어붙으면서 뛰어난 동료들이 하나 둘씩 떠나가면서 회사의 분위기가 급격하게 얼어붙었다. 물론 내가 주도적으로 얼어붙은 분위기를 바꿀 수도 있었겠지만 그 당시의 나는 주도적이지 않았던 것 같다. 그리하여 나는 환경을 바꿔야 다시 한 번 내가 성장을 할 수 있다고 생각하였다.
이직한 회사에서의 첫 걸음
새로운 환경
이직하게 된 회사는 한화 그룹의 자회사의 자회사, 즉, 거의 손주 회사이다. 대기업들 입장에서 보면 우리는 스타트업, 중소기업일 뿐이고, 중소기업, 스타트업들 입장에서 보면 우리는 대기업과 같은 포지셔닝을 하고 있는 회사이다. 내가 이 회사를 선택했던 것은 아무래도 삼성전자의 빅스비를 만드셨던 분들도 포진해 있다는 점도 있고, 스타트업의 겨울이 오고 있는 느낌이라 백그라운드가 어느 정도 든든한 회사를 가야겠다는 생각도 있었다. 그리하여 선택하게 된 회사였다.
나는 석사 과정을 밟지 않았기에 연구실이 어떻게 돌아가는지, 그 생태계에 대해서 몰랐다. 그리고 박사님들이 어느 정도의 이해력과 문제 정의 능력을 가지고 있는지도 몰랐다. 하지만 여기 들어오게 되고, 그 분들을 보게 되면서 꽤나 많이 성장했다고 생각했지만, 정말 우물 안의 개구리였다는 걸 느낀다.
VLM과의 만남: Vision Language Model 탐구
VLM을 시작하게 된 계기
현 회사에서 내가 맡은 R&R은 이커머스의 자동화였다. 그렇게 하기 위해서는 상품에 대해서 이해하는 AI를 만들어야 했다.
사실 나는 현 회사에 들어왔을 때 이제 만 2년이 된 AI Engineer였고, 사실 경력 1년은 제대로 했다고 하기도 어려운 수준이였다고 생각한다. 그리하여 나는 단순히 프롬프트 엔지니어링으로 문제를 푼 뒤, 그에 대한 Input과 Output을 수집하여 sLLM 등을 학습하면 될 것이라고 우매한 생각을 가졌다. 전 회사에서도 그러한 방식으로 진행했었고, 여기서도 그렇게 간단히 문제를 해결할 수 있을 것이라 생각했지만 이는 나의 오판이였다.
이커머스 도메인은 단순히 텍스트만으로는 해결하기 어려운 문제들이 많았고, 이를 위해 여러 가지 방법들을 시도하게 되었다.
- 일단 기본적으로 이커머스에서는 텍스트 뿐만 아니라, 이미지를 보고도 유저들이 상품을 판단하기도 한다.
그래서 초반에는 GPT-4o의 vision 부분을 활용하여 Image captioning 방법으로 문제를 해결하고자 하였다. 어느 정도의 성능에 대한 상승은 있었으나, 이 부분도 정답은 아니였다고 생각한다.
이러한 부분에서 어려움을 겪고 문제에 대한 이해를 하지도 못하고, 정확히 정의하지도 못하고 있다는 생각에 다시 처음부터 리서치를 하고자 하였고, 결국 VLM과 만나게 되었다. 그러면서 NAVER는 어떻게 문제를 해결하고 있는지, 또 Multimodal 또는 VLM 분야에서는 문제를 어떻게 해결하고 있는지 이곳저곳 둘러보게 되었다.
얻은 인사이트와 성장
연구란 무엇인가? 라는 것에 대해 조금 더 가까이 다가갈 수 있는 한 해였다라고 생각은 한다. 물론 아직 갈 길이 너무 멀다.
연구를 잘한다는 것은 무엇일까? 나처럼 석사 과정을 밟지 않은 사람들은 주위에 가르쳐 줄 사람이 없기 때문에 스스로 이 의미에 대해 곱씹어 봐야한다.
나는 1년차 때는 그냥 관련 paper 읽고 그것에 대해 구현을 잘하는 사람이 연구를 잘하는 사람인 줄 알았다. 그리고 설명만 잘 할 줄 알면 된다고 생각했다. 하지만 2년차 때는 생각이 조금 달라졌다. 문제를 정의할 줄 알아야 하고, 우리가 가진 문제가 무엇인지, 또 그걸 해결할 수 있는 방법들은 무엇이 있는지가 연구인 줄 알았다.
하지만, 연구라는 것은 단순히 문제를 정의하고 그걸 해결할 방법만 알아내는 것은 아니였다. 어떤 가설을 세우고 그 가설을 어떻게 검증할지, 정말 제대로 검증할 수 있는, 이 가설과 검증 과정을 다른 누군가가 봤을 때 누구든지 동의할 수 있는 실험 및 설계가 필요했다.
그리고 이를 일반적인 서비스 기업에서의 연구 및 개발(R&D)로 봤을 때는
- 문제를 적절히 정의하고,
- 어떤 부분에서 현재 어려움이 있고,
- 이전에는 이 문제를 어떻게 풀려고 했었고,
- 이 문제를 푼 적이 없다면 유사한 문제는 어떻게 풀었었고,
- 그 방법으로 푼다고 한다면 그 모델이 진짜 좋은지에 대한 벤치마크 또는 ground truth 데이터를 통한 검증이 필요하고
- 내부 데이터를 통해 실험하고 수정하고를 반복하여
- 이를 실제 서비스에 접목 시키는
그러한 과정이라고 생각한다.
스터디 참가
나는 엔지니어 또는 리서처의 가장 좋은 문화 중 하나로 서로의 지식을 공유하는 것이라고 생각한다. 서로 모르는 부분에 있어서 서로 알려주고, 또 그 시간을 통해 서로 성장하는 좋은 문화라고 생각한다. 그러나 아쉽게도 전 회사에서는 그러한 시간을 가지기에는 쉽지 않았다. 그러다 보니 외부에서 그 기회를 찾았고, 내가 커리어에 대한 고민이 굉장히 많았을 때 대학교 동기의 추천으로 NAVER의 강재욱님을 알게 되었다. 그리고 이러한 스터디를 찾던 도중 강재욱님이 운영하시는 '거꾸로 읽는 SSL'에 대해서 알게 되었고, 여기에 참가하게 됨으로써 서로간의 지식을 공유할 수 있는 시간을 가지게 되었다. 이 스터디에는 뛰어나신 많은 분들이 참여하게 되어 주니어였던 나로서는 연구를 잘하는 사람들은 사고 과정을 어떻게 가지는지, 또 paper를 읽는 다면 어떤 부분에 집중하는지에 대한 부분들을 배울 수 있었다.
뿐만 아니라 전 회사에 잠깐이나마 동료였고, Polyglot-ko 프로젝트를 이끄신 Kakao의 고현웅님이 소모임처럼 만드신 스터디에도 참가했었다. 현웅님을 귀찮게 하면서 더 뛰어난 연구자 또는 엔지니어들은 과연 어떻게 사고를 하는가에 대해 많은 고민을 하는 시간을 가졌던 것 같다.
정체기
그러나, 이러한 사고 과정들을 배우면서 문득 나에게는 '이게 정말 내가 하고 싶은 건가?' 라는 생각이 들었다. 또한 인공지능을 제대로 하려면 미국을 가는 것이 좋다고는 생각하는데, 미국에 있는 빅테크를 가려면 '미국의 문화에 적응이 가능한지', '비자 문제를 해결할 수 있는지'를 해결할 수 있어야 한다. 그리고 가장 좋은 방법은 미국에서의 석박사인데, 석박사를 끝내고 나면 적지 않은 나이가 되어버려서 뭔가를 다시 도전하기 쉽지 않을 것 같다는 생각이 들었다.
뿐만 아니라 내가 정말 그들처럼 이 일에 온 열정을 다 하면서 그들같은 사람이 될 수 있을까라는 생각이 불현듯 찾아왔다. 내가 연구원이 정말 적성에 맞는가? 뱁새가 황새를 따라가듯이 하는 것은 아닌지, 그냥 단순히 그들이 멋있어 보여서 그런 것은 아닌지란 생각이 들었다. 나는 학창시절부터 원하지 않는 공부는 잘하지 않았고, 효율이 잘 나지 않았던 것으로 기억한다.
나는 궁극적으로 세상에 임팩트를 내는 product에 핵심이 되고 싶은 생각이 있다. 그를 위해서 사실 기술을 택했고, 그렇기에 개발보다는 연구가 더 세상에 임팩트를 내는 product를 만들 수 있다고 생각을 해왔지만, 꼭 그렇지만도 않은 것 같았다. 세상에 임팩트를 내는 데는 다양한 방법들이 있었고, 꼭 연구만이 정답은 아니라고 생각한다. 그렇기에 끊임없이 나의 방향성을 고민하고 어떤 방법으로 세상에 임팩트를 낼 수 있을지 고민을 해야한다고 생각한다.
앞으로의 방향
그렇지만 결론은 일단은 현재의 위치에서 최선을 다하고자 한다. 연구 개발에서 어느 정도의 임팩트를 낸 뒤 진짜 세상에 product로 임팩트를 내는 일을 하지 않을까라는 생각이 된다.
- 그래서 이번 년도에는 컨퍼런스 등에 참가하여 내가 쌓은 지식들을 전달하는 기회를 가질 수 있으면 좋을 것 같다.
- 또 다시 현 회사에서 핵심이 될 수 있도록 노력해보겠다.
- 매주 하나의 논문은 적어도 읽도록 하겠다.
