아무 체계도 없던 조직에서 기획부터 준비, 진행, 발표 모든 과정을 맡았던 사내 연구개발 세미나 후기를 공유합니다. 왜 했고 어떤 것을 얻었는지 중심으로 설명하겠습니다.
사이버 보안 관련 업무를 수행하다가 연구개발 조직으로 옮긴 지 이제 2년 가까이 되었습니다. 조직개편을 통해 신설되는 연구개발 부서에 초기 합류하게 되면서 신규 부서의 정체성을 확보하고, 업무를 만들어내고, 이를 끌어가는 업무를 많이 수행했습니다. 부서에 사람도 적을 때라 직급에 맞지 않는 책임을 질 때에도 많았고, 오랜 기간 팀장직을 맡기도 했으며 몇 달간은 휴직 중인 부서장 역할도 수행했습니다.

그 과정에서 기술 업무로부터 멀어질 때도 있었고, 불필요하다고 느끼는 회의에 많은 시간을 소모할 때도 있었습니다. 아직은 실무를 많이 하고 싶은 사람으로서 아쉬움도 많았지만 그럼에도 부서의 발전을 위해 필요한 일이라면 책임감을 갖고 임해야 한다는 마음을 가졌습니다. 그런 책임감을 가질 수 있었던 것은 부서를 초창기부터 만들어 오며 쌓인 애착 덕분이라고 생각합니다.
그런 시간들 속에서 부서 인원도 많아졌고, 팀장급 인원들도 합류하면서 실무자로 되돌아 올 수 있었습니다. 이제 제가 맡은 것은 오직 담당하고 있는 AI 프로젝트 리드 뿐입니다. 연구 및 개발 문화가 전무했던 조직에서 좋은 팀원들과 함께 개발 절차를 익히고 체계를 만들어가며 빠른 속도로 프로젝트를 개발해 왔습니다. 올해 2월 개발에 착수했던 프로젝트는 지난달인 7월 중간 목표를 달성했고, 여기서 한번 정리하고 다음 단계로 나가면 좋겠다 생각했습니다. 이런 고민 덕분에 사내 연구개발 세미나를 기획하게 되었습니다.
사내 연구개발 세미나를 통해 얻고자 하는 것은 꽤 많았습니다.
앞서 말했던 것처럼 현재까지의 우리 개발 상태를 점검하고 글로 정리하여 이해를 높이자는 목적이 첫번째 였습니다. 이 중간 과정에서 팀원들에게 각자 맡은 개발 단계에서 해결한 문제들과 선택한 기술을 정리, 소개하는 회고 형태의 블로그 글을 작성하도록 지시했습니다. 몇 번의 리뷰를 통해 제법 퀄리티 있는 기술 블로그 글이 나왔습니다. 이 글을 베이스로 하는 발표 자료를 만들면 세미나도 금방 진행할 수 있겠다 생각했습니다.
두번째 목표는 경험이었습니다. 저는 외부에서 연사로 발표한 경험이 몇 차례 있었습니다. 그 과정에서 느낀 것은 연사 기회를 얻는게 꽤나 어렵다는 것입니다. 외부 행사에는 훌륭한 분들이 많이 계시기 때문에 제 부족한 컨텐츠가 뽑혀 청중들 앞에 서는 것은 많이 어려운 일이었습니다. 우리 팀원들 중에는 이런 경험을 가진 친구들이 없었고, 외부에서 하기 힘든 경험을 사내에서 얻을 수 있다면 그것만큼 좋은 시작이 없지 않을까 생각했습니다. 또한 개인적으로 경험을 정리해서 공유하는 행위를 좋아하고, 그게 커뮤니티 전반에도 좋은 영향을 주는 방식이라고 믿고 있습니다. 그런 과정을 통해 개발자 본인에게도 내가 알고 있는 지식을 정리하는 좋은 기회가 되며, 개인의 가치를 올리는데 큰 도움이 되는 활동이 이런 세미나 연사라고 판단했습니다. 다들 이직을 예정하고 있는 이 조직에서 이런 경험은 도움이 될 것이라 생각해 팀원들을 독려하여 세미나를 꼭 진행할 수 있도록 하였습니다.
앞서 팀원들과 정리했던 블로그 글을 팀장 및 부서장에게 보고했습니다. 우리가 지난 6개월 간 이런 과정으로 개발했고, 이런 고민들을 했으며 이렇게 많이 성장할 수 있었다는 내용을 공유하며, 이 내용을 전사에 공유할 수 있는 자리가 있으면 좋겠다는 건의를 했습니다. 모든 분들이 이를 지지했으며, 덕분에 수월히 세미나를 준비할 수 있었습니다.
작성했던 블로그 글은 velog에서 볼 수 있습니다.
발표자료를 만드는 데 팀원들이 너무 많은 스트레스를 받지 않았으면 좋겠다 생각했습니다. 또한 이미 글을 정리한 시점에 오직 발표용으로만 사용되는 자료를 만드는 데 긴 시간이 소요되는 것은 낭비라고도 생각했습니다. 그래서 요즘 모두가 그러하듯 클로드코드를 활용해 발표자료를 제작했습니다. 클로드코드가 HTML로 슬라이드나 카드뉴스를 정말 잘 만든다고 여러 번 느껴왔는데, 이번에도 그렇게 HTML 기반으로 제작하도록 하여 텍스트 수정을 편하게 할 수 있도록 했습니다. 그렇게 만들어진 발표자료에서 테마 및 디자인, 제작 방식을 스킬 형태로 추출하여 팀원들에게 공유했습니다. 이 덕분에 팀원들도 쉽게 발표자료를 만들었고, 모든 팀원들의 슬라이드 스타일 또한 통일감을 유지할 수 있었습니다.
그러던 중 행사는 처음 생각했던 규모보다 많이 커졌습니다. 다른 지역에 있는 부서들에서도 참석 의사를 밝혀왔고 회사 건물에서 가장 큰 대회의실이 꽉 찰 정도로 예상 인원이 산출되었습니다. 그러다보니 대형 스크린 하나로는 부족하겠다 생각되어 스크린을 하나 더 가져오고, 대회의실 내에 있던 사이드 스크린까지 활용하여 최대한 뒤에 앉은 사람도, 좌우 끝에 앉은 사람도 내용이 잘 보이도록 준비했습니다.
이외에도 인원 인솔, 음료 구매 등 다양한 일거리가 있었는데, 같은 부서원들이 감사하게도 흔쾌히 도와주어 당일날에는 발표에만 집중할 수 있었습니다.
당일 발표 구성은 총 3개의 세션이었습니다. 그 중에서 프로젝트를 전반적으로 소개하며 기술적인 배경을 설명하는 첫번째 세션과 프로젝트 내 핵심 기능인 STIX 2.1 온톨로지를 Graph RAG에 구축한 경험을 다루는 세번째 세션을 맡아 발표했습니다. 다른 팀원은 평가 데이터셋 및 체계를 구축한 경험을 기반으로 LLM 앱 평가 시스템에 대한 이야기를 두번째 세션에서 맡기로 했습니다.

첫번째 세션에서는 프로젝트 전반에 대한 소개를 진행했습니다. 어떻게 시작하게 되었고 어떤 과정으로 무엇을 만들고 있는지 소개했습니다. 프로젝트의 핵심 기술인 RAG와 우리 프로젝트의 아키텍처를 특히 공들여 설명했습니다. 전사에서 AI 기반의 무언가를 만드는게 핵심 목표 중 하나로 설정되어 있는 요즘, 많은 분들이 관심 가질 수 있는 내용이라고 생각했습니다.
특히 조직 특성상 로컬 LLM 기반의 폐쇄망을 구축하는 것이 일반적입니다. 상용 API를 사용하는 외부 조직들과 달리, 로컬 LLM을 사용할 때 주의할 점과 신경써야 하는 부분을 강조했습니다. 로컬 LLM이 일반적으로 성능이 프런티어 대비 떨어지지만 초기 구축만 해놓으면 생성 비용이 없다는 특징이 있죠. 그래서 고민해야 하는 것은 얼마나 적은 요청으로 효과적인 답변을 생성할 것인가가 아닌, 로컬 LLM이 해결할 수 있는 수준으로 문제를 쪼개서 유효한 답변을 만들 수 있을 것인가 였습니다. 이러한 설계 컨셉은 사내 AI 도입을 준비하는 분들께 큰 도움이 될 것이라 생각합니다.

세번째 세션에서는 현재까지 프로젝트가 가지고 있던 저해상도의 그래프 DB를 개선하기 위해, STIX 2.1 스키마로 그래프를 확장, 온톨로지 구축을 통해 응답 퀄리티를 얼마나 올렸고 정보를 고해상도로 표현할 수 있도록 했는지 설명했습니다. 특히 그 과정에서 로컬 LLM이 가진 한계를 인식하고, 대신 생성 비용이 0이라는 강점을 활용하여 성능을 끌어 올린 문제 해결 경험을 공유했습니다. 실제로 프런티어 모델에서 사용하던 프롬프트를 그대로 사용했을 때와, 큰 문제를 작은 문제들로 쪼개 결과를 합치고 앞 뒤 코드를 통한 전후처리 보정 등 다양한 디테일을 사용했을 때를 비교한 결과를 보여주어 내용의 설득력을 높였습니다. 디테일한 RAG 테크닉들이 있어 앞선 세션 대비 내용이 어려웠지만, 최대한 처음 듣는 사람도 이해할 수 있도록 설명하려 했습니다.
이외에도 다양한 결정에 대한 판단 근거를 기술적으로 설명했습니다. 온톨로지를 구축하고 이를 제대로 활용하기 위한 Text-to-Cypher 기능을 구현했지만 현 그래프 규모에서는 인접노드 전수조사와 유의미한 성능차이를 만들지 못해 메인 브랜치에 아직 넣지 않았다는 점을 실험 결과와 함께 소개했습니다. 또한 작은 요청을 다수 수행하는 프로젝트 특성상 응답속도가 빠른 MoE 모델이 유리하다는 것을 공유했습니다. 이런 기술적 판단 근거들이 다른 프로젝트에서 비슷한 고민을 할 때 큰 도움이 될 것이라 생각합니다.
아무래도 저는 제가 연구하고 개발한 것들을 정리해서 공유하는, 특히 발표하는 것을 재밌어 하는 사람인 것 같습니다. 일전의 연사 경험과 강의 경험에서도 느꼈지만, 참 재밌는 활동이라고 생각합니다. 다행히 많은 분들이 이번 세미나를 반기셨고 유익했다는 말씀을 남겨주셔서 9~10월쯤 한 번 더 할 것 같습니다. 발표 속에 가능한 좋은 내용을 담도록 앞으로도 노력하겠습니다.