어제 (24.06.19)일은 AutoRAG 팀에게 아주 뜻깊은 날이었다. 바로 스타 1,000개 (1k)를 달성했기 때문이다!
2024년 1월부터 개발을 시작한 이래로 6개월, 첫 공개 이후로 5개월 만의 쾌거이다.
이렇게 1,000개의 스타를 달성하기까지 AutoRAG 팀의 여정을 시간 순으로 기록해보겠다.
1월, AutoRAG 개발 시작
AutoRAG는 1월부터 개발을 시작했다. 당시에 우리는 RAGchain이라는 RAG 프레임워크를 만들던 팀이었다. 그렇게 RAGchain 개발에만 집중하던 우리는, 세상에 RAGchain을 선보이고 "Langchain이나 LlamaIndex랑 다른 점이 뭐야?"와 같은 질문을 많이 받았다.
그리고 우리는 그 질문에 답하지 못했다. 아무리 생각해도, LlamaIndex가 우리보다 뛰어난 점들이 훨씬 많았던 것이다. 나같아도 RAG를 만들때 LlamaIndex를 사용하지 RAGchain을 사용하지는 않을 것 같았다.
그럼 무엇을 만들어야 할까? RAG를 쓰는 사람들은 어떤 문제를 가지고 있을까? 여기저기 커뮤니티를 뒤지던 중, 아래 같은 댓글들을 발견하였다.
"전통적인" RAG 방법들과 비교하기 위해 내 RAG 성능을 측정하고 싶은데, 객관적인 메트릭인 뭐가 있는지 모르겠다. 추천해 줄 사람?
그니깐, 우리는 "모두가 RAG 실험만 하고 있는" 상황에서 벗어날 필요가 있어. 이제 use case들은 명확하기에 우리는 각 실험 결과를 모을 필요가 있어. -- "이 use case를 해결하기 위해 제일 좋은 방법은 무엇이고, 우리는 어떻게 그것을 해결했는지 알 수 있을까?"
위 댓글들을 통해 사람들이 RAG 성능을 다른 RAG 파이프라인과 비교하고 싶다라는 니즈와, 어떤 방법이 내 use case에 좋을지 알고 싶다라는 니즈를 발견할 수 있었다.
그렇게 AutoRAG의 아이디어가 탄생했다! AutoRAG는 간단한 YAML 파일 설정만으로 여러 RAG 모듈들을 자동으로 실험하고 최적으로 선택하는 AutoML 툴이다. 이를 통해 RAG 파이프라인을 손쉽게 최적화 및 평가할 수 있다. 다른 평가 라이브리러와 다른 점은, "다른 RAG 모듈"들과의 비교가 가능하다는 것에 있다!
위 사진은 1월 13일에 찍은 것인데, AutoRAG의 핵심 구조들 중 하나를 설계하는 모습이다. AutoRAG의 아주 기초적인 구조를 만든 후에 우리 팀은 포르투갈로 디지털 노마드를 떠났다.
2. 포르투갈에서 AutoRAG를 만들다.
우리는 대서양의 아름다운 섬(이자 호날두의 고향)인 마데이라에서 한 달, 포르투갈의 아름다운 도시 포르투에서 3주를 머물렀다. 포르투갈에서 주로 했던 것은 바로 AutoRAG 개발이었다.
편하게 휴식하며 AutoRAG를 집중적으로 개발할 수 있었고, 설날 즈음에 AutoRAG를 출시했다.
처음부터 여러 커뮤니티에 AutoRAG의 첫 버전 출시를 열심히 알렸다. 간신히 기초적인 버전이 돌아가는 상황이었고 버그도 굉장히 많았는데, 일단 알리고 반응을 살피기로 했다.
반응이 꽤나 좋았다! 특히 레딧과 긱뉴스를 통해 많은 분들에게 알려졌고, 빠르게 스타 200개 이상을 달성할 수 있었다.
하지만 그 이후부터는 스타 성장도 조금 정체가 되고, 관심을 보이던 사람들도, 우리가 만든 디스코드 커뮤니티도 조금은 조용해 졌다.
이 후 레딧에 몇 개의 포스트를 더 올려도 보고, 블로그 글을 써 보았지만 기술 개발과 알리는 것을 동시에 진행하는 것이 마음처럼 쉽지는 않았다.
3. 귀국, 그리고 라마 인덱스
3월, 한국으로 귀국할 때 즈음 깃허브 스타는 200개 후반대였다.
당시에 우리가 세웠던 마일스톤이 바로 깃허브 스타 천개였고, 새로운 스타가 들어오면 알림이 울리는 슬랙 채널까지 개설했다. (지금은 스타이천개영차영차 채널이 되었다⭐)
계속 AutoRAG 개발을 진행하면서 블로그나 커뮤니티 활동을 많이 하지는 못했다. 그렇지만, 주로 레딧 포스트에 댓글을 달아가며 AutoRAG를 홍보했다.
그리고, 4월 즈음에는 링크드인을 시작했다.
링크드인은 거의 관리를 안하고 있었는데, 본격적으로 RAG와 관련있는 사람들에게 무작정 1촌 신청을 많이 보내 보았다.
그 중에는 LlamaIndex CEO인 Jerry Liu님도 있었는데, 생판 모르는 내가 보낸 1촌 신청에 덜컥 "awesome해 보인다. 홍보해 줄께!"라는 답변이 왔다!!
이 메시지를 처음 받았을 때 정말 놀랐다. 정확히 아래와 같은 생각이었다.
이게... 되네?
그렇게 며칠이 흘러, 진짜로 LlamaIndex 공식 링크드인과 트위터 등지에 AutoRAG가 소개되었다!
이 포스트가 나간 후 며칠만에 300개 정도였던 스타가 500개 이상으로 또 빠르게 늘어났다. 팔로워 수가 굉장히 많은 라마인덱스 공식 계정에 소개된 것의 효과가 매우 좋았던 것이다.
여전히 라마인덱스는 관련한 소식을 많이 포스팅한다. AutoRAG 팀도 그런 소식을 열심히 포스팅하고 싶지만, 공돌이 3명인 우리에게는 라마인덱스 급의 빠른 소식 전달은 아직 어렵다 ㅠㅠ
4. 직접 발표하기
5월에는 MLops World에서 개최한 온라인 Open-source GenAI Tool 데모 데이에서 발표할 수 있는 기회가 생겼다. 온라인이지만 "RAG 평가와 최적화"라는 주제로 발표를 했고, 거의 50명에 가까운 분들이 실시간으로 찾아주었다.
이 컨퍼런스가 엄청 유명한 컨퍼런스는 아니었는지, 깃허브 스타가 많이 올라가지는 않았다. 하지만, 이 무렵, 직접 느껴질 정도로 스타가 꾸준히 올라갔다. 라마인덱스의 소개에 더불어 검색으로도 노출이 되고 있는 것 같았다.
그리고 RAG 전문 유튜버이자 교육자이신 테디노트님께서 라이브 제안을 주셨고, 5월 말에 유튜브 라이브를 진행하게 되었다.
무려 3시간이나 라이브를 하면서, AutoRAG의 작동법과 소개, 왜 필요한지, 그리고 많은 RAG 관련 질문들에 답할 수 있는 기회가 있었다. 무려 200명이 넘는 분들이 긴 라이브에 실시간으로 참여해주셨고, 덕분에 깃허브 스타도 빠르게 늘어났다! 라이브 전 690개 정도였던 스타가 이틀만에 800개가 넘었고, 며칠 후에 900개가 넘어갔다.
이후로 꾸준히 영문 및 한글로 블로그를 작성하고, 레딧에 관련한 포스트도 몇 개 더 올렸다.
그렇게 6월 19일, 스타 천 개를 달성하게 된 것이다!!
5. 앞으로 AutoRAG의 목표
스타 천 개가 되면서, '어느 정도 알려진' 프로젝트가 된 것 같다. 이제 정말 시작이라는 생각이 든다. 아직 AutoRAG에 부족한 점도, 버그도 굉장히 많은 툴이다. 그렇지만 천 명의 사람들에게 도움이 될 수 있는 툴을 만든 것이고, RAG를 만드려는 더 많은 사람들에게 충분한 도움이 될 수 있을 것이다.
앞으로 이 블로그를 포함해서 RAG와 AutoRAG와 관련한 여러 콘텐츠들을 올릴 것이다. 또한, 새로운 모듈을 추가하고 버그를 개선하며 AutoRAG를 더욱 도움이 될 수 있는 소프트웨어로 만들어 갈 생각이다.
또, 아마 스타 2천개, 5천개, 그리고 만 개 까지도 나아가고 싶은 마음이 크다. 그럴 수 있도록 꾸준히 우리들의 여정을 이어가야겠다.
AutoRAG를 응원해주시고 사용해주신 모든 분들에게 감사드리는 마음으로 글을 마친다.
개추