터닝(Terning) 팀 데이터 자동화 툴 바로가기: https://terning-auto-job-scrap.com/
안녕하세요, 백엔드 개발자 권장순입니다.
제가 1년간 몸담았던 '터닝팀'은 14명의 팀원이 아이디어 단계부터 시작해 0 to 1으로 직접 서비스를 만들고, 1,500명의 대학생 유저를 확보하며 성장시킨 소중한 프로젝트였습니다. 대학생에게 꼭 맞는 인턴십 공고를 제공하자는 목표 하나로 달려왔습니다.
하지만 안타깝게도 저희는 최근, 1년간 피땀 흘려 유지해 온 이 서비스를 2025년 10월에 종료하기로 잠정 합의해야 했습니다. 서비스의 발목을 잡은 가장 큰 원인은 바로 '데이터 수집' 문제였습니다. 반복적인 수작업에 팀원 전체가 지쳐갔고, 이로 인한 사기 저하는 서비스를 더 이상 지탱하기 어려운 수준에 이르게 했습니다.
이 글은 서비스 종료라는 절망적인 위기 앞에서, 어떻게 작은 아이디어와 AI 툴을 활용하여 팀의 가장 큰 고통을 해결하고 새로운 희망을 찾게 되었는지에 대한 기록입니다.
우리가 마주한 현실: 14명이 매달린 비효율의 굴레
터닝팀의 핵심 기능은 양질의 채용 공고를 확보하는 것이지만, 개발 리소스 부족으로 공고 수집 자동화 시스템을 구축하지 못했습니다. 결국 저희는 14명의 팀원이 매일 돌아가며 당번을 정하는 원시적인 방법을 택해야 했습니다.
이 작업은 결코 단순한 '복사-붙여넣기'가 아니었습니다. DB 형식에 맞추기 위해 공고 내용을 세세하게 읽으며 저희가 정해놓은 엑셀 형식에 맞춰 정보를 재가공해야 했습니다. 특히 공고 상세 내용, 이미지 URL 등은 직접 수작업으로 형식을 만들어줘야 했습니다.
한 사람이 하루 할당량 10개를 만들기 위해 적어도 30분에서 1시간의 시간을 온전히 쏟아야 했고, 이 비효율적인 작업 순서는 1년간 매일 반복되었습니다.
반복적인 수작업 순서
1. 채용 공고 사이트 방문하기
2. 채용 중인 공고, 마감 기한, 회사 확인하기
3. 엑셀 형식에 맞게 정보 가공하기
4. 엑셀에 옮겨 담기
문제 상황: 무너져가는 팀의 사기
1년간 이 작업이 계속되자 팀원들의 사기는 눈에 띄게 떨어졌습니다. 프로젝트 초기의 책임감과 열정은 점차 고된 노동의 '짐'으로 변해갔고, "언제까지 이걸 해야 하냐"는 피로 섞인 목소리가 팀 회의를 무겁게 짓눌렀습니다.
이 소모적인 과정을 더는 지켜볼 수 없었고, 저는 이 문제를 해결할 자동화 도구의 필요성을 절감했습니다.
해결의 실마리: 개발 대신 'AI 툴'을 활용하다
물론 이 문제를 해결할 기술적인 방법은 많았지만, 한정된 비용(시간, 금전) 이 늘 발목을 잡았습니다. 그래서 최대한 간단하고 빠르게 만들 수 있는 방법을 모색했습니다.
그러던 중, '코딩을 모르는 경영자가 스웨덴 AI를 활용해 매출을 극대화했다'는 경제 뉴스를 접했습니다. 그 뉴스를 보며 저 역시 '직접 개발'이 아닌 'AI 툴 활용'으로 문제에 접근해보기로 결심했습니다. 프론트엔드 개발까지 배우기보다 백엔드에 집중하고 싶었던 개인적인 니즈도 있었고, 무엇보다 AI 시대에 개발자에게 필요한 역량은 단순히 코드를 짜는 것을 넘어, 강력한 툴을 얼마나 잘 활용하느냐에 달려있다고 믿었기 때문입니다.
곧바로 구글링을 통해 화제가 된 AI 회사가 Lovable이라는 것을 알게 되었고, 관련 레퍼런스를 찾아 곧바로 실행에 옮겼습니다. 팀의 상황과 원하는 결과물에 대한 명확한 프롬프트를 작성하여 전달하자, 놀랍도록 손쉽게 자동화 툴을 만들 수 있었습니다.
물론 크레딧 이슈로 당장 고도화까지는 진행하지 못했지만, 단 두 번의 프롬프트 수정만으로 팀의 가장 큰 고통을 해결할 수 있다는 가능성을 확인한 것만으로도 큰 수확이었습니다.
10시간 걸리던 작업을 30초 만에
그렇게 탄생한 저희 팀만의 데이터 정제 자동화 툴입니다. 기존 크롤링 방식의 토큰 문제를 우회하고, 가장 간단한 방식을 목표로 워크플로우를 설계했습니다.
새로운 작업 방식은 지극히 간단합니다.
- 채용공고 사이트에 들어간다.
- 원하는 공고를 찾는다.
- 공고 페이지 전체를 복사(
Cmd+A,Cmd+C)해서 템플릿에 붙여넣는다. - 공고의 대표 이미지 주소를 복사해서 붙여넣는다.
- 채용 회사 사이트 url 주소를 넣는다.
먼저, 채용 공고 페이지 전체를 복사해 아래와 같이 템플릿에 붙여넣기만 하면 됩니다.
이미지 URL을 따로 입력받도록 설계한 이유는, 페이지 전체를 복사할 때 포함되는 불필요한 이미지 데이터까지 처리하느라 템플릿의 입력 글자 수를 초과하는 경우를 방지하기 위함이었습니다. 이 부분 역시 추후 고도화할 예정입니다.
그러면 AI가 복잡한 내용들을 스스로 분석하여, 저희가 정의한 엑셀 형식에 맞춰 완벽하게 데이터를 추출해줍니다.
이제 남은 것은 클립보드에 복사된 이 데이터를 엑셀에 붙여넣는 것뿐입니다.
완료! 그리고 다시 찾은 희망
정말 뿌듯한 순간이었습니다!
아직 조금씩 다듬어야 할 부분은 남아있지만, 이 정도의 개선만으로도 팀원들의 귀중한 시간을 아끼고 저하되었던 사기를 다시 끌어올릴 수 있게 되었습니다.
무엇보다 "데이터 수작업 때문에 더는 못하겠다"는 의견이 지배적이었던 팀에 "서비스를 계속 유지할 수 있겠다"는 희망이 싹텄다는 것이 가장 큰 변화입니다. 다음 성과 공유회 때 이 자동화 툴의 고도화 계획을 발표하며, 서비스가 지속될 수 있도록 팀원들을 설득해 볼 생각입니다.
물론 부분부분 아쉬운 점은 많습니다. 하지만 이런 디테일은 앞으로 팀원들과 함께 직접 사용해보면서, 의견을 수렴하여 점차 개선해나갈 수 있다고 믿습니다. 작은 시도 하나가 팀의 운명을 바꾸는 첫걸음이 되었습니다.
