뤼튼테크놀로지스 프롬프톤 참가 후기와 작업일지 (feat. 🏆)

Jiwon Kang·2023년 5월 28일
4
post-thumbnail

☀️ 대회장 가면서

  • 프롬프트 엔지니어링 배워볼까 하면서 강의 듣고 실습해보던 도중에 알게된 프롬프톤

  • 뤼튼 3개월 무료 이용권이 끌렸고! 이왕이면 카테고리 우승 정도 노려볼까 하면서 같이 코테 준비하던 연구실 친구들 꼬셔서 일단 등록했다

  • 드디어 대회 당일에는 미리 모여서 어떻게 할까 후보군을 생각하고 밥먹으러 갔다

    • 후보 1. 사업공고로 보도자료 만들기 (업무용)
    • 후보 2. 업무용 사과문 작성하기 (업무용)
    • 후보 3. 넷플릭스풍 줄거리 만들기 (엔터테이먼트용, 이런거)
    • 후보 4. 쇼핑몰 리뷰에 답해주기 (쇼핑몰)

😵‍💫 대회 시작

  • 대회는 뤼튼의 AI스튜디오 사용법을 알려주는 것부터 시작. 뤼튼 플랫폼에서 프롬프트를 구글 폼처럼 등록할 수 있고, 남들에게 공개할 수도 있다. GPT가 아무리 쓰기 쉬워졌다고 하더라도 프롬프트를 쓰는 것도 쉽지 않은데, 거기서 더 나아가서 프롬프트 쓰는 과정을 편리하게 만들었다는 점이 장점인 듯. 실제로도 프롬프톤 참여자 중에 비개발분들도 꽤나 많았다

  • 프롬프트 팁 간단하게 알려주시고, 팀빌딩과 각 팀의 주제를 공유했는데... 들으면서 생각하니 우리가 준비한 업무용 주제는 현업인들을 못이길 거 같았다. 프롬프트에서 중요한 점은 내가 이 업무를 누군가에게 잘 시킬 수 있는가인데 아무리 레퍼런스를 본들 실무자들을 이길 수 있나...?

  • 엔터테이먼트 주제도 재밌을 거 같았는데 성능 평가 이슈가 있었고 자주 쓰일지도 의문이었다

  • 결국 남은건 쇼핑몰 리뷰 답글 생성기였다. 마침 쇼핑몰 카테고리 경쟁자도 적어서 뛰어들었다. DLAI 강의의 프롬프트 적용 사례 리마인드해준 팀원에게 감사를~~ 우리 주제의 시작점이었다

<🍔 음식 리뷰 답변 작성하기> 제작기

타임라인

  • 14시~15시: 팀빌딩, 아이디어 주제 공유, 방향 정하기
  • 15시: 예제/평가 데이터셋 구축 + 프롬프트 엔지니어링
  • 16시: 프롬프트 엔지니어링 + 프롬프트 테스트 + PPT 구상
  • 17시: PPT 제작 + 프롬프트 테스트

1. 주제 선정

  • 먼저 프롬프트 성능 평가를 해야한다는 걸 염두해두고 구체적인 도메인을 갖고 있지만 충분히 확장가능한 문제를 정의했다. 이 기준에 의해 선정된게 "요식업용" 리뷰 답변 봇이었다. 일단 요식업용으로 만들고 (시간나면) 미용실용 등으로도 만들어보자고 얘기했다 (결국 시간은 없었다)

  • 문제 선정 당시에는 "내 리뷰에 사장님 댓글 달렸을 때 기분 좋았지..."라면서 선정했는데 발표 준비하면서 초기 가게 오픈시 사장님 댓글 잘 달아주는게 재방문 유도에 효과적라는 점을 알게됐다

2. 프롬프트 작성 + 데이터셋 구축

  • 리뷰 데이터 분석과 프롬프트 작성은 거의 동시에 진행됐다. 우선 뤼튼 스튜디오 툴이 공동작업이 안돼서 한 사람이 프롬프트를 반복적으로 쓰고 있으면, 나랑 나머지 팀원은 리뷰 데이터를 손수 타이핑 + 데이터 분석 작업을 수행했다 (다들 데이터셋 만들어본 짬바가... 여기서 발휘된 듯)

  • 러프하게 작업방식을 요약하면, 입력값 예제 하나에 대한 좋은 생성값을 내놓는 것을 목표로 초기 틀을 잡고 성공하면 또 다른 케이스에 성공하는 것을 목표로 프롬프트를 개선해나갔다

  • 고객 리뷰에서 나올 수 있는 사례들을 크게 (1) 긍정?부정? (2) 고객리뷰 길이? 기준으로 분류했다

  • 사장님 댓글 목적이 (1) 리텐션 유도 (2) 컴플레인에 대한 사과 + 신속한 처리라는 점도 고려했다

  • ...그리고 모든 점들을 프롬프트 작성과 평가에 적용했다

  • 먼저 프롬프트 작성의 경우 출력값 명령 전에 입력 텍스트 분석을 먼저 하라고 설계했다 (프롬프트 작성 원칙인 모델이 생각할 시간을 주라!를 적용했다)

3. 프롬프트 평가

  • 평가에서는 배민에서 리뷰 20개 정도를 모아서 실험을 했는데 우리가 나눈 케이스는 이렇다
    • Case 1: 긍정 리뷰 사례
      • 리뷰 내용 없음
      • 리뷰 내용 단답 (맛잇어요!)
      • 리뷰 구체적 (피자 끝트머리가 존맛탱)
    • Case 2: 부정 리뷰 사례
      • 리뷰 내용 없음
      • 불만 부정확 (별로에요)
      • 컴플레인 구체적 (비와서 배달 늦음 ㅡㅡ)
    • Case 3: 모순 리뷰 사례 (별점은 5점 내용은 별로에요)
    • Case 4: 기믹 고객 (맛있으면짖는개 왈왈왈왈왈와로앙ㅇㅇ)
  • 최종 프롬프트에 아래 데이터를 넣었더니 잘 작동했다 👻 (NLP 세부 테스크하던 연구자에게 슬픈 일이지만... 잘하더라....
  • 이렇게 프롬프트 픽스하고 PPT 만들었는데 1시간만에 PPT 만들기가 쉽지 않았지만 어찌저찌 냈다. 몇 년 간 같이 쌓아올린 팀워크가 여기서... 합이 좋았던 거 같다

🍔음식 리뷰 😇답변 생성기 체험하기🎈 (Demo)

  • 짜잔 최종 결과물이다. Demo 링크를 눌러서 바로 쓸 수 있다
  • 입력값: 모든 항목을 별도의 창작행위를 하지 않고 그저 복붙 하는 걸 초점에 맞췄다
    • 가게이름
    • 카테고리 = 배민 카테고리 분류 기준 이용
    • 메뉴 이름
    • 고객 닉네임
    • 별점 (1점~5점)
    • 고객리뷰 텍스트
  • 출력값: 고객리뷰에 대한 사장님 댓글

🏆 대회 마무리

  • 카테고리 별로 발표가 진행됐고 우리팀 카테고리에는 어느새 우리팀만 남아서... 카테고리 우승 확정?!이라는 마음이 있었지만, 모르는 100명 앞에서 뚝딱대면서 발표하고 돌아왔다. 반면 다들 스무~스하게 발표를 잘하시고 PPT고 멋져서 🥹 이런 표정으로 들었다

  • 발표 자체를 듣는 재미가 상당했는데, 개발자만 있지 않을까라는 예상과 달리 교사나, 마케터 등 비개발자 분들도 많았고, 뤼튼 스튜디오의 지향점이 NO CODE이다 보니까 다들 멋진 아이디어로 멋진 피칭을 보여주셨다

  • 특히 자신의 업무 문제를 끌고와서 프롬프트로 잘 풀어내는 발표를 들으니 역시 프롬프트 엔지니어링에서 타직군과 협업이 중요하다는 생각을 다시 한번 굳혔다

  • 예정보다 조금 늦은시간에 발표가 끝나고 투표도 끝나고 드디어 발표 시간...

  • 카테고리 우승 상금으로 배달음식 먹어야겠다 + 집간다!라는 즐거움에 들떠있었는데 아무리해도 우리 카테고리 언급이 안되길래 누..락....?하며 팀원 모두 후덜덜..하며 부정적인 생각연쇄에 잠깐 빠지고 있었는데... 우승이라고! 케케케케케

  • 인생에서 어떤 대회 우승이란걸 처음하는 듯... 이때 심박수 팬싸때 최애와 손잡았을 때 수준으로 올라갔던 거 같다. 우승소감도 뚝딱이면서 말하고 돌아왔는데 그때도 안믿기고 지하철 타고 갈때도 나도 팀원들도 흐흐.. 흐흐..하면서 기쁨을 한껏 표현하고 집에 갔다

  • 감사의 인사와 함께 💤


여담: 벨로그 불만

  • 벨로그에는 특정 키워드가 들어가면 자동으로 비공개 처리되는 버그가 있다는 걸 깨달았다 ;;;;;;;;
  • 깃레포 이슈에도 키워드를 못찾겠어서 결국 한줄씩 지워가면서 디버그를 했다 ;;;;;;;;;;;
  • 어쩐지 예전에 다른 논문 정리글도 자꾸만 비공개 설정이 안바껴지더니만 ㅠㅠㅠ
profile
도파민 중독

0개의 댓글