Generative AI with Vertex AI: Text Prompt Design: Challenge Lab 간단 후기

구글 클라우드의 Text Prompt Engineering Technique 코스에서 Generative AI with Vertex AI: Text Prompt Design: Challenge Lab을 완료한 후 느낀 점들이다. 나중에 또 이런 방식의(jypyter notebook에 Gemini 관련 코드를 작성) 시험을 칠 일을 대비해서 기록해둔다.

TL;DR 채점 기준이 너무 엄격하면서도 모호하다. Challenge Lab의 공통적인 문제점이다

• (task 1)주어진 프로젝트 ID와 Region 정보를 이용해 모델을 초기화하라는 지시가 있었는데 정상적으로 지시를 수행했는데도 채점할 때 계속 오답이 있다는 메시지가 떴다. 커널을 재시작해도 해결되지 않았는데 재시험을 볼 때는 정상적으로 통과되었다. 영문을 모르겠다
• (task 2)반드시 instruction을 잘 읽어보고 모두 따를 것. 프롬프트를 수정하기 전 default 프롬프트로 한번 돌려서 결과를 확인하라와 같은 지시가 있을 때 프롬프트 수정 전 주어진 기본 프롬프트를 돌리지 않으면 채점에서 오답이 뜨는 것을 확인했다
• (task 3)문제에서 요구하는 내용과 형식의 response 값을 얻었는데도 계속 오답 처리가 되었는데 프롬프트에 'Make sure NOT to include surplus markdown.'라는 지시를 포함시켜 response에서 title을 빼게 하니 통과되었다(정말로 title이 포함되어 오답이 뜬 것이었는지 추가적인 검증 필요함)
• (task 4)문제에서 요구하는 내용의 response 값을 얻었는데도 계속 오답 처리가 되다가 instruction에 포함된 단어들을 prompt에 다 우겨넣으니 response.text가 이전과 동일한데도 통과된 일이 있었다. 결과값 뿐만이 아니라 prompt나 jupyter notebook에 작성한 코드도 채점 대상이 되는 것 같다
• (task 5)문제에서 요구하는 내용의 response 값을 얻었고, 이보다 더 지시에 부합하는 값을 얻을 수 없을 거라 생각했는데 채점에서 오답이 떠서 분노로 계속 채점하기 버튼을 클릭하다 보니 통과되었다. 무엇이 문제였을까?