같은 질문을 두 번 해보자

채팅 1
채팅 2

같은 질문을 같은 모델에 넣었는데 답변이 살짝 다르다. 답변자체는 거의 동일하나 채팅 1이 더 짧은 시간을 생각하고 좀 더 나은 결과를 내놓았다.
완전히 같은 프롬프트를 넣어도 다른 결과가 나올 수 있기 때문에 반복적이고 균일한 답변을 원할때는 GPTs를 사용하는 것이 좋다고 생각된다.

같은 코드에 대해 다른 질문을 해보자

채팅 3 : 같은 코드를 아무런 설명없이 넣었더니 뜬금없이 영어 대답 + 코드의 문제점을 지적한다

채팅 4 : 같은 코드에 상세히 설명해달라는 단서를 넣었다. 채팅 3에서 나온 문제점이 있냐는 질문을 하니까 비슷한 내용의 답변을 했지만 채팅 3이 더 상세했다.

갑자기 영어가 나온 이유

o1-preview 모델을 사용하니 맞춤 설정에 한국어로 대답해달라는 내용을 써놨어도 영어를 기본으로 답변하는 느낌이었다. 아무래도 신기능이다 보니 개인설정을 잘 반영하지 못하는 듯 하다

잠정 결론

1. 같은 모델에 같은 질문을 넣어도 답변의 질이 다를 수 있다. 그렇기 때문에 같은 채팅에 계속 질문하기 보다는 일정 주기로 새로운 채팅을 파는것이 좋다고 생각된다

2. 현재 o1-preview 모델은 사용자 맞춤설정을 무시하는 경향이 있기 때문에 특정 언어의 답변을 원한다면 해당 언어로 된 답변을 요청하는 것이 좋아보인다