인공지능의 말투를 결정하는 숨은 조절판
인공지능이 내놓는 답변은 단순한 계산 결과가 아니라 생각합니다.
우리는 학습 과정과 별개로 출력 토큰이 생성되는 방식에 직접 개입할 수 있다고 보는데요.
똑같은 입력에 언제나 똑같은 답변만 나온다면 그것은 지능이라기보다 고정된 함수에 가깝습니다.
인간의 지능이 상황에 따라 유연하듯 인공지능도 본질적으로 랜덤성을 내포해야 합니다.
로짓과 확률의 메커니즘
인공지능은 다음에 올 토큰을 결정하기 위해 자신이 가진 모든 단어 후보에 확률을 매깁니다.
토크나이저가 4만 3천 개의 토큰을 가졌다면 모든 항목에 대해 출력 가능성을 계산한다고 하는데 이 확률값의 배열을 로짓이라 부릅니다.
단순히 확률이 가장 높은 것만 고르면 결과는 매번 동일해지는데
다양성을 확보하려면 확률표를 기반으로 가중치를 둔 랜덤 선택을 수행합니다.
점수가 높은 토큰은 선택될 확률 범위를 넓게 가져가고 낮은 토큰은 좁게 가져가는 식으로.
높은 점수가 무조건 당첨을 보장하지는 않지만 당첨 확률은 확실히 높습니다.
후보를 추리는 기술 Top-K와 Top-P
우리는 모든 후보를 다 검토할 필요가 없습니다.
이때 사용하는 파라미터가 Top-K와 Top-P다. Top-K는 상위 몇 개까지 후보군에 넣을지 숫자로 딱 자르는 방식이라 생각합니다.
Top-K를 3으로 설정하면 오직 1위부터 3위까지만 경쟁합니다.
Top-P는 유사도 점수를 기준으로 후보를 거릅니다.
특정 점수 이상인 것들만 모아서 확률표를 다시 만드는데
엉뚱한 대답을 줄이고 싶다면 이 두 수치를 조여서 후보군을 좁히면 된다 생각합니다.
반대로 창의적인 답변이 필요하다면 수치를 높여서 의외의 단어가 선택될 공간을 열어줍니다.
온도로 조절하는 답변의 날카로움
템퍼처는 확률 분포의 대비를 조절한다. 소프트맥스 계산 과정에서 큰 값은 더 크게 만들고 작은 값은 더 작게 몰아붙입니다.
템퍼처를 0.1로 낮추면 확률이 조금이라도 높은 토큰이 압도적인 위치를 점하는데
사실상 정답이 정해진 함수처럼 작동하게 됩니다.
반대로 템퍼처를 2.0까지 높이면 확률 분포가 평평해 집니다.
단어 사이의 경계가 흐릿해지며 모델은 횡설수설하거나 엉뚱한 소리를 내뱉습니다.
일반적인 대화에서는 0.8 정도가 가장 자연스럽다고 보는데요.
제이슨 형식 추출처럼 기계적인 정확도가 중요한 작업에는 0.5 이하의 낮은 값을 써야 합니다.
맥스 토큰에 대한 오해
많은 사용자가 맥스 토큰을 답변 길이를 요약하는 도구로 착각합니다.
맥스 토큰은 답변을 요약해주지 않지만 설정된 토큰 한도에 도달하면 문장이 완성되지 않았어도 그냥 칼같이 잘라버립니다.
비용 절감에는 도움이 되지만 예쁜 문장을 얻는 방법은 아니라 짧은 답변을 원한다면 파라미터가 아니라 프롬프트로 직접 지시해야 합니다.
이러한 옵션들을 이해하면 프롬프트 수정 없이도 모델의 톤앤매너를 바꿀 수 있는데 상황에 맞춰 조절판을 만지는 것만으로도 인공지능의 반응은 완전히 달라진다고 생각이 듭니다.
