[AI] System One 모델, Jev

TypeSafe AI가 만든 System One 모델로 판단 전용 AI라서 상황과 질문을 받으면 글을 쓰지 않고 정해진 보기 중 하나와 그 확률만 전달한다.

Jev는 말을 하지 못 하는 AI?

다른 AI와는 달리 글로 답하지 않고, 미리 정해져 있는 보기 중 하나를 고르고 확률과 함께 답을 한다. TypeSafe는 이 방식을 System One(시스템 원) 모델이라고 부른다.

엇갈린 반응

어떤 개발자는 “똑똑한 if문”이라고 얘기했고, 다른 개발자는 “환각이 없다는 말은 형식 얘기일 뿐이지 판단 자체가 보장되지는 않는다”고 선을 그었다. 한 리뷰 매체에서는 “직접 평가를 거친 후, 사람을 옆에 두고 사용해라”라고 전했다.

그래서 말을 못 하는데 어떻게 AI일 수가 있어?

카드가 중복돼서 결제 됐어요

위와 같은 문의가 고객센터에 접수 되었을 때, 다른 AI에게 이 문의에 대해 질문하면 “이 문의는 중복 결제 관련 문의로 환불 절차를 안내하고…”라는 답변을 친절하지만 길게 답한다.

Jev AI는 질문 방식 자체가 다르다. “이 문의는 4개 중 어떤 거야? 보기는 결제, 기술 문제, 계정, 기타 총 4개야.”라는 질문을 하면, Jev AI는 “결제, 확률 : 0.97”이라고 설명도 인사도 없이 답한다. 질문에 던졌던 보기 4개 이외의 답을 낼 수도 없다.

• 고르기(Choice) : 보기 중 하나를 고른다. 보기는 최대 255개까지 가능하다.
• 점수(Score) : 1점에서 10점 같은 눈금 위에 점수를 매긴다.
• 답변(Noul) : 맞을 확률을 0~1 사이의 숫자로 전달한다.

어떤 답이든 확률이 필수적으로 따라온다. 위의 질문을 다시 예로 들어보면, “결제 0.97”이면 거의 확실하다는 뜻이고 “결제 0.55”면 약간은 자신이 없다는 뜻이다.

System One(시스템 원)은 왜 붙는 걸까?

시스템 원이라는 이름은 심리학에서 왔다. 심리학자 대니얼 카너먼은 책 “생각에 관한 생각”에서 사람의 생각을 빠르고 직관적인 시스템 원과 느리고 신중한 시스템 2로 나누었는데, ChatGPT/Gemini와 같은 AI들은 시스템 2, Jev AI를 시스템 원이라고 명칭했다.

속도가 빠른데 가격이 저렴한 이유는?

불필요한 대화를 생성하지 않고 판단 후 답변과 확률만 전달하기 때문에 기다릴 필요가 없다.

TypeSafe가 공개한 시연에서는 같은 판단 문제를 GPT-5.6 테라와 Jev에게 똑같이 전달했다. 답변의 결과는 GPT-5.6가 약 8.5초 정도 소요되었는데, Jev는 약 0.1초밖에 걸리지 않았다. TypeSafe에 의하면 보통 0.07초에서 0.5초 안에 답이 돌아온다고 얘기했다.

비용적인 측면에서는 위의 시연에서 GPT-5.6 테라는 한 번 답하는데 약 0.013 달러, Jev는 0.000081 달러가 들었다. 원화로 환산했을 때 테라가 약 19원이고 Jev는 0.1원이다. Jev 답을 만드는 값을 아예 받지 않는다. 질문을 읽는 값만 받는데, 그마저 100만 토큰에 0.042달러로 한화로 약 50원이다.

실사용 비용

• 논문 1,018편을 주제 별로 분류하는데 0.08달러의 비용이 발생하였고, 같은 논문을 요약하게 했을 때는 3.99달러의 비용이 발생하였다.
• 브라우저를 조종하는 AI가 항공권 한 건을 예약하면서 여러 번 판단을 맡겼는데, 모두 합쳐서 0.0039달러였다.
• Mac 컴퓨터를 대신 조작하는 AI는 판단 한 번에 0.0002달러를 사용했다.

TypeSafe 사는 자체 업무 시험에서 Jev가 기존 언어 모델보다 최대 193.6배 빠르고 444.6배 저렴했다고 발표했다. (회사가 직접 측정한 숫자이기 때문에 상용화 되고 지켜볼 필요가 있다.)

💡Tips

AI 요금은 보통 입력 토큰과 출력 토큰에 값을 따로 매기는데, 출력 쪽이 입력 쪽보다 몇 배는 비싸다. Jev는 출력을 만들지 않으니 출력 요금이 0원이다.

그래서 Jev를 믿을 수 있을까?

TypeSafe가 공개한 성적표에 따르면, 보안 사고 분류/AI 에이전트 작업 기록 점검/송장 처리/고객 응대까지 실제 4가지 업무를 시켰을 때의 평균 정답률은 67.8%였다.

이 점수는 GPT-5.6 SOL이 74.1%였기 때문에 낮은 정답률을 보인다. TypeSafe는 이 부분을 숨기지 않은 대신에, “정확도는 조금 낮아도 200배 싸고 60배 빠르다”를 강조하였다.

여기서 더욱 중요한 점은 시험의 정답을 정한 것은 사람이 아니라 GPT-6 Astra와 Claude Fable 5.1 두 모델의 판단을 평균 내서 정답으로 삼았다. 그러니까 위에서 말한 정답률 67.8%는 “정답을 맞힌 비율”이 아니라 “큰 모델 둘과 같은 답을 낸 비율”이다. 큰 모델이 틀린 문제는 Jev가 맞혀도 틀린 것으로 채점된다.

그럼 여기서 환각(Hallucination)이 없다는 말은 어떨까? TypeSafe에서는 Jev가 환각을 일으킬 수 없다고 주장한다. 보기를 4개 주면 다섯 번째의 답을 지어내지 않고 숫자를 달라고 하면 문장을 돌려주지 않는다는 정도이기 때문에 틀린 말은 아니지만 틀린 보기를 고르는 일은 얼마든지 생길 수 있다.

Jev는 답에 “결제 0.97”처럼 확률을 붙이는데, TypeSafe는 이 숫자가 실제 빈도와 맞도록 훈련했다고 한다. 0.2라고 나오면 정말 다섯 번 중 한 번꼴로 그렇다는 것이다. 이렇게 맞추는 작업을 보정이라고 한다. 보정이 잘 되어 있으면 “0.8보다 아래이면 사람이 본다”와 같은 규칙을 그대로 믿고 쓸 수 있다.

시키면 안 되는 것은 무엇이 있을까?

사용한 사람들의 리뷰로 확인했을 때 아래와 같은 부분에서는 답변하지 못한다.

• 사칙연산 : “합계가 100이 넘어?”같은 질문을 하면, 숫자를 더하지 않고 글자로 인식한다.
• 날짜 비교 : “어제보다 늦었어?”라고 물으면, 날짜의 앞뒤를 따지지 않고 글자로 읽는다.
• 어순의 중요도 : “환불을 원하지 않는 고객인가?”처럼 부정문으로 물으면 답변이 이상하게 변한다.
• 글 작성 : 요약/번역/답장/코드 등 전부 다른 모델이 맡아야 한다.
• 보기의 제한 : 보기는 총 255개까지만 제한되어 있다.

그럼 왜 사용하는 것일까?

사용해본 개발자들은 Jev를 “똑똑한 if문”이라고 한다. 어떤 문제가 있을 때 이 문제를 영업팀으로 보낼지, 개발팀으로 보낼지 등의 조건을 설정하는 역할로 사용한다.

또한, Jev는 혼자서 할 수 있는 것이 적기 때문에 다른 AI 옆에 보조로 사용해야 효과가 극대화 된다. 아래는 LangChain에서 정리한 세 가지 사용 방안이다.

• 교통정리 : Jev가 들어온 요청의 난이도를 먼저 확인하고 쉬우면 싼 모델로, 어려우면 비싼 모델로 전달한다.
• 안전문 : AI 에이전트가 “이 파일을 지울까요?”라고 묻지 직전에 Jev가 위험한지 0.1초 만에 판정한다.
• 검사관 : 큰 모델이 쓴 답이 지시대로인지 Jev가 채점한다.

첫 48시간 동안 나온 실전 사례도 이 3가지 안에 들어간다. 300ms마다 판단하는 트레이딩 봇, 드론 비행 조언 등 모두 “고르기”를 아주 많이 혹은 아주 빨리 해야 하는 일이다.

[참고 및 출처]
https://www.eigent.ai/ko/blog/typesafe-ai-jev-system-one-models
https://the-underdogs.kr/news/jev-typesafe-what-is-it
https://typesafe.ai/blog/introducing-system-one-models-and-jev