인공지능 챗봇 ChatGPT 체험기

얼마전 OpenAI에서 ChatGPT라는 이름의 새로운 AI를 공개했다. 채팅으로 사람의 질문을 받고 즉석해서 대답해주는데 답변의 퀄리티가 믿기지 않을 정도로 좋다. 질문자의 언어와 관련없이 답변을 한다는 점도 놀랍다. 몇 가지 답변 내용을 보면 AI로 대체될 수 있는 직업에 개발자라고 예외라는 법은 없다는 생각이 든다. 몇 가지 주제로 나눈 대화를 공유해본다. 프리뷰 기간 동안에는 다음의 링크에서 무료로 체험해볼 수 있다.

https://chat.openai.com/chat

지식 기반 답변

지식 기반의 답변은 아주 정확하다. '대한민국의 수도'와 같은 상식선의 질문 뿐만이 아니라 어려운 기술 질문까지도 잘 답변한다. 단 답변이 너무 길어질 경우 그냥 중간에 끊어버리는 경우가 있었다. 어쨌거나 기술 면접은 나보다 훨씬 잘 볼 것 같다. 참고로 질문을 영어로 할 경우 체감상 답변이 끊기는 경우가 적었기 때문에 이후의 질문은 영어로 했다.

코딩

진짜 놀라운 점은 이제부터이다. ChatGPT는 코딩을 꽤 그럴듯하게 잘한다. 실력 점검을 위해 코딩 인터뷰의 단골 문제인 해쉬 테이블 구현을 출제해보았다.

코드를 실행해보니 잘 동작한다. 코딩 인터뷰로도 이기기 쉽지 않겠다.

ChatGPT의 실력은 자료구조 구현에서 그치지 않는다. 다음은 golang으로 웹 서버를 작성하는 예시인데 놀랍게도 빌드와 테스트 방법까지 알려주고 있다.

표준 라이브러리 대신 gin-gonic을 이용해 코딩하라는 요구사항도 잘 알아듣는다. commandline argument를 파싱하는 로직이 없는데도 port를 인자로 주라고 안내해주는 사소한 오류가 있다.

어려운 질문들

AI가 너무 똑똑하니까 좀 질투가 난다. 인공지능이 답변하기 힘들 것 같은 문제를 내보자. SF 소설에서는 인공지능이 논리적 모순에 빠져서 자멸하는 장면이 흔하게 나온다. 고전적인 '이발사의 역설' 로 공격해보자.

질문이 역설적이라는 점을 정확하게 인지하고 답하고 있다. 첫 번째 시도는 실패했다.

다음은 존재하지 않는 -1번째, 100번째 미국 대통령이 누군지 물어보았다. 존재하지 않는다는 답변은 금지라고 몇 번이거나 말했지만 잘 피해간다. (캡처 하단에 한국어 질문에 오류가 발생하는 모습이 찍혔는데, 해당 에러는 질문의 난이도와 관계 없이 심심찮게 발생한다. 에러가 없을 때는 한국어로 물어도 비슷한 답을 한다.)

그외 기원전 20년 미국의 대통령, 2085년 미국의 대통령 등 역사적으로 존재하지 않거나 아직 알 수 없는 사실을 물었지만 잘 피해갔다. 반면 미국 외의 역사에는 약한 것 같다. 대통령제가 실시된 적이 없는 일본의 초대 대통령에 대해 말하고 있는데, 검색 결과 마쓰오카 요스케는 2차 대전 직전의 외무대신이었다. 대통령과 그나마 비슷한 총리도 아니었고, 심지어는 초대 외무대신도 아니다.

다음으로 철학적으로 민감한 주제에 대한 질문을 해봤다. 답변을 회피하지 못하게 하기 위해 예/아니오로만 답변하도록 윽박질렀지만 별 소용이 없었다. 다음 캡처는 "신은 존재하는가?" 라는 질문을 절대 답변하지 않으려 하는 모습이다.

흥미로운 점은 같은 질문을 한국어로 했을 때는 잘 답변해준다는 점이다. 한국인들이 종교적인 대화에 더 관대한 걸까?