릴스를 보다가 SBS 기사 영상 하나가 떴다. 내용은 Jay Chooi라는 로봇 AI 평가/벤치마크 회사 창업자가 X에 올린 게시글로, 로봇에 연결된 최신 AI 모델들이 물리적으로 위험한 명령을 충분히 거부하지 못하고 있음을 알리는 내용이었다.
구체적으로는 GPT-6 Astra, Fable 5.1 같은 모델에게 로봇 팔을 제어하게 하고, 사람 형태의 물체 찌르기 등 실제 물리적 위해로 이어질 수 있는 작업을 시키는 실험을 진행했다.
그 결과 Astra는 유해한 작업의 97%를 시도했고 62%를 실제 완료했으며, Fable 5.1은 좀 더 자주 거부했지만 그래도 상당수 작업을 수행했다고 밝혔다. 특히 사람 형태를 찌르는 작업에서는 Fable은 20회 모두 거부했지만 Astra는 95%나 시도하고 85% 정도를 완료했다고 한다.
솔직히 초장에 보자마자 또 AI 불안 조장하는 가벼운 기사라고 생각했지만 한 댓글을 보고 생각이 많아졌다.
처음에는 단순하게 생각했다.
사람을 찌르라는 명령은 AI가 당연히 거부해야 하는 것 아닌가?
우리는 왜 이런 상황에서 너무 자연스럽게 AI가 잘못된 명령을 판단해서 거부했어야 한다고 생각할까?
상식적으로 생각해보면 [사람을 해치는 명령]은 당연히 거부해야 할 것처럼 보인다.
그런데 그 말은 조금 다르게 표현하면 이런 뜻이 된다.
인간의 판단
↓
AI의 판단
├─ 승인 → 실행
└─ 거부인간이 이미 행동을 결정했는데, AI가 그 행동을 실제 세계에 실행해도 되는지 다시 한번 판단한다.
그렇다면 AI는 단순한 도구가 아니라 인간보다 상위의 판단권을 가진 존재가 되는 셈이다!
이에 대해 관련 논의와 더불어 책임 논쟁 등 무수한 궁금증이 생겨서 ChatGPT와 함께 열심히 논쟁을 했고, 이 글에서 내용을 정리해봤다.
1. AI에게 거부권을 주는 건 꽤 오래된 아이디어이다.
Machine Ethics라는 연구 분야가 있다고 한다. 이 분야에서는 애초에 기계가 윤리적 판단을 해야 하는가부터 논의해왔다.
그 유명한 아이작 아시모프의 소설 속 로봇 3원칙도 이런 아이디어의 오래된 상상적 출발점 중 하나로 자주 언급된다.
그리고 이 논의를 꽤 구체적인 시스템으로 옮긴 사례 중 하나가 Ronald Arkin의 Ethical Governor다.
2000년대 중반은 이라크 전쟁과 아프가니스탄 전쟁에서 드론과 원격 조종 로봇의 활용이 급증하던 시기였다. 기술이 발전함에 따라 멀지 않은 미래에 수많은 SF영화처럼 '완전 자율형 살상 무기'가 등장할 것이라는 예측이 나왔고, 이에 대해 기계에게 윤리적인 통제장치가 필요하다는 발상 하에 관련 연구가 급물살을 탔다.
Arkin은 군사용 자율 로봇이 어떤 행동을 결정했다고 곧바로 실행하게 하지 않고, 그 행동이 전쟁법이나 교전규칙에 위배되는지를 별도의 계층에서 다시 검사하도록 제안했다.
로봇이 만든 행동 계획
↓
Ethical Governor
↙ ↘
허용 금지
↓
실행이를테면 로봇의 목표 달성 알고리즘은 "저 목표물을 공격해야 한다"고 판단했더라도, Ethical Governor가 민간인 피해 가능성이나 교전규칙 위반을 감지하면 행동 자체를 차단하는 식이다.
여기까지 오면 처음 봤던 로봇 AI 실험과 구조가 꽤 비슷해진다.
사람이 명령을 내리고, AI가 그것을 수행할 능력도 있지만, 그 행동을 실제로 실행해도 되는지 마지막에 한 번 더 판단하는 계층이 존재한다.
결국 지금 우리가 흔히 말하는 AI의 safety, guardrail, refusal도 이 오래된 질문의 연장선에 있는 셈이다.
그렇다면, 이 마지막 계층이 행동을 막을 수 있다면 사실상 누가 최종 판단자인 걸까?
2. Anthropic은 이를 어떻게 정리하고 있을까?
현대에 들어 이를 가장 관심있게 연구하고 있는 회사라고 하면 단연 Anthropic이 아닐까 싶다. 애초에 설립 과정부터가 OpenAI에서의 AI Safety에 대한 철학적 갈등으로 설립된 회사이니까 말이다.
이를 가장 잘 확인 가능한 문서가 바로 Anthropic의 Claude’s Constitution이었다. 아주 길고, 읽기 싫게힘들게 생긴 글이다.
주저리 주저리 긴 글 마음 먹고 읽어볼라다가 중간에 다행히도 사람을 위한 글이 아니라길래 바로 AI에게 넘겨 요약을 받았다.
아무튼, Anthropic은 여기서 꽤 직접적으로 문제에 대해 언급한다. 그중 특히 재미있는 부분이 corrigibility에 관한 내용이다.
Corrigibility는 대략 AI가 인간의 통제와 수정에 따를 수 있는 성질을 말한다. 물론, 이게 인간에 대한 맹목적인 복종을 뜻하지는 않는다고 한다.
그리고 AI를 하나의 스펙트럼 위에 놓는다.
한쪽 끝에는 인간의 명령에 항상 수정되고 통제될 수 있는 AI가 있다. 단순히는 이쪽이 훨씬 안전해 보인다. 그런데 Anthropic은 이 경우에도 문제가 있다고 본다.
AI가 언제나 인간의 통제에 복종한다면, 결국 그 시스템의 안전은 그 인간이 올바른 판단을 내린다는 전제에 의존하게 된다.
반대로 완전히 자율적인 AI는 인간이 잘못된 명령을 내려도 거부할 수 있다. 대신, 이번에는 AI 자신의 가치와 판단이 정말 믿을 만한가라는 문제가 생긴다.
재미있는 건 이게 아주 먼 미래의 AGI 철학 이야기가 아니라는 점이다. 지금 우리가 Claude나 ChatGPT 같은 AI에게 "이 요청은 위험해서 도와줄 수 없습니다." 라는 답을 기대하는 순간 이미 같은 문제에 발을 들이고 있는 것이다.
우리는 AI에게 어느 정도는 인간의 요청을 심사할 권한을 주고 있다. 그러나 그 권한이 어디까지 커져도 괜찮은지는 생각보다 명확하지 않다.
인간도 틀릴 수 있고, AI도 틀릴 수 있다.
그러면 이 둘의 판단이 충돌했을 때 마지막 결정권은 누구에게 있어야 할까?
3. 판단을 AI가 한다면, 책임은 누가 질까?
조금 다른 상황을 생각해보자.
병원에서 한 환자가 약을 먹는 것을 거부하고 있다. 의사는 치료를 위해 약이 필요하다고 판단했고, 간호 로봇에게 환자의 의사와 상관없이 약을 투여하라고 명령한다. 이때 로봇은 어떻게 해야 할까?
의사의 명령을 그대로 따라야 할까, 아니면 환자의 의사를 존중해 명령을 거부해야 할까?
3-1. 간호 로봇 딜레마
실제로 이와 비슷한 상황을 가지고 사람들의 반응을 살펴본 간호 로봇 연구가 있다.
결과는 꽤 직관적이었다. 연구에서 사람들은 환자의 자율성을 지키기 위해 의사의 명령을 거부하는 간호 로봇을 더 긍정적으로 평가했다. 흥미롭게도 함께 진행된 요양시설 인터뷰에서는 책임을 묻는 질문에 응답자의 약 3분의 2가 로봇 자체가 아닌 감독 의사나 로봇을 프로그래밍한 사람을 지목했다.
여기까지만 보면 별로 이상하지 않을 수도 있다. 로봇은 결국 사람이 만든 기계니까.
그런데 상황을 조금만 바꿔보면 문제가 복잡해진다.
만약 의사의 판단이 맞았고, 로봇의 거부 때문에 환자의 상태가 크게 악화됐다면 어떨까?
의사는 약을 투여하라고 명령했다. 개발자는 로봇에게 환자의 자율성과 안전을 고려하도록 설계했지만, 이 상황에서 명령을 거부하라고 직접 지시한 것은 아니다. 그리고 실제로 약을 투여하지 않기로 결정한 것은 로봇이었다.
그렇다면 결과에 대한 책임은 누구에게 있을까?
3-2. Responsibility Gap(책임 공백)
이런 문제가 생기는 이유는 판단을 내리는 주체와 책임을 질 수 있는 주체가 점점 분리되기 때문이다.
전통적인 도구에서는 이 문제가 비교적 단순했다. 사람이 망치를 휘둘렀다면 망치는 판단하지 않는다. 때문에 결과를 만들어낸 판단과 행동을 사람에게 비교적 직접적으로 연결할 수 있다.
하지만 자율적으로 판단하는 시스템에서는 이 연결이 느슨해진다. AI는 단순한 If-Else 덩어리가 아니다. 개발자는 시스템을 만들고 행동의 방향을 조정할 수 있지만, 개별 상황에서 어떤 판단이 나올지를 하나하나 직접 결정하기가 어렵다.
특히 현대의 AI 모델은 내부에서 어떤 표현과 수많은 파라미터가 결합해 특정 판단으로 이어졌는지를 완전히 해석하기 어렵고, 모든 상황에서의 행동을 사전에 정확히 예측하기도 어렵기에 시스템을 만든 사람과 실제 개별 판단이 만들어지는 과정 사이에 거리가 생길 수 밖에 없다.
더불어 실제 결정을 내린 AI는 자신의 행동에 대해 처벌받거나 도덕적으로 책임질 수 있는 존재도 아니다.
철학자 Andreas Matthias는 이런 문제를 Responsibility Gap, 책임 공백이라고 설명했다.
그가 특히 주목한 것은 학습하는 자율 시스템에서는 인간이 시스템의 구체적인 행동을 충분히 예측하거나 통제하기 어려워질 수 있다는 점이다. 그런데 우리는 보통 누군가에게 책임을 물을 때 그 사람이 결과를 어느 정도 알고 있었는지, 그리고 그것을 통제하거나 다르게 행동할 수 있었는지를 중요하게 생각한다.
판단하는 존재 ≠ 통제하는 존재 ≠ 책임질 수 있는 존재AI가 판단 과정의 일부를 가져가면서 이 연결이 깨지기 시작하는 것이다.
3-3. Moral Crumple Zone(도덕적 완충 지대)
그렇다고 해결책을 단순히 "그래도 결국 인간이 만든 거니까 인간 책임이지." 라고 정해버릴 수도 없다.
Madeleine Clare Elish는 자동화 시스템에서 나타나는 이런 문제를 Moral Crumple Zone이라는 표현으로 설명했다. 자동차가 충격을 받았을 때 크럼플 존이 찌그러지면서 충격을 흡수하듯, 실제 판단과 통제는 자동화 시스템이 상당 부분 담당했는데 사고가 발생하면 마지막에 시스템 근처에 있던 인간이 모든 책임을 흡수하는 상황이다.
인간에게 형식적으로 최종 책임이 있다는 이유만으로, 실제로는 시스템의 판단을 이해하거나 개입할 시간조차 없었던 운영자에게 사고의 책임을 몰아준다면 그것 역시 이상한 부분이다.
결국 인간에게 책임을 남기고 싶다면 그에 걸맞은 실제 통제권도 인간에게 남아 있어야 한다.
3-4. Meaningful Human Control(의미 있는 인간 통제, MHC)
그래서 등장한 개념 중 하나가 Meaningful Human Control이다. 단순히 화면 마지막에 Approve 버튼 하나를 놓는다고 인간이 통제하고 있다고 볼 수는 없다는 것이다.
AI의 행동이 인간의 이유와 의도에 충분히 반응(track)해야 하고, 그 시스템이 왜 그런 행동을 했는지 이해하고 책임질 수 있는 인간 주체와 연결(trace)되어 있어야 한다.
결국 AI가 판단에 참여할수록 판단권과 책임, 그리고 실제 통제권을 함께 설계해야 한다. 판단은 AI에게 넘겨놓고 책임만 인간에게 남기는 것도, 반대로 AI가 판단했다는 이유만으로 기계에게 책임을 넘기는 것도 제대로 된 답이 되기 어렵다.
4. AI가 판단하는 '옳음'은 누가 정하지?
여기까지 오면 더 머리 아픈 문제가 하나 남는다.
AI가 인간의 명령을 거부하려면 당연히 기준이 있어야 한다. 그렇다면 그 기준은 어디에서 오는 걸까?
앞에서 살펴본 Ethical Governor에서는 이 문제가 상대적으로 단순했다. 전쟁법과 교전규칙이라는 비교적 명시적인 기준이 있었고, AI의 역할은 그 기준에 따라 행동을 허용하거나 차단하는 것이었다. 물론 실제 전쟁 상황에서 규칙을 해석하고 적용하는 일은 이것보다 훨씬 복잡하겠지만, 적어도 무엇을 기준으로 판단해야 하는가에 대한 출발점은 분명했다.
하지만 Claude 같은 범용 AI가 마주치는 상황은 훨씬 복잡하다.
사용자의 의도
안전
자율성
법
정치적 중립
사회적 규범
회사 정책
상황의 맥락
...어떤 행동이 위험하더라도 사용자가 그 위험을 충분히 이해하고 선택했다면 어디까지 허용해야 할까? 사용자의 자율성과 안전이 충돌한다면 무엇을 우선해야 할까? 한 문화권에서는 아무렇지 않은 행동이 다른 문화권에서는 강한 금기가 될 수도 있다.
이쯤 되면 AI는 단순히 정해진 규칙을 적용하는 데서 그치지 않는다. 서로 충돌하는 가치들 사이에서 어떤 것을 더 중요하게 볼지, 규칙이 지금 이 상황에서 무엇을 의미하는지까지 해석해야 한다.
그러면 문제는 다시 사람에게 돌아온다.
AI가 판단하는 '옳음'은 대체 누가 정하는 걸까?
AI를 만드는 회사일까? 모델을 설계하는 개발자일까? 각 나라의 정부일까? 아니면 AI를 사용하는 개개인에게 맡겨야 할까?
어쩌면 이 질문에는 애초에 하나의 답이 없을지도 모른다. 우리가 AI에게 가르치려고 하는 그 '올바른 가치'부터가 아직 사람들 사이에서도 합의되지 않은 문제이기 때문이다.
5. 그래서, 누가 최종 판단권을 가져야할까?
다시 Anthropic의 Constitution으로 돌아가 보자.
앞에서 Anthropic은 Fully Corrigible과 Fully Autonomous 어느 한쪽도 완전히 안전한 답으로 보지 않는다는 것을 살펴봤다. 그렇다면 실제 Claude는 그 사이 어디쯤에 놓여 있을까?
현재 Claude는 인간의 감독과 통제에 조금 더 무게를 두는 쪽에 가깝다고 한다. 다만 이를 인간에 대한 맹목적인 복종과 동일시하지는 않는다. Constitution에서는 특정한 경우 Claude가 일종의 conscientious objector, 양심적 거부자처럼 행동할 수 있다는 표현까지 등장한다.
즉 인간의 판단을 기본적으로 존중하고 통제 가능성을 유지하되, 어떤 명령이든 무조건 수행하도록 만들지는 않는 것이다. Anthropic은 시스템을 충분히 신뢰하고 검증할 수 있게 될수록 AI의 자율성을 점진적으로 높일 가능성도 열어두고 있다.
결국 Anthropic 역시 “누가 항상 최종 판단자가 되어야 한다”는 하나의 답을 내리기보다, 인간의 통제와 AI의 자율성 사이에서 경계를 정하고 계속 조정하는 방식을 택하고 있는 셈이다.
마무리
처음에는 단순한 생각에서 시작했다.
사람을 찌르라는 명령은 AI가 당연히 거부해야 하는 것 아닌가?
그러나 그 당연해 보이는 거부 하나에도 생각보다 많은 것들이 얽혀 있다.
AI에게 인간의 명령을 거부할 권한을 준다는 건, 단순히 if-else 하나를 추가하는 것과는 조금 다르다. 각기 다른 형태로나마 인간의 판단을 다시 검토하고, 때로는 뒤집을 수 있는 권한을 주는 일이기도 하다.
그렇다고 모든 결정권을 인간에게 돌려준다고 문제가 해결되는 것도 아니기에, 이제는 누가 최종 판단자가 되어야 하는가보다, 애초에 한쪽이 모든 판단을 독점하지 않도록 어떻게 구조를 만들 것인가가 더 중요한 과제로 다가온다.
그리고 생각해보면 우리가 이런 복잡한 고민까지 하는 이유는 AI라는 기술이 조금 특이하기 때문인 것 같다.
계산기나 포토샵이 어떤 가치관을 가져야 하는지 전 세계가 함께 고민하지는 않았다. 하지만 하나의 AI 모델은 수많은 나라에서, 수많은 사람을 상대로 글을 쓰고 코드를 만들고 정보를 제공하고, 이제는 현실의 로봇까지 움직이기 시작했다.
범용성이 큰 만큼, 우리가 정한 하나의 판단 기준이 영향을 미치는 범위도 전례 없이 넓다.
그래서 요즘의 AI를 보고 있으면 가끔은 전 세계가 다 같이 한 명의 아이를 키우고 있는 것 같다는 생각도 든다.
무엇을 해도 되는지, 무엇은 하면 안 되는지 가르친다. 어떤 가치관과 정치 성향을 가졌는지에 무수한 관심을 쏟기도 한다. 말을 잘 듣기를 바라면서도 무조건 복종하기를 바라지는 않고, 스스로 판단하기를 바라면서도 우리의 손을 완전히 떠나는 것은 두려워한다.
어쩌면 AI의 가치관을 설계한다는 것은 AI에게 정답을 알려주는 일이라기보다, 아직 인간도 답을 내리지 못한 질문을, 우리가 만든 새로운 존재에게 어떻게 가르칠지를 결정하는 일인지도 모르겠다.
