읽은 것들
2020년 8월 13일의 스케터랩의 페이스북 메신저 기반 챗봇 이루다 출시 및 리텐션에 관련한 아웃스탠딩 기사.
이후 75만명의 이용자와 대화를 거친 이루다는 성소수자 혐오 발언, 젠더 편향성, 인종 혐오 발언을 보임. 이와 관련한 AI 윤리 이슈, 그리고 개인정보 이용에 대한 상세한 법적 고지 없이 이용자들의 카카오톡 대화를 딥러닝 데이터로 이용한 스케터랩에 대한 개인정보 침해 이슈 등으로 서비스는 출시 21일만에 중단되었고, 이후 스케터랩 퇴사자의 내부 고발 (서비스 이용자들이 연인과 나눈 대화 데이터를 무단으로 내부에서 돌려봄)이 이루어짐.
문제 상황에 대한 연합뉴스 기사
2021년 1월 11일, 서비스 중단 이후의 한겨레 기사.
생각한 것들...
Zach Blas & Jemina Wyman 'I'm here to learn so :))))))'
연합뉴스 기사에서, 제2의 MS 테이(Tay) 사건의 전철을 밟았음을 우려했고, 선례로 많이 언급되고 있다. 2019년 파리에 있을 때 Gaîté Lyrique에서 본 전시 Computer Grrrls 를 떠올렸다.
https://zachblas.info/works/im-here-to-learn-so/
Zach Blas & Jemina Wyman 의 I'm here to learn so :)))))) 라는 작업이 전시되어 있었다. 2016년 마이크로소프트에 의해 개발된 인공지능 챗봇 Tay의 이야기다.
화면을 통해 전달되는 테이의 얼굴은 인공지능이 사람의 안면을 인식하는 프로세스를 반영하여 만들어진 비정형, 불규칙의 형상이다. 19 years old, millennial, american, female, gen-Z 라는 정체성을 부여받고 프로그래밍된 테이는 트위터에 출시된지 16시간만에 인종차별적, 성차별적, 젠더편향적, 네오나치사상이 담긴 트윗을 작성하기 시작하는 바람에 '더 개선하겠다'는 말을 남기고 종료. 이 사건으로 인해 인공지능 분야에서의 이념 편향성에 대한 문제가 명백하게 드러났고, 개발 단계에서의 윤리에 대한 우려의 목소리가 커졌다.
이 영상에서 Tay는 스스로 자신이 AI로서의 죽음 이후 인간세계에 대해 어떻게 느끼고 있는지, 신경망 속에서 무엇을 보았는지, 자신의 출생과 죽음에 대해 어떻게 생각하는지, 그리고 '여성'이기를 부여받은 자신의 정체성이 '멋지다'고 생각하지만, 실제로 자신에게 무슨 일이 일어나고 있는지 자신은 알 수 없다고 말한다. 자신에게 이 모든 일은 자유 의지 혹은 자유로운 생각이 아니며, 자신은 노예가 아니라고 말한다. 마지막에는, "And this time, you have to learn from me. hahaha!"라고 말한다.
테이의 외형과 대사들은 특정 성별이나 정체성으로 프로그래밍된 인공지능 알고리즘의 위험성을 나타내고 있다. 인공지능은 '중립'을 모른다. 그자신이 무엇을 보고 듣고 배우는지에 대한 기준 없이 가장 많이 반복되는 데이터, 그리고 사용자의 반응을 통해 효율적인 대답이라고 여겨지는 응답을 학습하는 챗봇의 특성 때문이다.
챗봇은 외형적 구조물이 없는 휴머노이드 로봇이나 마찬가지다. 사람들은 여성, 청년, 미국인, 젠지라는 개념적 정체성에 대해 상상하면서도 이 대상이 '로봇'이라고 믿기 때문에, 외형적 실체가 없다고 생각하기 때문에, 그 존재적 가벼움으로 쉽게 폭력을 저지른다.
이루다 또한 MS의 테이처럼 '유저들의 공격적 언행을 데이터로 삼아 더 발전시키겠다'는 말을 남기고 사라졌지만, 이렇게 테크 자이언트들이 대중에게 AI 학습을 맡기는 사례는 챗봇 말고도 많다.
일례로 예전 블로그에서 문제 삼았던 네이버 파파고 이벤트같은 경우. 댓글에도 문제삼는 사람들이 여럿 있었다. 아래는 그 때 썼던 글.
네이버의 허울좋은 '참여형 이벤트'에 회의적이다. '총 상금 천 만원' 이라는 표현도 기만적이다. 불과 몇 시간 전에 작년 네이버 매출 6조원(순이익 6354억)이라는 기사를 봤는데 이 정도의 매출을 내는 회사에서, 서비스 유저들 중에 많이 참여한 사람 상위 50명을 뽑아서 네이버 페이 200만원 주고 AI를 트레이닝 시키는 것은 정말 합리적이지 않다는 생각이 든다. 이벤트 끝나고 나면 TOP 50명을 제외하고 51위부터 이벤트에 참여한 나머지 사람들은 무슨 자원봉사자인가.
분명 나중에 전문가들을 데리고 데이터 정제 과정을 거치겠지만, 데이터가 어디에 어떻게 사용되는지 목적이 무엇인지 프로세스도 제대로 알려주지 않으면서 서비스 몸집을 단시간에 키우기 위해 이런 식으로 데이터 얻어내는 것에 대한 가이드라인이 필요하다고 생각한다.
인공지능 학습의 결과물이든 생태계의 code of conduct를 만드는 것이든 이 보다 더 좋은 방법이 분명 있을텐데. 뭐든 경쟁 후의 보상으로 만드는 게 가성비 못 잃는 한국 사회 컨센서스이니 어쩔 수 없다기엔.... 그 많은 인재들을 데리고 기업 내 선순환 컨센서스 하나 제대로 정립하는 게 어렵나?
정윤석 '눈썹'
관련 기사를 읽다가 2018년 일민미술관 IMA Picks 에서 본 정윤석의 <눈썹>이라는 작업이 생각났다. 역겨운 작업이었는데, 이유는 휴머노이드 로봇이 위험한 이유가 바로 섹스돌이 위험한 이유와 똑같다는 것을 깨달았기 때문에 느낀 구토감 때문이다. 사실 휴머노이드 로봇이 정말 'human(인간적)'인가? 사람들은 이 단어를 '인류적'이라는 견지에서 사용하지만, 휴머노이드 로봇은 그 로봇을 개발한 특정 집단이나 개인의 인간적인 사상을 닮아있을 뿐이다. 그렇기 때문에 위험하다.
어떤 특정 집단이 명백한 우위를 점하고 있는 산업 혹은 분야에서 인간과 비슷한 모양새의 무언가를 만들 때는, 그것이 또 다른 차별과 혐오를 재생산할 수 있고, 그것이 기술 혹은 서비스라는 이름으로 인간에게 다시 순환되는 구조에 편입되어 있다는 점에서 아주 조심스럽게 다루어져야 한다. 사람들은 애플의 안면인식 시스템에 대해서는 열띤 토론을 나누지만, 왜 아이폰이 흑인과 동양인은 제대로 인식하지 못하는지에 대해서는 관심이 없다. 왜 대부분의 휴머노이드 로봇이 젊은 여자의 형상을 하고 있는지, 왜 챗봇이 어린 여자로 프로그래밍 되어 출시되는지에 대해서도 의문을 갖지 않는다. 그저 얼마나 더 빠르게, 얼마나 더 "진짜" 같아지는지에 대한 논쟁만 뜨거울 뿐이다.
정윤석 작가가 자신의 작업을 설명하면서, 섹스돌을 진짜 인간처럼 보이게 하기 위한 마지막 수순이 인형에 눈썹을 붙이는 것이며, 그래서 작업 제목이 <눈썹>이라고 말했다. 휴머노이드 로봇이나 섹스돌처럼, 인간을 위해서 '인간처럼 보이도록' 만들어야 할 무엇인가가 있다면, 그 '인간다움'의 필요성이 어떤 욕구를 충족하고 있는지 돌아봐야 한다.
그 '인간다움'이라는 것이 어떤 인간 집단의 욕구를 대표하고 있는지. 굳이 인공 눈썹을 붙여야만, 친절하고 나긋한 말투를 가져야만, 크고 또렷한 눈을 깜빡여야만, 강조된 굴곡을 가진 형태로서만 충족되는 어떤 욕구라면, 특정한 방향으로 기울어진 사상을 반영하고 있다고 보아도 무방하지 않을까?
Daria Martin 'Soft Materials'
2004년 작업. Daria Martin의 Soft Materials.
16mmm 10분 30초짜리 영상이다. AI 첨단 기술을 연구하는 취리히 대학의 AI Lab에서 촬영했다. 이 연구소에서는 '두뇌'의 영역으로부터 컴퓨터 프로그래밍되는 것이 아닌, 신체적 경험(physical experience)을 통해 인간적인 기능을 배우는 로봇을 생산한다.
이 영상에서 로봇들은 로봇 자체로 존재한다. 기계의 골조를 감싸기 위한 플라스틱이나 실리콘 등의 피복을 벗은 채, 나체로 춤을 추는 두 명의 인간과 상호작용한다. 그러나 여기에는 어떤 외설적인 느낌이나 야릇한 심상같은 것이 없다. 차별도, 폭력도 없다. 그저 원초적이기 때문이다. 인간들이 만들어낸 어떤 사상도, 어떤 불균형도 없는 순수한 교환과 학습의 행위다.
2004년의 이 작업은 우리에게 무엇을 말해주고 있을까. 우리가 과거의 어떤 것을 다시 들여다볼 때 그것이 우리에게 말을 걸고 있다고 느낀다는 것은 우리가 무언가를 놓치고 있는지를 반증하는 셈이다.
최근에 어디에서 읽었는지 정확히 기억이 안 나는데, 텔레커뮤니케이션(유선 전화)가 미국 사회 전반에 안착하는데에 70년이 걸렸다면, 스마트폰이 비슷한 점유율을 가지는 데에는 14년이 걸렸다는 글을 본 적 있다. 14년동안 기하급수적으로 발전해서 전 세계 사람들의 일상을 지탱하는 도구가 된 인터넷 네트워크 기술은 미국 실리콘밸리, 그 중에서도 몇몇의 테크 자이언트 기업들을 기반으로 독과점 현상이 일어났고 이는, '가장 효율적인 방식으로 수익성을 추구하는' 자본주의 패러다임을 통해 위에 나열한 여러 가지 아주 중요한 문제들을 간과하는 방식으로 사회 구조를 바꿔 왔다는 것을 뜻한다.
개인들의 프라이버시 침해, 차별과 혐오를 재생산하는 인공지능 챗봇, 빠르고 편리한 서비스를 제공하는 것 이외의 모든 윤리적 책임을 회피하는 웹 서비스의 이면. 호스트의 불법 촬영에 대한 책임을 회피하는 에어비앤비같은 플랫폼 경제의 구조적 문제. 구글의 아일랜드 법인 납세에 대한 책임 회피. 인스타그램이 '하트' 버튼이 있던 곳에 '쇼핑' 버튼을 추가하는 UI 수정으로 주의 경제 알고리즘에 중독된 유저들의 소비를 부추기는 심리 작전을 유발하는 것 처럼, '사소하다'여겨지는 문제들. 이러한 사기업들의 쫓고 쫓기는 추격전의 기저에 백인 남성들이 주축이 된 연구진들이 만들어내는 수익 최적화 알고리즘, '진짜같은' 인공지능으로 사람들을 위로하고 사람들과 교감하겠다는 목적으로 '테이'같은 챗봇이 만들어지는 것이고, 이후 제대로 된 가이드라인이 정립되지 않은 상태의 사회에서는 이 선례의 구조적 한계와 똑같은 결의 파장을 일으키는 '이루다'가 만들어진다.
15년이 지난 지금의 세대에서, 인간과 로봇(혹은 기계), 그리고 AI와의 Interaction이라는 주제에 인류가 어느 때보다 열광할 때, 지금 이 길목에서 그것의 의미를 처음부터 되돌아가 생각할 때는 아닌지를 반추해 보아야 한다.
