책 내용
1 우리 시대 가장 중요한 대화에 참여하는 것을 환영하며
1.0 하드웨어, 소프트웨어 모두 진화
2.0 학습을 통해 소프트웨어 설계
3.0 하드웨어가지 설계 가능, 운명의 주인
라이프 3.0이 우리가 사는 동안에 온다면
우슨 일이 벌어질 것인가?
우리에게 이는 어떤 의미일까?
논란에 참여하는 세 진영
기술 회의론자, 디지털 이상주의자, 이로운 AI 운동 회원
초지능 인공지능에 관한 일반적인 신화와 사실
2 물질이 지능을 갖게 되다
지능 = 복잡한 목표를 달성하는 능력
기억 = 나름대로의 방식으로 어떤 상태를 오래 유지하는, 어떤 물질이든 안정 상태를 다양하게 띨 수 있다면 기억에 쓰이는 기질이 될 수 있다.
연산 = 배열
어떤 물질이든 어떤 함수든 수행하도록 결합 될 수 있는 보편적인 어떤 구성요소가 있으면 계산을 위한 기질이 될 수 있다.
간단히 말해 계산은 입자의 시공간 배열 양상이어서, 입자가 아니라 양상이 중요하다. 물질은 중요하지 않다. 다른 말로 하면, 하드웨어는 물질이고 소프트웨어는 양상이다.
학습 = 재배열
물질이 배우려면 그것은 물리 법칙을 따르면서 스스로 더 나아지고 바람직한 함수를 계산하기 위해 더 낫게 재배열할 수 있어야 한다.
신경망은 학습을 위한 강력한 기질이다. 왜나하면 요구되는 계산을 더 잘 수행하기 위해, 단순히 물리학 법칙을 따름으로써 자신을 재배열할 수 있기 때문이다.
3 가까운 미래: 약진, 오류, 법, 무기, 일자리
4 지능 폭발
5 그 후: 다음 1만 년
6 우리의 우주적인 재능: 다음 수십억 년과 그 너머
7 목적
목적 지향적인 행동의 궁극적인 기원은 최적화와 관련된 물리 법칙에 있다.
생명은 주위 환경의 혼란스러움을 증가시키는 가운데 자신의 복잡성을 유지하거나 키우고 복제함으로써 소산이 더 빠르게 진행되도록 도울 수 있다. 소산은 엔트로피라고 불리는 혼란스러움의 정도를 증가시키는 것이다.
가장 효율적인 복제가는 다른 생물을 이기고 지배할 수 있기 때문에 머지않아 당신이 바라는 어떤 생명 행태라도 복제의 목적에 최적화될 것이다. (뭔 소리임)
오늘날 지구의 진화한 거주자들 사이에는 이런 수단적인 목적(근본적인 목적을 달성하는 데 도움이 되는 하위 목적)이 스스로의 생명을 얻은 듯하다.
지능 = 복잡한 목적들을 이루는 능력
우리는 복제와 같은 단순한 목적을 더 이상 고수하지 않는다. 감정이 유전자의 목적과 충돌할 때, 우리는 감정에 따른다.
목적을 기계에 아웃소싱
기계와 인간의 목적을 정렬하는 문제
목적 정렬 문제를 해결한 경우 어떤 목적을 선정할지 논의해야 한다.
우리가 합의할 수 있는 최소한의 윤리적 원칙 4가지 공리주의, 다양성, 자율성, 유산
공리주의 인간중심적이 아니라 주관적인 경험을 할 수 있는 것들을 포함
자유와 권리를 기초로 하는 세계인권선언
자유는 사상, 학습, 의사소통, 재산 소유, 상해 등에 대한 자유로 규정하고 권리는 다른 존재의 자유를 침해하지 않는 것이면 무엇에 대해서라도 허용할 수 있다.
모든 사람이 똑같은 목적을 공유하지 않는다면 자율성 원칙은 다양성 원칙을 돕는다. 또 개체가 긍정적인 경험을 목적으로 하고 자신의 이익에 따라 행동하려고 한다면, 자율성 원칙은 공리주의 원칙에서 나온다.
유산 원칙은 기본적으로 우리는 미래 창조를 돕고 있기 때문에 미래에 대해 어느 정도 발언권을 가져야 한다는 것이다.
초지능 AI에게 궁극적 목적을 어떻게 불어 넣을지도 불확실하다. 그 궁극적 목적은 정의되지 않는 종류가 아니어야 하고, 인류를 절멸시키는 결과를 낳어서도 안 된다. 철학의 가장 까다로운 이슈들에 대한 연구를 재점화해야 할 때인 것이다.
8 의식
의식 = 주관적 경험
아울러 AI 사이에 정보와 소프트웨어를 바로 복사하는 능력이 있어서 AI들은 자아라는 의식이 사람보다 덜 강할 것이다. 만약 우리가 우리 기억과 능력을 모두 쉽게 나눌 수 있다면 당신과 나 사이의 구분이 약해질 것이다. 그래서 가까운 AI로 이뤄진 그룹은 공통된 마음을 지닌 하나의 조직처럼 느끼게 된다.
의식이 없다면 행복도, 선량함도, 아름다움도, 의미도, 목적도 없고 단지 공간의 천문학적 낭비만 있을 뿐이다. 그러므로 마치 우리 우주가 우리 존재에 의미를 부여하는 것처럼, 사람들이 생명의 의미를 묻는 것은 퇴행적인 일이다. 우리 우주가 의식이 있는 존재에게 의미를 부여하는 것이 아니라 의식이 있는 존재가 우리 우주에 의미를 부여하는 것이다. 따라서 미래 희망 목록에서 맨 위로 올려야 할 목적은 우리 우주에서 생명적이고/이거느나오나 인공적인 의식을 유지하는 것이다.
사실 인간 예외주의(인간이 지구에서 가장 영리한 존재이고 따라서 독특하고 우월하다는 확신)는 과거 비극의 원인이었을 뿐 아니라 인간의 미래 번영을 위해서도 불필요하다. 이는 인류가 우리보다 훨씬 고도의 외계 문명을 발견하게 될 경우를 생각해보면 자연스럽게 나오는 결론이다. 과학과 예술을 비롯해 모든 분야에서 우리보다 앞선 문명이 있다고 해서 우리의 목적과 의미, 경험이 끝나는 건 아니다. 우리는 가족, 친구, 더 넓은 지역사회, 우리에게 의미와 목적을 주는 모든 활동을 유지할 수 있고, 바라건대 오만 외에는 잃을 게 없다.
이런 관점에서 보면, 우리는 이 책에서 지능의 미래에 초점을 맞췄지만 더 중요한 것은 의식의 미래이다. 의미를 가능하게 하는 것은 의식이기 때문이다. 철학자들은 이 구별과 관련해매 라틴어로 돌아가곤 한다. 사피엔스를 센티언스와 대조하는 것이다. 사피엔스는 지능적으로 생각하는 능력이고 센티언스는 감각질을 주관적으로 경험하는 능력이다. 우리 인간들은 가장 똑똑한 존재인 호모 사피엔스로서 우리의 독자성을 형성해왔다. 이제 더 영리한 기계들이 우리의 지능을 속속 추월하는 상황에서, 우리 자신의 브랜드를 호모 센티언스로 새롭게 하자고 제안한다.
