[📚CS 스터디] 텍스트 표현_아스키코드 / 유니코드 / UTF-8

📖 텍스트표현

🤔 수를 사용해 문자나 키보드에 있는 다른 기호 등을 표현하는 방법❓

📕 아스키코드 (ASCII)

• American Standard Code for Information Interchange
  
  
• 1963년 미국 ANSI에서 표준화한 정보 교환을 위한 미국 표준 코드
  
  
• 키보드에 있는 모든 기호에 대해 7비트 수 값을 할당

📁 아스키코드 표

📁 아스키코드 제어문자

• 글자를 출력하는 데 쓰이지 않고 장치를 제어하기 위해 쓰이기 때문에 제어문자라고 불림

📙 아스키와 경쟁했던 엡시딕 (EBCDIC)

• Extended Binary Coded Decimal Interchange Code
  
  
• IBM의 확장 BCD교환 코드가 있음 (=확장 이진화 십진법 교환 부호).
  👉 'BCD'는 앞에서 살펴본 2진 코드화한 10진수를 뜻함

😣 엡시딕이 아스키와의 경쟁에서 밀린 이유

• EBCDIC은 ISO-8859 계열이나 유니코드 같은 ASCII 기반 코드 페이지에 비해 최근 기술적인 관점에서는 장점이 없음
  
  
  • EBCDIC은 특정 1비트만 보면 대문자인지 소문자인지 구분할 수 있게 되어 있지만, EBCDIC은 알파벳이 연속적이지 않기 때문에 ASCII에 비해 사용하기 어려운 측면이 있음
    
    
  • 대부분의 EBCDIC 코드 페이지를 사용할 때 하나의 데이터베이스나 텍스트 파일 내에서 최대 언어 2개까지만(= 영어와 또 다른 한 언어) 사용할 수 있음

😂 엡시딕에 대한 비판 및 유머

• 오픈 소스 소프트웨어 옹호자이자 해커인 에릭 레이먼드는
  
  자신의 "자곤 파일(Jargon File)"에서 서로 닮지도 않은 다양한 EBCDIC의 다른 버전들 때문에
  
  초기 해커와 프로그래머는 거의 예외 없이EBCDIC을 싫어했고,
  
  IBM은 이미 자리 잡고 있던 ASCII가 있음에도 같은 목적으로 EBCDIC를 만들었다고 언급했다.

• EBCDIC의 알파벳 문자가 ASCII처럼 순차적이지 않고 태고적 천공 카드의
  인코딩을 따르고 있다는 것이다.
  
  일례로 "I"에 해당하는 문자 코드를 1만큼 증가시키면 "J"에 해당하는 코드가 나오지 않는다.
  
  마찬가지로 "R"과 "S" 사이에도 틈이 있다. 따라서 알파벳 문자만 훑는 간단한 루프를 작성하는 것조차 쉽지 않다.

• 인포콤(Infocom)에서 만든 고전 모험 게임인 "Zork II"에도 EBCDIC 문자 집합이 나온다.
  
  "기계실"에 고대 컴퓨터들과 무슨 용도인지 알 수 없는 다른 기계들이 있다. 다음은 그 방에 대한 설명인데 이해할 수 없는 언어라는 것을 설명하기 위해 EBCDIC이 사용되었다.
  
  "여기는 시끄럽게 윙윙 거리는 여러 종류의 무거운 기계로 가득찬 방이다.
  
  탄 저항 부품 냄새가 난다. 한 쪽 벽면을 따라 세 단추가 있는데 하나는 둥글고, 또 하나는 삼각형, 남은 하나는 사각형 모양이다.
  
  당연하지만 각 단추 위에는 EBCDIC로 쓰여진 설명이 붙어 있다..."

📗 다른 표준의 진화

• 아스키는 영어를 표현하는 데 필요한 모든 문자를 포함하고 있어 상당 기간 표준 역할을 함
  
  
• 초기 컴퓨터는 대부분 미국산, 미국산이 아닌 컴퓨터는 영국산.
  하지만 컴퓨터가 널리 쓰이게 됨에 따라 그 밖의 언어를 지원해야 할 필요 점차 늘어남.
  
  
• 국제 표준화 기구 (ISO, International Standards Organization )는 ISO-646과 ISO-8859를 도입
  (기본적으로 아스키를 확장해 유럽 언어에 필요한 액센트 기호나 그 밖의 발음 구별 기호를 추가한 것)
  
  
• 일본산업 표준 (JIS, Japanese Industrial Standards) 위원회는 일본 문자를 표현하기 위해 JISX 0201을 만들었다.
  
  
• 중국어, 아랍어, 한국어(KS C 5601) 등의 표준도 생겼다.
  
  👉 각기 다른 표준이 존재한 이유는 비트가 지금보다 더 비싼 시절에
       표준이 만들어졌기 때문. 그래서 문자를 7비트나 8비트에 욱여넣음.

📘 유니코드 변환 형식 8비트(UTF-8)

• Unicode Transformation Format-8 bit
  
  
• 16비트로 된 유니코드 변환 형식인 UTF-16이나 32비트로 된 변환 형식인 UTF-32도 있음
  
  
• 특히 미국 컴퓨터과학자 켄 톰슨과 캐나다 프로그래머 롭 파이크가 만든 유니코드 변환 형식 8비트라는 인코딩 방법이 하위 호환성과 효율성 때문에 가장 널리 쓰이고 있음
  
  
• 컴퓨터는 7비트값을 처리하도록 설계되지 않았기 때문에 8비트를 사용해 아스키 문자를 저장
  
  
• 🤔: 그러면 16비트에 넣어도 되지 않나요? 왜 굳이 8비트에 저장했나요?
  
  🧐: 과거에 비해 비트가 훨씬 더 저렴해졌지만,,,,
      "8비트만 사용하면 모든 문자를 표현할 수 있는데
      굳이 16비트를 사용해 낭비한다..? 그만큼 싸진 것은 아니야!"
  
  👉 결론: 한 문자를 8비트로 표현.

😄 유니코드 변환 형식 8비트(UTF-8) 장점

• UTF-8은 모든 아스키 문자를 8비트로 표현하기 때문에
  아스키 데이터를 인코딩 할 때는 추가 공간이 필요하지 않음
  
  
• 아스키가 아닌 문자의 경우 아스키를 받아서 처리하는 프로그램이 깨지지 않는 방법으로 문자를 인코딩 함
  
  
• 문자를 8비트 덩어리 (=octet, 옥텟)의 시퀀스로 인코딩 함
  • UTF-8에서 교모한 부분은 첫 번째 덩어리(8비트)의 MSB쪽에 있는
    비트들이 8비트 덩어리(옥텟)시퀀스의 길이를 표현하고,
    덩어리의 맨 앞을 식별하기 쉬움
    (MSB 쪽의 비트 패턴이 겹치지 않기 때문)
    
    👉 프로그램이 문자 경계를 찾아야 하는 경우 이런 특성이 아주 유용함
    
    
• 모든 아스키 문자는 7비트에 들어가기 때문에 덩어리를 하나만 사용해 표현할 수 있음
  
  
• 영어의 경우 비 아스키 기호를 사용하는 언어보다 더 적은 용량으로 문자를 인코딩할 수 있기 때문에 영어 사용자에게는 이런 특성이 아주 편리함

🤔 MSB란❓

• 최상위 비트(most significant bit, msb)는 최고값을 갖는 비트 위치
  
  
• 가장 큰 숫자를 왼쪽에 기록하는 자리 표기법의 규정 때문에
  가끔 "left-most bit"를 뜻하기도 함
  
  
• 이진수 내에 의미하는 특정 비트에서, 그 숫자에서 비트수보다 하나 적은 방향으로 0에서 각 비트를 비트수로 할당하는게 일반적
  
  
• 그러나 이 할당을 사용하는 방식은 어떤 방향에 있을지도 모르고, 모든 방식은 사용됨
  
  👉 "msb"가 비트수 대신에 "high-order bit"를 가리키는 데 사용되는
  이유 중 하나 (때문에 커다란 혼란의 가능성을 가짐)

📁 UTF-8 인코딩 예제

• 그림에서 A라는 문자의 숫자 코드가 아스키와 유니코드에서 같다는 사실을 알 수 있음
  
  
• A를 UTF-8로 인코딩할 때, 7비트 안에 문자의 코드가 들어가면
  (16비트로 표현할 때 0x0000~0x007f가 이 범위에 속한다)
  UTF-8 인코딩에서는 덩어리를 하나만 사용하며 MSB를 0으로 설정
  

🔔 여기서 잠깐 ❗

• MSB는 최상위 비트(most significant bit, msb)는 최고값을 갖는 비트 위치이다?
  
  👉 맞으면 카메라를 보고 ⭕ 표시를, 틀리다면 ❌ 표시를 해주세요!
  
       👀답변해주시는 모습을 제가 보겠습니다👀

• 그래서 A라는 문자를 UTF-8로 표현한 그림의 맨 앞에 0이 하나 추가됨
  
  
• 다음으로는 π(그리스 문자 파이) 기호의 유니코드가 있음
  이 값은 7비트에 들어가지 않지만 11비트로는 표현할 수 있음
  (16비트로 표현할 때 0x0080~0x07ff가 이 범위에 속한다.)
  
  
• π를 UTF-8로 표현하려면 2개의 8비트 덩어리를 사용하되 첫 번째 덩어리의 MSB 3비트를 110으로 시작하고 두 번째 덩어리의 MSB 2비트는 10으로 시작함
  
  
• 이렇게 하면 첫 번째 덩어리에는 5비트가 남고, 두 번째 덩어리에는 6비트가 남아서 11비트 코드를 모두 담을 수 있음
  
  
• 마지막으로 '한'이라는 문자코드는 16비트에 들어가기 때문에 UTF-8 덩어리를 3개 사용해 표현함
  (책에서는 검은클로버가 예시로 있어요!)

🍒 참고하면 좋을 자료 🍒

📘 위키백과 아스키코드 설명 (클릭)
📘 위키백과 EBCDIC 설명 (클릭)
📘 위키백과 ISO 설명 (클릭)
📘 위키백과 JIS 설명 (클릭)
📘 위키백과 UTF-8 설명 (클릭)
📘 Unicode와 UTF-8 간단히 이해하기 설명 (클릭)
📘 아스키코드와 확장 아스키코드 (클릭)
📘 유니코드를 제대로 이해하는 방법 설명 (클릭)
📘 아스키코드, 유니코드, UTF-8 설명 (클릭)

📢 CS 스터디의 내용은 <한 권으로 읽는 컴퓨터 구조와 프로그래밍> 책을
     기반으로 하며, 오늘의 내용은 👉 p.78~83 👈에 있습니다!