SSL(Secure Socket Layer)

제롬·2023년 7월 26일

SSL(Secure Sockets Layer)

SSL 이란?

컴퓨터 네트워크에 통신 보안을 제공하기 위해 설계된 프로토콜로 서버와 클라이언트 사이에 암호화된 연결을 만들어 안전한 데이터 교환이 가능하도록 한다. 이때 SSL은 보안과 성능상의 이유로 두가지 암호화 기법을 혼용해서 사용하는데 SSL에서 사용하는 두가지 암호화 기법이 대칭키와 공개키이다.

SSL(TLS) Handshake 란?

SSL 인증서로 서버가 신뢰할 수 있는지 판단하기 위해서 공개키 서명 방식을 이용하는데 이 방식을 SSL/TLS Handshake라고 한다.

SSL/TLS handshake 과정은 통신을 암호화하는데 사용할 암호화 알고리즘과 키를 결정하고 서버를 확인하며 실제 데이터 전송을 시작하기전에 보안 연결이 이루어졌는지 확인하는 과정을 말한다.

SSL Handshake 동작과정

HTTPS는 TCP 기반의 프로토콜이기 때문에 SSL Handshake에 앞서 연결을 생성하기 위해 TCP 레이어의 3-way handshake 실시한다. TCP 연결과정 후 이어서 SSL Handshake를 통해 보안 세션 연결을 진행한다.

Client Hello

클라이언트가 서버에 연결을 시도하며 ClientHello 라는 패킷을 전송하며 handshake를 시작한다. 자신이 사용 가능한 Cipher Suite 목록, Session ID, SSL 프로토콜 버전, Client Random Data 등을 전달한다. Cipher Suite는 SSL 프로토콜 버전, 인증서 검정, 데이터 암호화 프로토콜, Hash 방식등의 정보를 담고있다. 선택된 Cipher Suite의 알고리즘에 따라 데이터를 암호화하게 된다.

Client Random Data
클라이언트에서 생성한 난수로 대칭키 만들 때 사용

위 이미지처럼 클라이언트가 사용 가능한 Cipher Suite를 서버에 제공한다. 참고로 Cipher Suite의 구성은 아래 이미지와 같다.

ServerHello

서버는 클라이언트가 보내온 ClientHello 패킷을 받아 Cipher Suite 중 하나를 선택한 다음 클라이언트에게 알린다. 또한, 자신의 SSL 프로토콜 버전 등도 같이 전달한다. 아래 사진을 보면 ClientHello에서 17개였던 Cipher Suite와 달리 Server가 선택한 한 줄만 존재하는 것을 확인할 수 있다.

Certificate

서버가 자신의 SSL 인증서를 클라이언트에게 전달한다. 인증서 내부에는 서버가 발행한 공개키(+개인키는 Server가 소유)가 들어있다. 클라이언트는 서버가 보낸 CA(Certificate Authority, 인증기관)의 개인키로 암호화된 이 SSL 인증서를 이미 모두에게 공개된 CA의 공개 키를 사용하여 복호화한다. 복호화에 성공하면 CA의 개인키로 암호화된 문서임이 암시적으로 보증된 것이다. 따라서 인증서를 전송한 서버를 신용할 수 있게 된다.

아래 이미지를 보면 SSL 인증서가 어떤 알고리즘으로 암호화되었고 어떤 Hash 알고리즘으로 서명되었는지 확인할 수 있다.

ServerKey Exchange / ServerHello Done

서버의 공개키가 SSL 인증서 내부에 없는 경우 서버가 직접 전달한다. 공개 키가 SSL 인증서 내부에 있을 경우 Server Key Exchange는 생략된다. 인증서 내부에 서버의 공개 키가 있다면 클라이언트가 CA 공개 키를 통해 인증서를 복호화 한 후 서버의 공개 키를 확보할 수 있다. 그리고 서버의 동작 완료를 알린다.

Client Key Exchange

클라이언트는 데이터 암호화에 사용할 대칭 키를 생성한 후 SSL 인증서 내부에서 추출한 서버의 공개키를 이용해 암호화한 후 서버에 전달한다. 여기서 전달된 대칭키가 SSL Handshake의 목적이자 가장 중요한 수단인 데이터를 실제로 암호화할 대칭키이다. 이제 키를 통해 클라이언트와 서버가 실제로 교환하고자 하는 데이터를 암호화한다.

ChangeCipherSpec/Finished

ChangeCipherSpec 패킷은 클라이언트와 서버 모두가 서로에게 보내는 패킷으로 교환할 정보를 모두 교환한 뒤 통신할 준비가 다 되었음을 알리는 패킷이다. 그리고 Finished 패킷을 보내 SSL Handshake를 종료하게 된다.

SSL Handshake 전체 통신과정 요약

사용자는 사이트에 접속을 요청을 하며 Cihper Suite를 전달한다.(ClientHello)
사이트는 암호화 방식(사용자의 Cipher Suite 중 서버가 사용가능한 암호화 방식)을 선택해 사용자에게 알린다.(ServerHello)
사이트는 자신의 사이트 인증서를 사용자에게 전달한다.(Certificate)
사용자는 브라우저에 내장된 CA의 공개키를 이용해 사이트 인증서를 복호화하면서 인증서가 유효한지 검증하고 사이트의 공개키를 가져온다.(Certificate&ServerHelloDone)
사용자는 자신이 전달할 데이터를 암호화 할 대칭키를 만들고 그 대칭키를 사이트 공개키로 암호화한다.(ClientKeyExchange)
암호화한 대칭키를 사이트에 전달한다.(사용자의 ChangeCipherSpec, Finished)
사이트는 자신의 개인키를 사용하여 사용자 대칭키를 복호화하여 사용자 대칭키를 얻는다. (사이트의 ChangeCipherSpec, Finished)
이렇게 얻은 대칭키를 활용하여 데이터를 암호화 및 복호화하며 통신한다.

CA와 인증서

CA란?

HTTPS는 클라이언트와 서버간의 통신을 제 3자가 인증해주어야 한다. 이러한 인증을 해주는 일을 하는 공인된 회사들을 CA(Certificate Authority)라고 한다. 이러한 CA는 SSL인증서를 기준으로 클라이언트가 접속한 서버가 신뢰할 수 있는 서버인지 확인해준다. 개발자는 HTTPS를 적용하려면 신뢰할 수 있는 CA 기업의 인증서를 구입해야 한다. 이 인증서를 구입하면 CA기업의 개인 키를 이용하여 암호화 한 인증서를 받을 수 있다.

SSL 인증서

SSL 인증서는 클라이언트와 서버간의 통신을 제3자가 보증해주는 전자화된 문서이다. 통신내용이 공격자에게 노출되고 악의적으로 변경되는 것을 막고 서버의 신뢰성을 올릴 수 있다. 인증서의 목적은 클라이언트가 접속한 서버가 신뢰할 수 있는 서버인지를 판단하고 SSL 통신에 사용될 공개키를 클라이언트에게 전달하는 것이다. 즉, SSL 인증서에는 서비스의 정보(CA, 도메인)와 서버측 공개키 두가지 내용이 들어간다.

SSL 인증서에는 클라이언트에서 사용할 서버의 공개키가 들어있는데 클라이언트는 CA의 개인 키로 암호화 된 인증서를 어떻게 복호화할까?
일반적인 브라우저에 신뢰할 수 있는 CA 기관의 리스트와 해당 기관의 공개키를 이미 가지고 있다. 그래서 클라이언트는 내장된 CA의 공개 키를 활용하여 인증서를 복호화함으로써 인증서를 검증한 뒤 서버의 공개 키를 가져올 수 있다.

인증서로 서버가 신뢰할 수 있는지 파악하는 방법

공개키 서명방식을 통해 판단한다. 브라우저는 신뢰할 수 있는 사이트와 그 사이트의 공개키를 가지고 있다. 웹 브라우저가 서버에 접속하면

서버는 SSL 인증서를 제공한다. 이 인증서에는 서버측의 공개키 정보와 서비스 정보를 담고 있다.
브라우저는 이 인증서를 발급한 CA가 자신의 CA리스트에 있는지 확인한다.
있다면 CA의 해당 공개키를 사용하여 인증서를 복호화한다. 복호화된다면 이 인증서는 CA의 비공개키에 의해서 암호화되었다는것을 알 수 있다.

대칭키와 공개키

대칭키

대칭키란 암호화와 복호화 과정에서 같은 암호키(대칭키)를 사용하는 방식의 암호화 기법을 말한다.

예) 암호화 할 때 1234라는 값을 사용해서 암호화했다면 복호화 할 때 1234라는 값을 통해서 복호화해야 한다.

주고 받는 정보에 대해서 같은 암호키를 사용하기 때문에 속도가 빠르다는 장점이 있지만 암호키가 노출되면 아호화된 내용을 해독하기 때문에 보안문제가 발생할 수 있다.

키(key)
암호를 만드는 행위인 암호화를 할 때 사용하는 일종의 비밀번호를 키라고 한다.

공개키

암호키를 하나만 가지는 대칭키 암호화와 달리, 암호화와 복호화에 사용하는 암호키를 분리한 2개의 키를 사용하는 알고리즘 방식으로 비 대칭키라고도 불린다. 공개 키 방식은 두개의 키를 갖게 되는데 하나는 비공개키(private key, 개인키, 비밀키)라고 부르고 나머지 하나를 공개키라고 한다.

비공개키는 자신만이 가지고 있고, 공개키를 타인에게 제공한다. 공개키를 제공받은 타인은 공개키를 이용해서 정보를 암호화한다. 이후 암호화한 정보를 비공개키를 가지고 있는 사람에게 전송한다. 비공개키의 소유자는 이 키를 이용해서 암호화된 정보를 복호화한다. 이 과정에서 공개키가 유출된다고해도 비공개키를 모르면 정보를 복호화할 수 없기 때문에 안전한다.

이처럼 공개키는 보안성이 좋지만 구현이 어렵고 암호화 및 복호화가 어렵다는 단점이 있다.

공개키 암호화 과정

A가 B의 공개키로 암호화한 정보를 B에게 보낸다.
B는 자신의 개인키로 정보를 복호화해서 확인한다.
B는 다시 A의 공개키로 암호화한 정보를 A에게 보낸다.
A는 자신의 개인키로 정보를 복호화해서 확인한다.

암호화 - 공개키, 복호화 - 개인키
데이터 암호화하여 보호하기 위한 목적이다.

암호화 - 개인키, 복호화 - 공개키
인증 목적, 서버에서 개인키로 데이터를 암호화해서 보냈고 클라이언트에서 공개키로 복호화가 된다면 해당 서버는 클라이언트 입장에서 신뢰할 수 있다고 판단할 수 있다.

공개키 암호화의 특징

공개키 암호화 방식은 대칭키 암호화 보안에 대한 단점을 보완하였다. 하지만, 공개키 암호화 방식에서는 더 복잡한 암호화와 복호화 과정을 거치게 된다. 매번 이 과정을 반복하면 시간이 오래걸린다는 단점이 있다. 따라서, 이 대칭키와 공개키 암호화 방식을 혼합하여 사용할 수도 있다.