
컴파일러가 가장 먼저 하는 일은 소스 코드를 토큰으로 분리하는 것이다.
이 과정을 어휘 분석(lexical analysis; lexing)이라고 한다.
예시
원본 코드
int a = 1;
int b = 2;
while (a < b) {
b = b - 1;
}
토큰화된 코드
T_Keyword int
T_Identifier a
T_Assign =
T_Int 1
T_Semicolon ;
T_Keyword int
...