# Lexer
Optimization of DFA-Based Pattern Matchers
regular expression 으로부터 만들어진 pattern matchers를 optimize 해보자.
<Lexical Analyzer continued>
Design of a Lexical-Analyzer Generator 이전 Section에서 봤던 방법을 적용해서 lexical-analyzer가 어떻게 만들어지는지 확인해 볼 것이다.
"아주 간단한 수식 문자열" 처리기를 만들어 보자. (1편. Lexer를 만들자)
해당 글은 "밑바닥부터 만드는 인터프리터" 책을 읽고 작성한 글입니다. 더 자세히 알고 싶다면 제 글이 아닌 책을 읽으시면 됩니다! > 언어를 어떤 걸 쓸까 고민을 많이 했는데 TypeScript을 사용하기로 했습니다. 수식 문자열을 처리하는 "아주 간단한 처리기"
[CS] XML Parser
XML은 정형화된 데이터를 표현하는데 많이 사용하는 방식이다.간단한 구조의 HTML5, PLIST 같은 XML 문서를 분석해서 DOM 구조로 만드는 XML Parser를 직접 만들어보자.
Tokenizer, Lexer, Parser
컴파일러란 고급언어로 작성된 프로그램을 번역해 기계어로된 프로그램을 만들어 주는 역활을 한다.이때 구문분석 -> 최적화 -> 코드생성 -> 링킹의 과정을 거치는데, 구문분석 과정에서 소스코드는 Tokenizer, Lexer, Parser를 차례로 거친다. 이포스팅에선
파이썬 컴파일러 활용하여 If 구문 가져오기
‘python compiler를 활용해보아라’‘token을 활용해보아라’솔직히 어떤 의미인지 하나도 와닿지 않았다.파이썬은 인터프리터 언어이기도하고, 파이썬으로 컴파일러를 구성하면서 코드 플로우를 따라가는 것에 이해가 잘 되지 않았다.우선, 파이썬이라는 언어는 많이 쓰
두번째 목표 달성
지난 첫 목표 달성 글에서 Lexer, Parser, Compiler를 구현하고 mdx 파일예 json 값의 데이터를 바인딩하는데 성공했다.이후 다음 목표로 삼았던 다른 파일에서 불러오기 기능은 완성했는데 완성된 기능은 다음과 같이 동작한다.hello.mdx 파일은 L
첫 목표 달성
프로젝트를 생성하며 목표로 잡았던 첫 기능을 오늘 끝냈는데 목표로 했던 기능은 다음과 같다.파일의 내용을 Lexer가 Regex을 통해 토큰 목록을 생성한다.만들어진 토큰 목록을 Parser가 AST를 생성한다.Compiler가 AST를 방문하며 결과물을 출력한다.파일
파이썬으로 인터프리터 만들기 | 2 - Lexer 구현하기
문법도 어느정도 갖추어졌으니 인터프리터가 어떻게 구성되는지 알아봅시다. 먼저 Lexer로 소스코드를 토큰 단위로 분석하고, Parser로 우선순위에 맞춰서 Abstract Syntax Tree를 만들어...