analyzer 구성

텍스트 분석 과정

• 애널라이저가 수행

• 캐릭터 필터링 → 토크나이징 → 토큰 필터링 순서로 진행

토크나이징은 특정 기준으로 분석을 실행해야 해서 1개만 지정 가능하다.

캐릭터 필터는 토크나이징이 진행되기전 캐릭터 전체에 대한 내용을 필터한다.

토큰 필터는 토크나이징이 되고난 후 토큰들에 대한 내용을 필터한다.

analyzer 를 이용해 tokens 확인하기

1. 로컬에서 elastic 실행

2. GET http://localhost:9200/_analyze 으로 원하는 text 와 analyzer 를 넣어서 요청하기

// body
{
  "text": ["genorator", "hauler"],
  "analyzer": "english"
}

tokenizer 를 이용해 tokens 확인하기

1. 로컬에서 elastic 실행

2. GET http://localhost:9200/_analyze 으로 원하는 text 와 tokenizer, filter 를 넣어서 요청하기

// body
{
  "text": ["genorator"],
  "tokenizer": "standard",
  "filter": [ "stemmer" ]
}

ref.

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-analyze.html#indices-analyze