[AWS] Open Dashboard 에서 인덱스 패턴 생성하기

Hyunjun Kim·2025년 5월 31일

실습 - (AWS 환경)

목록 보기
30/61

앞에 과정에서 fluentd 로 로그 파일을 읽어서 보내기를 했거나 이미 데이터를 넣은 사람들은 데이터가 들어가 있을 것. 데이터가 없으면 이 과정은 할 수 없다.



가장 많이 활용하는 게 Discover 화면인데 데이터가 없어서 안되는 중.

왼쪽 메뉴바 맨 아래 Management에 Stack Management를 선택하면

welcome 환영을 해준다.

왼쪽 Index Patterns 메뉴 클릭

아무 것도 없다.

create index pattern 클릭

아래 보면 내가 만들었던 인덱스들이 여기 있다.

위에 Index pattern name 에 내가 볼 데이터의 패턴을 입력해보자.

apache-log*

next step 클릭


apache-log는 아무런 타임필드도 가지고 있지 않다고 한다.
create index pattern 클릭.

생성을 한 다음에 refresh를 한 번 눌러주자.


그 다음에 Discover 에 들어가서 apache-log 를 보면 이런 화면이 나온다.


이렇게 개별 레코드들을 확인가능하다.

apache-log는 timestamp 관련된 필드를 가지고 있지 않기 때문에 이렇게 보인다.
타임스탬프를 가진 필드를 어떻게 보는지 확인해보자.


다시 왼쪽 메뉴 맨 아래 > Stack Managemen > Index Patterns 들어가서

Create index pattern 눌러서 새로운 패턴을 생성하자

json-timelog로 여러 개 날짜별로 나눴던 게 보일 것이다.


Index pattern name 에 json-timelog-* 를 입력하면 뒤에 어떤 날짜가 오더라도 전부 볼 수 있다.

Next Step 클릭

@timestamp 선택.

  • 이게 아까 Fluentd에서 logstash timeformat 해서 타임필드 지정해준 것 때문에 이렇게 매핑이 되어서 그런 거라고 보면 됨.

Create index pattern 클릭.


여기서도 refresh 한 번 클릭해주자.

  • 각 필드에 대해서 이 친구가 기본적으로 타입을 추론해서 이렇게 다 맴핑을 해준다. 그래서 아마 별일이 없다면 우리는 쓸 일이 없을 거고, 같은 필드에서 키워드가 있는게 있고 그냥 있는 게 있을 텐데, 키워드가 있는 건 정확한 값 필터링, 집계(Aggregation), 정렬용으로 사용하고 키워드 없는 건 전문 검색(Full-text Search)용인데 기본적으로 분석기(analyzer)를 적용해서 저장한다. 부분 일치, 검색어 포함 여부 등 자연어 검색이 가능하다.

다시 disvoer로 돌아가서 apache-log가 아니라 json-timelog 을 봐보자.

날짜를 절대 날짜로 선택해보자.

날짜를 선택하고 refresh를 하면

내가 선택한 날짜 사이에서 어떤 시간대에 몇 건의 데이터가 왔는지 timestamp 기준으로 잘 보여준다.

보낼 때는 한 번에 쭈륵 보내긴 했지만 내가 타임스탬프에 맴핑할 거는 그 레코드에 있는 타임스탬프를 써 줘. 라고 했기 때문에 실제 그 시간으로 보이는 것이다.

열어서 봐 보면 제이슨으로 보이던 key, value 값들이 table의 모습으로 볼 수 있고

왼쪽 메뉴 바에서 보고싶은 필드만 선택해 간결하게 볼 수도 있다


오른쪽 위에서 share 누르면 현재 상황에 대한 snapshot도 남길 수 있다.

copy link 해서 내가 보고 있는 화면이랑 똑같은 화면을 만들 수 있는 링크가 만들어진다. 커뮤니케이션 하기 좋음

오픈서치 대시보드 활용방법과 공유 방법 알아보았다.

profile
Data Analytics Engineer 가 되

0개의 댓글