ElasticSearch를 사용하려고 찾아보던 도중 아마존에서 사용이 가능해 찾아보니 Amazon Elastic Service가 사라지고 Amazon OpenSearch Service로 바뀌어 있었다.
(ElasticSearch의 주장에 따르면 아마존이 무단으로 가져다 쓰고 협업을 했다고 하여 소송을 진행하였고 이 후, 라이센스 변경을 했다. 그래서 아마존에서는 다른 오픈소스인 OpenSearch를 활용하여 서비스를 제공하고 있다. )
ELK스택에서 OpenSearch에서 L(logstash)역할은 AWS DMS(Database Migration Service)로 K(Kibana)역할은 OpenSearch Dashboards로 대체되었다.
1. 도메인 입력
2. 개발 및 테스트로 변경
3. 자동 튜닝 비활성화
4. 가용영역 : 1-AZ
인스턴스 유형 : t3.small.search(t3가 범용이고 실제로 사용하는 것과 비슷하기 때문에 사용)
노드 수 - 1(ElasticSearch는 기본적으로 노드를 3개를 넣는 걸 선호)
가용영역 X 노드 수 이기 때문에 일반적으로 사용하는 3 X 3 을 했을 경우 9개를 돌리기 때문에 프리티어를 쉽게 넘어버릴 수 있다.
4. 네트워크 - 퍼블릭
5. 세분화된 엑세스 제어 - 마스터 사용자 생성
(Elastic Service였을 때 마스터 사용자 이름과 암호로 이전에는 작성한 이름과 암호로 Elastic홈페이지에서 접속하였다. -> OpenSearch홈페이지의 이름과 암호를 입력하면된다.)
6. 액세스 정책을 세분화된 액세스 제어만 사용
7. 도메인 등록(등록이 안 될 경우 고급 클러스터 설정에서 최대 절 수에 기본값인 1,024를 입력)
8. 대시보드 URL을 클릭하면 OpenSearch홈페이지로 넘어간다.
9. 넘어가지 않고 이런 오류가 뜰 경우 아래 자료를 참고 했으나
(오류가 나서 하나 수정할 때마다 processing을 다시해 길면 20분이상 기다려야된다. 매 번!,
이 오류 수정하는데 6시간 이상 걸렸다.)
https://catalog.us-east-1.prod.workshops.aws/workshops/60a6ee4e-e32d-42f5-bd9b-4a2f7c135a72/en-US/02-environment-setup/02-4-opensearch-service-security-settings
위와 같은 방법을 시도 했는데 실패했고
https://www.youtube.com/watch?v=1xaJODdnnOk
이 유튜브의 방법대로 다시 만드니 페이지가 넘어갔다.
(하나 하나 설명을 굉장히 자세하게 해주셔서 꼭 보는 걸 추천한다.)
10. OpenSearch홈페이지에서 아까 만든 마스터 사용자 이름과 암호로 로그인을 하고 Add data를 누른다.
11. Private 선택하고 확인
검색만 사용하려고 했는데 연결까진 되었으나 기존 RDS를 사용하지 못하고 AWS DMS(Database Migration Service)를 사용하여 DB를 옴기던가 아니면 DB를 하나 더 사용하여 검색 할 데이터를 넣고 그 데이터를 오픈서치로 찾아 기존 DB에서 가져오는 방식을 사용하여야하여 속도 개선도 되지 않을 듯 보이고 추가적인 비용이 발생할 것 같았다.
plugin install 불가
AWS Elasticsearch은 elasticsearch 7.10 버전을 포크해서 자체 유지 및 개발한 제품이다.
AWS Elasticsearch는 기본적인 사용법이 elasticsearch와 유사하나 앞으로 사용법에 차이가 벌어질 수밖에 없고 elasticsearch의 이후 버전이 적용되어있지 않다.
Elastic Cloud Service가 지원하는 기능들도 사용 불가능하다.
또한 AWS ES는 디폴트로 필요한 플러그인이 이미 설치되어 있고 자체적으로 플러그인을 따로 설치할 수는 없다.
이미 설치되어있는 플러그인들은 여기에서 확인 가능하다.
참고 자료 :
https://hyejikim.tistory.com/82
https://www.youtube.com/watch?v=1xaJODdnnOk
https://www.youtube.com/watch?v=hPc1ecsxRBU
https://velog.io/@eeheaven/ElasticSearch-AWS%EC%97%90%EC%84%9C-%EB%B0%B0%ED%8F%AC%ED%95%98%EA%B8%B0
https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/gsgcreate-domain.html
