OpenSearch로 데이터 수집하기

https://docs.opensearch.org/latest/getting-started/ingest-data/

OpenSearch로 데이터를 수집하는 방법에는 여러 가지가 있습니다:

• 개별 문서 수집: 자세한 정보는 "문서 인덱싱"을 참조하세요.
• 여러 문서 일괄 인덱싱: 자세한 정보는 "일괄 인덱싱"을 참조하세요.
• Data Prepper 사용: 다운스트림 분석 및 시각화를 위해 데이터를 풍부하게 만들 수 있는 OpenSearch 서버측 데이터 수집기입니다. 자세한 정보는 "Data Prepper"를 참조하세요.
• 기타 수집 도구 사용: 자세한 정보는 "OpenSearch 도구"를 참조하세요.

일괄 인덱싱

문서를 일괄로 인덱싱하려면 Bulk API를 사용할 수 있습니다. 예를 들어, 여러 문서를 students 인덱스에 인덱싱하려면 다음 요청을 보내세요:

POST _bulk
{ "create": { "_index": "students", "_id": "2" } }
{ "name": "김철수", "gpa": 3.85, "grad_year": 2025 }
{ "create": { "_index": "students", "_id": "3" } }
{ "name": "이영희", "gpa": 3.52, "grad_year": 2024 }

샘플 데이터로 실험하기

OpenSearch는 REST API 요청과 OpenSearch Dashboards 시각화를 실험하는 데 사용할 수 있는 가상의 전자상거래 데이터셋을 제공합니다. 해당 데이터셋과 매핑 파일을 다운로드하여 인덱스를 생성하고 필드 매핑을 정의할 수 있습니다.

샘플 인덱스 생성

다음 단계를 사용하여 샘플 인덱스를 생성하고 문서 필드에 대한 필드 매핑을 정의하세요:

1. ecommerce-field_mappings.json 다운로드: 이 파일은 사용할 샘플 데이터에 대한 매핑을 정의합니다.

   cURL을 사용하려면 다음 요청을 보내세요:

   curl -O https://raw.githubusercontent.com/opensearch-project/documentation-website/3.2/assets/examples/ecommerce-field_mappings.json

   wget을 사용하려면 다음 요청을 보내세요:

   wget https://raw.githubusercontent.com/opensearch-project/documentation-website/3.2/assets/examples/ecommerce-field_mappings.json

2. ecommerce.ndjson 다운로드: 이 파일에는 Bulk API에서 수집할 수 있도록 형식화된 인덱스 데이터가 포함되어 있습니다:

   cURL을 사용하려면 다음 요청을 보내세요:

   curl -O https://raw.githubusercontent.com/opensearch-project/documentation-website/3.2/assets/examples/ecommerce.ndjson

   wget을 사용하려면 다음 요청을 보내세요:

   wget https://raw.githubusercontent.com/opensearch-project/documentation-website/3.2/assets/examples/ecommerce.ndjson

3. 매핑 파일에서 제공된 필드 매핑 정의:

   curl -H "Content-Type: application/json" -X PUT "https://localhost:9200/ecommerce" -ku admin:<커스텀-관리자-비밀번호> --data-binary "@ecommerce-field_mappings.json"

4. Bulk API를 사용하여 문서 업로드:

   curl -H "Content-Type: application/x-ndjson" -X PUT "https://localhost:9200/ecommerce/_bulk" -ku admin:<커스텀-관리자-비밀번호> --data-binary "@ecommerce.ndjson"

데이터 쿼리

Search API를 사용하여 데이터를 쿼리합니다. 다음 쿼리는 customer_first_name이 Sonya인 문서를 검색합니다:

GET ecommerce/_search
{
  "query": {
    "match": {
      "customer_first_name": "Sonya"
    }
  }
}

데이터 시각화

OpenSearch Dashboards를 사용하여 데이터를 시각화하는 방법을 배우려면 "OpenSearch Dashboards 빠른 시작 가이드"를 참조하세요.

추가 읽기

• Data Prepper에 대한 정보는 "Data Prepper"를 참조하세요.
• 수집 도구에 대한 정보는 "OpenSearch 도구"를 참조하세요.
• OpenSearch Dashboards에 대한 정보는 "OpenSearch Dashboards 빠른 시작 가이드"를 참조하세요.
• 일괄 인덱싱에 대한 정보는 "Bulk API"를 참조하세요.

다음 단계

검색 옵션에 대해 알아보려면 "데이터 검색"을 참조하세요.