😀Final project Day-5

요약

위치 정보 json을 api gateway를 이용해서 aws opensearch까지 전송 완료

오늘 한 일

1. Api Gateway에서 Kinesis Data Stream로 데이터 전송

Day-4에서 Api Gateway로 데이터를 전송하는 과정에서 헤매고 있었다. 결국 오늘 그 문제를 해결했다.
어제는 데이터 전송 템플릿을 하나하나 작성 하려고 했다. 하지만 데이터를 전송하는 부분은 정말 간단히 작성할 수 있었다.

//매핑 템플릿
{
    "StreamName": "api-gateway-kinesis-proxy",
    "Data": "$util.base64Encode($input.body)",
    "PartitionKey": "$context.requestId"
}

어제는 Data에 들어갈 요소를 밖에다 빼서 하나하나 작성을 한게 원인이었다...

2. OpenSearch Dashboard에서 보안 설정

Security 메뉴에서 Kinesis Firehose의 permissions 역할 arn을 추가해야 Opensearch에 데이터가 추가 된다.

3. 오픈search에 제이슨 데이터를 넣을 때

요청 바디에 개행(줄 바꿈)을 사용하지 않고 데이터를 추가해야 한다.

{
    "truckerId": "588866",
    "@timestamp_utc": "2022-05-17T08:02:55.567Z",
    "location": {
      "lat": 37.3044668,
      "lon": 127.0422522
    }
}

이 json 파일을

{"truckerId": "588866", "@timestamp_utc": "2022-05-17T08:02:55.567Z", "location": {"lat": 37.3044668, "lon": 127.0422522}}

이런 형식으로 바꾸어야 한다.

배운 점

• 모르는 것을 시도할 때는 정말 어렵지만 하고나면 허무할 정도로 간단한 것이 IT업계에서는 자주 일어나는 일 인것 같다. 내가 아직 부족해서 그렇게 느끼는 것 일수도 있다. ㅎㅎ

내일 할 일

• Opensearch에 있는 데이터를 웹소켓을 이용해서 연동하는 것이 내일의 목표이다.
• 구현에 성공한 인프라들은 테라폼을 이용해서 문서화하여 비용을 아낄수 있도록 하는것
• 모르는 것을 물어보는 연습을 더 해야할 것 같다. 모르는 문제들을 나 스스로 해결하려고 노력은 하지만 도무지 답이 안나올 때 내가 뭘 모르는지 정확히 파악하고 질문하는 연습이 필요한 것 같다.

마무리

하루하루 정말 많은 구글링과 삽질을 하는데 답을 찾고보면 허무한 일들이 많았다. 내일은 신중한 구글링과 차분한 시도들을 해야겠다. ㅠ