LGCNS 5차 멘토링

5차 멘토링에는 중간 발표 내용이 들어갔다.

저희 멘토링에서의 질문으로는 대부분 데이터 이야기가 주로 나왔다.
센서 데이터 값들이 계속 들어올텐데 그 수 많은 데이터를 어떻게 처리를 할건지,
그리고 opensearch로 들어가기전에 elastiCache를 사용했는데 kafka를 사용하면 더
데이터 유실 없이 진행이되는데 redis를 사용한 이유가 있는지에 대해 등
그리고 수많은 데이터를 직접 AI에 집어넣으면 ai의 정확도와 유추가 과부하가 일어나
ai생성이 어려울텐데 어떻게 할건지 등 다양한 질문들이 나왔다.

여기서 생각한 봐로는 수많은 센서값 데이터들이 들어오는데 어떻게 처리를 할건지?
중요한 데이터를 거기서 어떻게 걸러내어 저장을 할건지,
그 걸러낸 데이터를 어떻게 ai에 집어넣어서 예측값을 어떻게 생성할건지등
다양한 주제 관점이 나왔다.

여기서 kafka를 사용하지 않은 이유는 aws kafka의 비용이 많이 든다는 단점이 있었다.
하지만 멘토님의 의견은 ec2로 올려서 kafka를 직접 시행하면 비용이 적게 들어가 이 방법이 더 괜찮지 않았을까 하는 거였다.

그리고 이상탐지 기능등 걸러낼수 있는 데이터를 opensearch가 얼마나 잘 걸러내냐가 주요 관건이 될것 같다는 생각이 들었다.