AWS Logstash 포트 문제

AWS

목록 보기
3/16

스파르타 코딩클럽 AWS클라우드 배포환경 구축 기초 Training 3회차 - 3주차 강의 진행 중 발생한 문제 입니다.

@application.route('/')
def main():
    python_logger.info('main')
    return "핵심 쏙쏙 AWS"  // 메인에 접속하면 log를 한번 찍어줌, 로그 찍어야 logstash로 로그를 남김.

python_logger.info(file.filename)
    return jsonify({'result': 'success'}) // 위에 코드 말고도, 파일에 올려서 파일명을 로깅. -> 파일명으로 검색가능
kibana -> 왼쪽 메뉴에 stack management -> index patterns -> log 나와있음. discover로 전체적으로 볼 수있음.

→ 이 부분에서 오류가 남.

→ 이름설정을 어떻게 해야하나 해서 이것저것 해본 결과

1) Incloude system and hiddent indices 를 누르면 밑에 뜨는 이름들이 있다.

→ 처음에는 opensearch_dashboards_sample_data_logs 밖에 없었다.. 강의내용과 다르게 index pattern에 진입하면 일단 샘플을 만들어보라고 팝업창이 떠서 그대로 만들었기 때문이였던 듯.

2) 뭘 해야할지 모르겠어서 일단, .kibana_1 index로 설정해서 진입.

→ 유일하게 discovery에 반응이 있지만, 답은 아니다....심지어 time field: update_at 으로 할 때만 반응이 있다.


↑ 처음에 open research 1.2 버전으로 5044포트에 연결했을 때, open research dashboard - index pattern 에서 보인 모습

이거 문제점이 log가 안뜨는게 아니라 logstash 가 문제라는 것을 알았다.

전 단계에 netstat -tnlp 했을 때 첫번째 시도에서 5044번 포트가 안나와서 두번째에 es를 다시만들어서 시도했을 땐 5044번 포트가 나와서 성공한 줄 알았는데,

다른 분들이 계속해서 5044번 포트가 안나오는 것에 궁금증이 생겨서 나도 다시 시도해봤더니....

같은 base인데도 계속해서 5044번이 안나오더라.

그래서 결국 우리팀 팀원분이

cat /var/log/logstash/logstash-plain.log | grep ERROR

이 코드를 터미널에 입력해보라고 하셨는데,

버전이... 안맞댄다........

결국, 첫번째와 두번째로 만들었던 버전 OpenSearch 1.2 최신버전을 사용하지않고,

Elasticsearch 7.10버전으로 생성하는 방법을 시도해보기로 했다.

이대로 했더니 5044포트에는 정상적으로 연결 되었으나,,
kibana url - stack management - index patterns 에서는 .. log가 안찍힌다!!!!!!왤까!!!!!!!!!!

아래에는 log때문에 시도해본 방법들

rds - vpc보안그룹 - 편집 인바운드, 아웃바운드 5044 포트 추가
s3 - 권한편집, 버킷버전관리 활성화,
eb - ec2통해서 보안그룹에 포트추가 인바운드, 아웃바운드
ec2 - 보안그룹 모두 5044 추가
es
cloudfront
github에 backend, frontend 파일 다시 push.

→ 결국 다 해본 것 같은데... 왜 안되는 지 정말 모르겠다 ㅠㅠ

다음에 여유있을 때 처음부터 다시 만들어 보는 것도 좋겠다...ㅜ^ㅜ

profile
백엔드를 공부하고 있습니다.

0개의 댓글