[Django] Log Spark로 전달

개요

• Django -> Spark -> Zeplin
• Web Service를 사용하는 클라이언트의 Log를 처리할 예정
• 배치처리하여 hdfs에 저장해

Troubleshooting

• Deadline(2022.04.01)이 별로 남지 않았음

해결방안

• 시간이 별로 없어 지금은 Kafka로 처리를 하고 나중에 log처리 방법을 강구
• 차후에 장고 Logging을 사용해 실행을 해볼 예정
• Logging URL

Code

• 클릭을 했을 때, 이에 해당하는 웹페이지의 로그를 Kafka로 전달
  

결과

• 데이터를 Spark로 전달