Hadoop 플랫폼에 대한 공부 (1)

우리 회사는 2014년쯤 출시했던 LG CNS의 웹 GUI 기반으로 Hadoop ecosystem 솔루션을 활용하고 있다. 다만 이 솔루션은 21년에 운영/유지/보수 종료가 되었고, 내부에 증설되었던 Hadoop 또한 더 이상의 버전 업데이트 없이, 관리자 없이 현재 위태로운 줄을 타며 연명중이다.

24년에는 Airflow를 활용하거나 타 플랫폼을 활용하여 기존 Hadoop을 드러내고 이관하고자 하지만, 어찌됐든 현재에는 지금 구축된 환경에서의 개발을 진행해야 하기 때문에, 시스템을 고장내지 않고자(?) 그리고 현재 스케줄과 메모리 분산을 최적화 하고자 Hadoop에 대한 공부를 진행하려고 한다.

별도로 참고하는 강의는 없으며 인터넷에 떠도는 교재 2권과 구글링을 활용해 내 지식을 적재해보고자 한다.

아마 글 순서는 하둡에 대한 기본 개념과 실제 구축하는 과정 그리고 하둡 내 Application을 컨트롤 하는 과정, Kafka와 Sqoop 등을 활용해 데이터를 적재하는 과정, 이런 느낌으로 진행될 것 같다.