플레이데이터 부트캠프 회고

이 블로그는 제가 부트캠프를 시작하면서 글을 쓰게된 공간입니다. 언젠간 IT 기술, 개발자 블로그가 될 수 있도록 시간이 지날 때마다 저에 대한 부트캠프 활동에 대한 회고 작성을 시작으로 다양한 후기를 써볼게요.😅 시작은 1주차에 대한 회고로, 강사님이 알려주신

드디어 부트 캠프의 2주차 과정이 끝났습니다. 아직 남은 시간 매우 많지만, 시간이 금방 흐르는 것 같습니다.이번주에는 본격적인 프로그래밍 관련 수업이 시작되었습니다.프로그래밍 언어 중 하나인 'Python'의 기초 문법, 자료형, 함수 등에 대한 학습을 하였습니다.

지난 주차의 내용이 '파이썬의 기초' 였다면, 이번 주차는 '파이썬의 응용' 을 학습하였습니다.

SQL과 파이썬 관련 수업을 들었고, 여러 SQL 쿼리문 실습 예제를 실행하면서 학습하였습니다. 이후 27-28일 이틀동안 여태 배운 내용들로 간단한 팀프로젝트를 실행했고 29일부터 머신러닝-딥러닝 관련 수업을 학습하였습니다.

"파이썬"에 대한 기초 학습 및 여러 모듈을 사용할 수 있는 시간을 보냈었고, 이번주부터 "머신러닝"에 대한 학습을 시작하였습니다. 프로그래밍보다는 이론 학습이 중요해 학습하는데 어려움이 있었지만 중간에 실습 과제를 통해 이해하고 사용하는데 많은 도움이 되었습니다.

이번 주차에서는 "머신러닝, 딥러닝"에 대한 학습이 이뤄졌습니다. 머신러닝 관련에서는 각종 학습 모델들을 학습할 수 있었고, 이후 딥러닝 모델의 구조, 정의 방식 등과 신경망 학습을 이루고 있는 구조 요소들과 다양한 내용들에 대해 알 수 있었습니다.

이번 주차에는 "딥러닝" 학습으로 TensorFlow 모듈을 사용하여 머신러닝과 딥러닝 모델 성능 개선과 과적합 개선을 경험했습니다. 무료 GPU를 활용한 Colab으로 CNN 모델 학습을 진행하며 이미지 데이터 구분에도 성공했습니다.

이번 주차에서는 심화된 "딥러닝"에 대한 학습이 이뤄졌습니다. 다양한 딥러닝 모델에 대한 소개와 실습 코드를 통해 재학습을 하는 과정을 거쳤습니다. 27일은 휴강이었고, 28일은 심한 편도염으로 수업에 불참하였습니다.

지난 주차까지 드디어 길었던 '머신러닝-딥러닝' 수업이 완료되었습니다.이번 주부터는 `Java` 프로그래밍 학습이 시작됩니다. `Python`을 학습하였지만, 웹 기초와 데이터베이스, 서버 등과 같이 백엔드 관련 지식을 위한 기초를 다지는 시간을 가지게 되었습니다.

이번주차에서는 저번주에 이어서 `Java` 학습을 이어 진행했습니다. 단순히 코딩만 하는 것이 아닌, 자바라는 언어의 구조, 실행 원리, 더 나아가 "객체지향 프로그래밍 언어" 의 전반적인 것에 대해 학습하였습니다.

이번 주차부터는 본격적인 "데이터 엔지니어링" 에 대한 학습이 시작되었습니다. 그전까지의 '파이썬', '자바', '머신러닝-딥러닝' 의 학습들이 기초가 되었고 이를 활용해 진행되었습니다.

이번 주차에도 스프링 부트 학습과 함께 웹에 대한 전반적인 내용에 대한 설명을 들으면서 크롤링한 데이터들을 조작하기도 했습니다. 또한 미니 팀 프로젝트 팀이 결성되었고, 수업이 끝나고 남은 자유 시간동안 주제에 관련 회의도 진행했습니다.

이번 주차 월요일을 끝으로 해당 수업은 종료되고, 남은 기간 5일간 미니 팀 프로젝트를 수행했습니다. 따라서, 이번 회고 내용은 프로젝트 관련 회고를 ABCD 기법을 통해 작성하였습니다. 우선, 월요일 수업 내용에 대한 간략한 회고를 우선 진행하겠습니다. Liked

빅데이터를 다루는데 사용되는 시스템 요소들에 대한 학습이 진행될 예정입니다. 앞으로 Hadoop, Hive, Spark 등에 대한 내용을 학습하는데, 이번주는 이들을 다루는 기본 배경이 되는 Linux 와 Docker 의 내용을 학습하였습니다.

Docker(도커) 와 AWS EC2 인스턴스 를 활용해 모델, 백엔드, 프론트 엔드서버를 각각 만들어보는 활동과 함께 데이터 엔지니어링 분야에서 자주 보이는 기술인 Hadoop(하둡) 과 Hive(하이브)에 관한 학습이 진행되었습니다.

Hive 환경과 연결한 DB에서의 다양한 SQL 쿼리문 실습과 짧은 미니 팀 프로젝트를 수행했습니다. 이외에도 리눅스 환경에서 사용하는 sh(쉘 스크립트) 파일 작성하는 등의 학습을 진행했습니다.

airflow를 설치하고 예제 dag.py 파일을 작성한 후 실습하는 과정을 진행했습니다. 또한 Binance - 암호화폐 거래소, 사이트를 크롤링한 데이터와 시계열 라이브러리를 이용해 비트코인 가격 예측을 하는 실습을 각각 진행했습니다.

이번 주차는 Spark(스파크) 학습을 진행했습니다. Kaggle 사이트의 Titanic 데이터를 통해 EDA, 전처리, 모델 학습 과정을 진행했고, 스파크와 Jeju_bus.csv 파일을 학습해 "버스 도착 예정 시간 예측" 하는 모델을 만들었습니다

Github를 기본으로 하여, 깃허브를 어떻게 사용하는 지 협업은 어떻게 진행되는 지 등을 알게 되었습니다. 이 과정에서 다양한 내용들을 학습하게 될 예정이며, 모든 내용들은 깃허브를 활용해 다른 사람들과 공유하고 협업하는 방식으로 진행되었습니다.

이번주의 학습은 "개발자" 보다는 "엔지니어" 로서 완성된 시스템, 웹 페이지 등을 배포하고 그 과정에서 Docker 를 통해 잘 되는 지 테스트하는 과정을 배웠으며, nGrinder을 이용해 성능 테스트까지 학습할 수 있었습니다.

곧 있으면 부트캠프 일정도 다 끝나기 때문에 그동안 배운 내용들을 활용해 파이널 프로젝트를 진행하게 되었습니다. 팀원 총 5명이고 저는 **Tech leader** 역할을 부여 받아 열심히 참여할 예정입니다.

파이널 프로젝트가 시작되면서 주제 선정에 어려움이 있었지만 극복하고 개인 성향 맞춤 뮤지컬 추천 사이트 개발로 방향성을 잡았습니다. 사용자는 뮤지컬을 처음 보는 사람들에게 그들이 여태 봐왔던 미디어 컨텐츠의 성향에 맞추어 뮤지컬을 추천하고 잘 입문할 수 있도록 합니다.

이번 주는 웹 서비스의 추가 기능에 필요한 주요 뮤지컬 예매 사이트의 랭킹 데이터 크롤링을 진행했고, Airflow로 구현하는 것 까지 진행했습니다. 또한 백엔드 개발을 진행했고, 랭킹 데이터를 이용해 페이지 구현과 테이블의 데이터를 받아오는 환경을 만들었습니다.

이번 주는 주로 백엔드 개발과 화면을 만드는데 집중했습니다. 과정에서 어떤 식으로 화면에 보여줄 것이며 이에 따른 필요한 것에 대해 회의를 진행하면서 개발을 했고, 중간에 오류 혹은 부족한 부분을 얘기하면서 다른 팀원들과 협업을 이어 나갔습니다.

부트캠프의 마지막 주차 회고입니다. 그동안 여러 가지의 내용들을 배우고 다양한 사람들과 프로젝트를 하면서 좋은 기억과 배움을 느낄 수 있었습니다. 파이널 프로젝트도 거의 완성되어 만족스러운 상황입니다. 이번 주의 내용 정리를 하고 리뷰를 작성하겠습니다.

그동안의 약 6개월 여정이 끝났습니다. 이 글을 쓰는 것이 늦긴 했지만 여태까지 쓴 회고 글들을 보고 마무리 글을 남기고 싶어 적게 되었습니다.