[TIL] [프로젝트] 크롤한 웹데이터로 만들어보는 웹사이트 (1)

학습내용

---

1. 주제 선정

2. 주제 구체화 및 역할 분담

3. 프로젝트 초기 설정
   
   

1. 주제 선정

---

1. 전국의 약국 정보를 제공하는 openAPI와, 지도API를 활용해 약국의 위치와 운영시간 등을 알려주는 웹서비스

2. 기상청 openAPI를 활용해 지역 별, 시간 별로 기온 및 강수량 분석하는 서비스

3. 정보데이터시스템(KRX)의 정보를 크롤링해 주식 가격의 추이를 시각화하고, 관련 뉴스를 크롤링해서 보여주는 웹서비스

4. 지하철 openAPI를 활용해 지하철의 예정 도착 시간과, 목적지까지의 최적 경로를 알려주는 서비스

5. StackOverflow에서 가장 많이 등장하는 기술 스택을 알아보고, 이와 관련된 채용공고를 openAPI를 사용해 보여주는 웹서비스

   -> 위의 주제들 중, 그동안 배웠던 크롤링 관련 학습 내용을 복습하기 좋고, 크롤링한 데이터를 다양한 방법으로 활용할 수 있는 정보데이터시스템(KRX)의 정보를 크롤링해 주식 가격의 추이를 시각화하고, 관련 뉴스를 크롤링해서 보여주는 웹서비스 를 주제로 선정

2. 주제 구체화 및 역할 분담

---

• 정보데이터시스템(KRX) 웹사이트를 분석해, 이 중 아래의 두 페이지에 대한 크롤러 제작 결정

  1. 주식 > 종목 시세 > 전종목 시세

  2. 주식 > 종목정보 > 전종목 기본정보
     
     

• 5일이라는 짧은 기간으로 인해, 필수적인 기능만을 포함해 우선 완성한 뒤, 시간적 여유가 있을 시 확장
  
  

• 필수 기능

  • 일정 시점(ex. 2021년, 2022년)의 주식 가격과 현재 가격 정보 제공

  • 일정 기간동안의 시세 추이 시각화
    
    

• 크롤러 제작 2명, Django 활용 백엔드 및 시각화 3명으로 역할 분담

  • 이 중, 백엔드 담당

3. 프로젝트 초기 설정

---

• 단순한 기능을 제공하기 때문에 하나의 페이지 내에서 동작하도록 구현(SPA)

• CSV 파일로 데이터를 받아서 처리하기 때문에, admin 은 굳이 활용 X

• 주식 모델

  • id
  • 이름
  • 현재가
  • 날짜 별 가격(ex. 2020, 2021, 2022)
    
    

• 의논점

  • CSV 파일로 넘어올 데이터의 구성

    • 주식명, 현재가, ...
      
      

  • 웹에서 보여줄 결과물, HTML 배치

  • 몇 년치의 주식 가격을 가져오는지?

    • 월 별 or 일 별

    • 연도 별 주식 가격을 DB에 어떤 형식으로 저장?

      ex.

      id	이름	현재가	2020	2021	2022
      1	XX전자	4000	1000	2000	3000

• Github을 활용해 협업하기 위해, .gitignore 파일과 requirements.txt 파일 생성
  • .gitignore
    • https://www.toptal.com/developers/gitignore/
    • 해당 웹사이트에서 Django 프로젝트에 대한 gitignore 파일 생성
      
      
  • requirements.txt

    asgiref==3.6.0
    coverage==7.2.5
    Django==4.2
    djangorestframework==3.14.0
    pytz==2023.3
    sqlparse==0.4.4