[Spring Boot] json 크롤링하기

프로젝트를 진행하면서 백엔드 부분을 맡았는데 외부 API를 가져와서 크롤링한다음 저장한 후에 그 데이터들을 조회, 검색이 가능하게 해야한다

처음하는 부분이 너무 많아서 벨로그에 공부겸 ,, 기록겸,,

1.외부 API 가져오기
2. 조회나 검색시 필요한 데이터만 저장한다. [크롤링] (아마 이역할이 Dto)
3. 걸러진 데이터들로 기능 구현하기.

= 먼저 이 순서로 진행한다.

1.외부 API 가져오기

금감원에서 제공하는 금융 api를 Controller에 받아왔다
/main/java/Project/syuProject/Controller에 ApiController를 생성하였다.

package Project.syuProject.controller;

import lombok.RequiredArgsConstructor;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

//api에서 데이터 확인하려고 만든 RestController

@RequiredArgsConstructor
@RestController

public class ApiController {


    @GetMapping("/api")
    public String callApi() throws IOException{
        StringBuilder result = new StringBuilder();
        StringBuffer reult = new StringBuffer();
        String urlStr =" http://finlife.fss.or.kr/finlifeapi/depositProductsSearch.json?auth=키값&topFinGrpNo=020000&pageNo=1";

        URL url = new URL(urlStr);
        HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
        urlConnection.setRequestMethod("GET");
        BufferedReader br;
        br = new BufferedReader(new InputStreamReader(urlConnection.getInputStream(),"UTF-8"));

        String returnLine;

        while((returnLine = br.readLine()) != null){
            result.append(returnLine+"\n\r");

        }
        urlConnection.disconnect();

        return result.toString();


    }




}

++h2 가 또 테이블 생성을 안해준다.
아니 경로를 ./test 이런식이 아니라
jdbc:h2:tcp://localhost/~/syuProject
이런식으로 해주어야 테이블이 생김;;

2. 조회나 검색시 필요한 데이터만 저장한다.

     1. 금리 API를 호출 (JSON)

     2. 높은 이율 순으로 조회하기

     3. 순서대로 DB에 저장 (JPA)