[회고록/reciper] 3일차 : Stack 크롤링, api문서 통일

katsukichi·2021년 5월 13일

회고록

목록 보기
12/16

사용하다보니까

Stack이라는친구를 우리는 FK로 여러테이블에서 인용하고있다.

근데 stack이라는친구를

하드코딩으로 하나하나 추가하자니 은근히 중복된 데이터도많고

어디서부터 어디까지 넣어야할지도모르겟고

front,back만 나누자니

database , devOps같은것도 따로 분류를해줘야하나 이런생각도들고해서

일단

프로그래머스 api를 크롤링했다.

정확히는 크롤링은아니다..

api를 크롬 네트워크탭에서 캐치해서

node환경에서 교묘하게 웹요청인것처럼 헤드 설정후

데이터 받아와서

a-z까지 받아와서 모든 데이터를 우리 소유의 db에 저장했다.

그런 로직을짯고.

설령 Db를 날리고 초기화하더라도

npm run 을 이용한

다시 셋업할수있게끔 짜놨다.

그쪽에서 ip를 갑자기 막지않는이상 문제는없을거같다.

데이터 내려주는부분에서 즉 stack이라는 db안에서 name을 분석해서

search하는 api를 만들어보려고했다.

"a"를 쿼리로 보내면

a,A 둘다 관계없이

name에서

첫글짜 a이거나
"tiny AWS"이런식으로 띄어쓰기로 구분하면서 앞에글자가 a인경우

이런걸 정규표현식으로 해보려다가

그냥 한글자의경우 맨앞자리만(대소문자구부없이) 검색해서 내려주고

한글자가 넘으면

해당 쿼리를 포함하는 name은 모두 필터해서 내려주는것 까지만 구현했다.

아쉽게도

정규표현식이랑은 아직 친해지기 어려운거같다..

무엇보다 변수로 어떤 값을 받아오고 그값으로 정규표현식을 쓰려고하니까

정규표현식 생성자 타입으로 뭐 만들고하면

생각보다 알고있던거랑 다른것도있고.. 필터하기가 생가보다 어렵다는걸 느꼇다.

두번째는

api문서이다.

api문서가 은근 정리하기 까다로운거같다.

postman의 api문서 정리해주는 기능을 사용함에도 불구하고

잘 관리가 안된다.

내가 어떤기능을 만들면, 바로바로 업데이트를해야한다.

한마디로

내가하나의 api요청 처리를만들면

어떻게요청하는지,

어떤결과가내려오는지

즉시 갱신하고 저장해야한다.

가능하면 notion같은곳에 수정도 해주고싶다..

미리 만들어놓으니까 더 헷갈린다.

이게 최신데이터인지아닌지..

추가로 그거외에도 다만들어진 api요청을 수정하는경우가있다.

수정했을때도 바로바로 확인하고 그 확인한 데이터로 덮어쓰기해서

갱신해줘야한다.

이게 잘되지않는다.

나도 아직 습관의문제인거같다.

잘 생각이 안떠오른다.

그리고막상

나중에 몰아서 하려고하면

하기싫은느낌 ?? 반복작업이라그런가.. 애매하다.

api의 그 세세한 어떤값을 비교하는것이기때문에

(지금의 요청정보/응답정보) api문서상의 요청/응답 정보를 비교해야하니까..

습관을 잘들여야겠다.

profile
front-back / end developer / Let's be an adaptable person

0개의 댓글