Serial Seller Dev Log

Seral_Seller(연쇄할인마)는 지인의 추천으로 지어낸 이름이다. 개발 공부를 2어달 가량 하고 내가 할 줄 아는것과, 할 수 있는것 그리고 찾아서 해야 하는것이 조금씩 보이기 시작했다. 비로소 나만의 프로젝트를 시작할 가장 밑준비가 된 셈이다. 첫 개발은 너무 어렵지 않고, 내 흥미를 돋울만한 주제로 선정했다. 리타이어를 막기 위함이다. Seri...

어제는 아주 단순한 코드의 수정으로 머릴 싸맸다. 하지만 대게 내 문제는 지나보면 정말 별거 아니여서 허탈할 정도이니 딱히 억울하진 않다. 현재 연쇄할인마의 진행상태는 구글링해서 찾아온 잘만들어진 navbar 를 만들어 두었고. python으로 스팀의 할인목록페이지를 파싱해온 후 db에 저장하는 post api, 그리고 그 db에서 따오는 get api까...

드디어 로컬주소를 퍼블릭주소화 하는데 성공했다. 미뤄졌던 AWS가입도 진행하였고, 미리 살짝 봐둔 SSH가 조금이나마 도움이 됏다. 사실 일방적인 지인의 지시대로 한것 뿐이지만, 이제 어디서든 접속할 수 있게 되었다는게 감개가 무량할 따름이다. putty에서 flask를 실행하는 절차는 정말 1할도 이해하지 못한 채, 명령대로 움직였다. 개발자의 기본소...

어제 cron 시도는 실패로 돌아갔다. 정확히 말하자면 해볼 엄두가 나지 않았다. 아직 햇병아리에게 쿡북이니 레시피니 스택같은 것들은 이해하기 너무 힘들었고, 가장 무서웠던건 자칫 잘못 손대어 돌이킬 수 없는 오류가 발생하는것이다. 그렇다고 손놓고 있을 순 없다. 지인이 알려준 방법은 db에 예시 데이터를 넣어두고 그거로 나머지 작업을 진행하라는 것이다....

저번 일지를 적은뒤 시간이 조금 흘렀다. ubuntu에 mongodb를 설치해야 정상적으로 데이터베이스를 사용할 수 있기에 여러방면으로 시도를 해본 나날이였다. 첫 관건은 sudo 명령어를 windows에서 실행하는 것이였다. linux명령어 sudo는 당연히 실행되지 않았고, 여러 검색을 통해 package manger라는 걸 찾아낼 수 있었다. wi...

드디어 ubuntu에 mongodb를 설치하는데에 성공했다. 스승의 도움이 컸다. 왜 검색 결과를 putty에 입력해본단 생각을 하지못햇던걸까. sudo명령어는 linux 명령어이니 windows 터미널에선 당연히 구동이 안되는것이엿고, 간단히 putty에 구글링한 결과를 그대로 타이핑하니 성공적으로 mongodb는 설치되었다. 이제 남은 큰산은 cro...

어제는 많은 진전이 있던 날이다. 지지부진하던 프로젝트에 나름 큰 발걸음이였다. 파싱에도 익숙해져 유플레이의 파싱페이지의 오류를 수정하고, 에픽스토어의 파싱도 마무리했다. 큰 성과라 하면 페이지네이션된 페이지를 복수파싱하는 방법을 알게 되었다. 위는 스팀의 파싱페이지이다. wholesource는 크롤링할 페이지의 합산을 변수로 지정한것이다. for문을 사...

스팀과 유플레이, 에픽스토어는 양반이였다. 험블번들의 크롤링작업은 지옥이였다. 아직 크롤링해올 페이지가 해온것보다 많이 남은 이유로 어제도 서둘러서 험블번들의 작업을 진행하려 했다. 저번의 페이지네이션 페이지 크롤링 방법을 통해 진행하려던 중 , whole_source의 코드가 페이지의 개발자도구에서 보는 코드와 다르다는 걸 알게되었다. 처음엔 잘못봤나...

아직 작은 언덕이 남았지만, 드디어 크롤링작업이 완료됐다. 현재 5개의 공식플랫폼과 2개의 리셀러사이트를 크롤링했다. 작은 언덕은 리셀러사이트중 다이렉트게임즈가 한국서비스 사이트라 일부 가져오고싶은 정보고 한글깨짐 현상이 나타나는 것이다. 살짝 찾아보니 인코딩을 거치면 해결할 수 있어보인다. 사실 3개의 리셀러사이트를 추가로 더 완료해야하지만, 스승의 일...

1. Day before 할인율 계산 코드를 완성시켰다. 문자형에서 실수형으로의 변환에서 약간 마찰이 있었지만, 내가 크롤링한 사이트가 전부 소수점 첫째자리 반올림임을 알게됬다. 이를 바탕으로 할인율이 명시되지 않았던 험블번들의 할인율도 계산해 저장할수 있게 되었다. 사실은 클라이언트에서 계산을 할 예정이었지만 스승이 ‘이용자가 늘어날수록 클라이언트에서 ...

\

어제 나름 작업의 진전이 있는듯 했다. 문제는 전혀 예상치 못한 곳에서 발생한다. 기준별 분류 로직을 만드는 코딩에 대한 질문을 올리자, 어제 했던 모든 작업에 대한 의구심이 들면서 비로소 내가 잘못된 방향으로 접근하고 있음을 알았다. 만약 지금과 같은 방식으로 진행한다면 모든페이지에 중복된 코드를 넣어야 하고, 그만큼 불필요한 소모가 늘어나게 된다. 다...

데이터를 분류해서 보여주는 작업이 난항이다. 코드도 제법 상세하게 받고, 나름 이것저것 뒤져서 공부도 했는데도 감이 잘 안잡힌다. 로직은 알겠는데 그 로직을 수행하는 상세한 코드를 짜는 부분에서 막히는듯 하다. 첫 프로젝트이고. 개발을 배운지 3개월 남짓 된 완전 초짜 개발자이니 이런 시련이 있을거라곤 쉽게 예상이 됐는데 괜히 좌절감에 휩싸이고 만다. 너...

드디어 querystring값을 전달해주는 데에 성공했다. form을 쓰니까 아주 간단히 해결되었다. 별거 아닌 거로 호들갑이라 할수 잇겠지만, 뭐든 처음인 나에겐 form이란 것을 찾는것부터가 난관이었다. querystring도, parameter도 생소한 것이였기에 검색의 시작점을 찾는게 고역이었다. 고사하고, 이제 연쇄할인마는 플랫폼별, 분류별, 정...

api도 쿼리스트링으로 분류하는데에 성공했고, db에 insert가 안되는 현상도 수정했다. 로컬에서 임시로 table을 만들어 플랫폼별로 알맞게 필터링된 api를 불러오는 것도 성공했다. 하지만 문제는 서버에서였다. 첫 프로젝트라 미숙했던 걸까, 안일했던 걸까. 로컬에서 되는게 서버에선 안될리 없다고 생각했다. 해보지 않고 갖는 확신이란 얼마나 위험한가...

그간 많은일이 있었다. 내 잘못된 판단으로 로컬과 서버에서 mongodb를 삭제했고, 다시 서버에만 mongodb를 설치했다. 하지만 이과정에서 로컬환경과 서버환경이 같은 층위를 가진 다른환경임을 확실히 이해했다. 또 로컬에서 서버db로 연결하는데에 성공하였으며, 포트에대해 좀더 공부할 수 있었고, ubuntu가 무엇인지 알게되었다. 인스턴스와 클래스에 ...

저번 개발일지로부터 얼추 시간이 흘렀다. 그동안 프로젝트는 조금씩이지만 착실히 진전을 보여왔다. 그토록 머리를 쥐어뜯게 했던 페이지네이션도 허망할만큼 쉽게 완성되었고, 필터링해 정렬해주는것도 완성했다. 검색기능과 검색어 자동완성도 완성되었다. 이제 기능적으론 비동기 cron으로 데이터를 주기적으로 최신화해주는것과, flask와 mongoDB를 django...