개요 Apache Arrow Flight RecordBatch RecordBatch는 Apache Arrow에서 데이터를 다루는 가장 핵심적인 단위인 데이터 묶음을 정의한다. 2D Dataset으로 행과 열을 가지는 표 형태인데, Column-oriented이므로

백테스팅 db 데이터

백테스트 시, 시각적으로 전략을 디버깅하기 위해서 웹페이지에 백테스트 결과를 차트에 그려넣으려고 한다. 하나의 응답에 캔들을 포함한 모든 데이터를 포함했다. 속도가 너무 느려서 이를 개선하고자 한다. json으로 직렬화시 필드명의 중복 제거캐시 효율성 증가현재 프로토타

외부에서 홈서버에서 구동중인 db 서버에 접속하기 위해 찾아보다가 Tailscale이라는 vpn을 사용할 수 있다고 한다. TailScale에 접속하여 로그인을 한다.사용하는 플랫폼을 선택하여 설치하면 된다. ssh로 붙어서 설치를 진행하였다.첫 번째 명령어로 설치를

백테스트 엔진을 라이브러리 크레이트로 분리했다. 백테스트 바이너리 크레이트를 워크스페이스 멤버로 생성하여 테스트를 진행하였다. 터미널에서 로그가 길어지면 짤리는 이슈가 있어서 파일로 저장하기로 했다.db를 초기화하고 백테스트 기간을 설정한다. warmup기간도 설정해준

개요

이전에 시리즈로 작성했던 알고리즘 트레이딩이 있었다. 나름 rust를 공부하면서 만들었던 첫 번째 프로젝트엿다. 자동 매매에 관심이 있었기에 시도하려 했지만 결국 자동 매매 봇을 만들지는 못했다.rust에도 익숙해 졌고, 서버 아키텍처를 설계하고 운영할 수 있는 시력도

개요 다시 한번 자동 매매 프로그램을 만들 예정이다. 내용 timescaleDB라는 시계열 전용 데이터베이스를 활용한다. docker로 로컬에 설치를 했다. logging은 tracing 크레이트를 사용했다. 이제는 필수라고 볼 수 있다. 2개의 task를 만들어

개요 개발을 하면서 컴퓨터를 뿌시고 싶었다. 내용 결론

오늘 경마장을 다녀왔다. 지금까지 개발한 내용을 띄워놓고 했는데 영상을 바로 볼 수 있는 기능은 쓸만했다. 그러나 딱히 말을 고르는 데 도움을 주지는 못한 것 같다.경마장에서 아이디어가 떠올라서 곧바로 코딩을 했다. 현재 경주의 거리 성적 비교 ui를 만들어서 한눈에

개요 내용 결론

claude code를 활용해 개발을 하는데 error가 계속 발생하여 직접 해결한 내용이다. rust로 axum framework를 사용하여 api 서버를 만들고 있는데 route 등록 시 위와 같은 괴로운 에러가 발생했다. 클로드 코드가 뱉어준 코드라서 어떻게 내부

경마지 pdf를 통해 파싱 한 데이터를 MongoDB에 저장을 했다. 아직 컨펌된 데이터는 아니지만 전체적인 플로우를 그려나가기 위해 데이터를 가져다가 사용하는 프로젝트를 또 하나 만들었다. 제일 주력으로 사용하는 언어인 rust로 만들었다. 최초에 클로드 코드에게 프

pdf를 원하는 데이터로 파싱해보자 순수 클로드 코드만 활용했고 스킬이나, 추가적인 세팅을 하지않았다. 간략하게 시퀀스 다이어그램으로 표현해보았다. 경마지 pdf를 파싱하고 파싱된 데이터를 db에 저장하는 간단한 구조이다. pdf를 보면 pdf 라이브러리를 사용한다고

asdf

개요 RR(Request and Response)와 eda(event driven architecture) 사이의 trade off를 이해하고 적절히 사용을 해야하는 것 같다. 같은 기능을 RR과 EDA로 모두 구현할 수 있기 때문에 여러 리소스를 비교하고 확장성을 고

개발을 하면서 특정 시간에 자동으로 실행되는 방법이 필요했다. Azure Function을 사용중인데 timer trigger라는 기능이 있어서 어떻게 사용하는지 알아볼 예정이다. visual studio로 Azure Function을 만들어 timer trigger

개요 내용 결론

글로벌하게 이름이 중복되어서는 안되는 경우가 있다. db가 아닌 인 메모리 형식으로 데이터를 가지고 있어야 한다. 데이터를 담아두는 방식에 따라서 중복 검사의 속도가 엄청나게 차이 날 수 있다는 것을 알았다. rust의 Vec과 HashSet을 비교해 볼 예정이다. 1

개요 데이터가 추가될 수 있거나 여러 데이터를 컬럼으로 가져야 할 경우, nvarchar 타입으로 컬럼을 생성하여 json 형식으로 저장하는 것도 하나의 방법이라는 것을 알았다. 유연성이 필요하거나 데이터 구조가 자주 변경될 수 있는 경우에 큰 장점을 가진다고 한다.