profile
일단 해보자 !

Ngrok

2024년 9월 9일
·
0개의 댓글
·

deepspeed Learning Rate Scheduler list

LR Scheduler

2024년 7월 5일
·
0개의 댓글
·

jupyter kernel

ipykernel 설치가상환경 생성가상환경 시작커널 추가

2023년 11월 23일
·
0개의 댓글
·
post-thumbnail

CLOVA X 리뷰

3일을 기다려 CLOVA X의 대기가 끝났습니다.리뷰 해봅시다.전형적인 요즘 chat 사이트 모습입니다.무난합니다.P의 거짓이란 게임이 있는데 할루시네이션이 벌써 보입니다.다시 올바른 질문을 하니 링크도 제대로 주고 그럴듯 합니다.최근 공개된 마스크걸에 대한 최신 정보

2023년 8월 29일
·
0개의 댓글
·

git bash conda activate

miniconda anaconda

2023년 8월 9일
·
1개의 댓글
·
post-thumbnail

문서 생성요약기를 만들어보자(with BART Huggingface)

Huggingface🤗 Trainer를 활용하여 BART 한글 문서 생성 요약 Finetune 해보기최대한 default 값 없이 재현하고 싶어서 작성한 BART Huggingface Fine tuning 코드image2 rows val_dataset으로 측정했기 때

2023년 2월 7일
·
0개의 댓글
·

Dacon 성균관대 문장 유형 분류 AI 경진대회 1등

image문장 유형 분류 AI 모델 개발언어가 사용되는 모든 영역에서 폭넓게 활용될 수 있는 문장 유형 분류 AI 모델을 개발해 주세요.문장을 입력으로 받아 문장의 '유형', '시제', '극성', '확실성'을 AI 분류 모델 생성주최: 성균관대학교주관: 데이콘일반인,

2023년 1월 18일
·
0개의 댓글
·
post-thumbnail

For HuggingFace Custom CosineAnnealingWarmUpRestarts

Huggingface Custom Trainer 작성중에 lr을 정하기 위해 scheduler를 확인 중이었는데 좋은 블로그가 나와서 사용해보았습니다. 그런데 추천하신 스케쥴러가 custom으로 작성하신 코드였는데 Huggingfcace에 적용해보니 에러가 나와서 수정

2022년 12월 16일
·
0개의 댓글
·
post-thumbnail

청와대 국민청원(청무위키) 데이터 덤프를 떠보자

문재인 전 대통령 청와대 국민청원 데이터 청와대 기록실을 통한 덤프python lxml 기반으로 작성하였으며, 병렬 크롤링을 위해 ray를 활용하여 데이터를 수집하였습니다.본인의 컴퓨터 스펙에 맞게 파라미터를 수정해주세요.데이터 분석을 위해 전처리는 최소로 작성하였습니

2022년 12월 7일
·
0개의 댓글
·
post-thumbnail

Sagemaker 빌트인 모델 서빙 패턴

딥러닝 모델을 만들고 효율적인 AI/ML 프로세스를 위해 Sagemaker로 Pipeline을 작성했다면 만들어진 모델을 이용해 실제 서비스에 적용해야 합니다. 이때, Sagemaker에서 크게 4가지의 빌트인 모델 서빙 패턴을 제공해주는데 프로젝트에 맞는 서빙 패턴을

2022년 10월 17일
·
0개의 댓글
·
post-thumbnail

Yolov5 모델을 BentoML을 이용해 Serving 해보자

사내에서 병원의 마약 이미지를 이용하여 마약을 분류하는 모델을 개발하였습니다.이 모델은 Yolov5를 이용해 개발하였고 pytorch 기반으로 작성하였습니다.실제 배포방식을 고민하며 flask보다 API Serving이 좋다고 소문나있는 BentoML에 얹는 방법을 공

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

Sagemaker MLOps Pipeline with HuggingFace

Your custom Huggingface model for MLOps pipeline in sagemaker.Preprocess dockerfileInference dockerfile(cpu or cuda) sagemaker-pytorch-inference-toolk

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

아무도 안알려주는 on-premise Kubeflow 구축해보자(with cuda)

회사에서 모델을 개발하니 Production을 해야하고 이를 실제 배포까지 진행한다면 많은 단계를 거쳐야하고 모니터링 및 복구가 가능해야 합니다.이에따라 MLOps가 필요해졌고 고객요구에 따라 Sagemaker를 활용하여 MLOps를 구축하게 되었습니다.사실 MLOps

2022년 7월 26일
·
0개의 댓글
·
post-thumbnail

UnicodeDecodeError (Sagemaker, HuggingFace)

When the load the checkpoint in Sagemaker that maked in huggingface(transformer) of other os(windows, ubuntu),

2022년 5월 25일
·
0개의 댓글
·
post-thumbnail

Mount S3 at Local Docker Container

AWS의 EC2 Docker에 S3를 붙이는 방식과 Local Container에 마운트하는 방식이 좀 달라서 하루종일 삽질..그중 가장 빠르다는 goofys를 이용해 붙이는 방식을 이용하기로 했다..

2022년 5월 23일
·
0개의 댓글
·
post-thumbnail

One Shot 한글 NLP Docker 이미지를 구워보자

pytorch/pytorch, konlpy, mecab, transformers, sklearn, jupyter lab, matplotlibjupyter port 8888name nlpnum_gpu allmount /home/halo/NLP to /root/.jupyt

2022년 5월 19일
·
0개의 댓글
·
post-thumbnail

Sagemaker에서 Mecab을 설치해보자

Sagemaker Terminal에서 진행해야함.

2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

Nvidia driver, cuda, cudnn

nvidia 드라이버 고급 검색cuda toolkit achivecudnn achive

2022년 5월 6일
·
0개의 댓글
·
post-thumbnail

세금안낸놈들 명단을 분석해보자

명단공개자의 일부 또는 전부를 사용하여 특정인의 명예를 훼손할 경우에는 형사상 명예훼손죄로 처벌을 받거나 민사상 손해배상 책임을 질 수 있습니다.고액 상습체납자 명단 공개국세청은 고액 상습체납자 명단을 홈페이지에 개시하여 공개하고 있습니다. 다만, 개인이 이 정보를 통

2022년 3월 27일
·
0개의 댓글
·