huggingface datasets

데이터셋 다루기

• huggingface datasets 사용법
• datasets 사용법_2 wiki

rsync

업로드 예시

💡 rsync -avz --progress --partial --append-verify {path} root@000.000.000.000:{path}

다운로드 예시

💡 rsync -avz --progress --partial --append-verify root@000.000.000.000:{path} .

상세 옵션

-a(archive mode): 디렉토리와 파일을 아카이드 모드로 동기화
-v(vervose): verbose 상세모드로 동작, 복사되는동안 파일과 디렉토리에 대한 정보를 출력
-z(compress): 전송중 데이터를 압축합니다.
--progress: show progress during transfer
--append-verify: --append w/old data in file checksum