9/8 Today I Learned -1

boks·2024년 9월 8일

AI 모델 개발자 부트 캠프

목록 보기

65/66

한국인 얼굴 합성을 위한 발화 모습 이미지
https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=71427
EST 공유 데이터에 없는 놀람, 무표정, 혐오, 두려움의 감정표현이 담긴 얼굴을 이미지 데이터를 다운하여 사용
목표 : EST공유데이터(약 8,000개) + AIhub데이터(약 8,000개) + UTK(약 4,000개) 로 20,000개의 데이터셋 구축
사용 : 성별분류 모델, 나이분류 모델, 인종분류 모델, 감정분류 모델

분할 압축된 파일(.zip.part) 파일 열기
WSL, Ubuntu 설치하여서 Ubuntu에서 명령어를 실행하여 분할압축된 파일을 zip파일로 만듦(분할 압축 파일들이 모여있는 디렉토리 경로를 입력하여서 압축을 시도)

-> zip파일은 생성되었지만, 3개의 파일이 에러가 나서 압축되지 않았다. 따라서 zip파일을 푸는 zipfile모듈을 사용하는데 오류가 났다. (BadZipFile: File is not a zip file)
-> 잘 안되서 오류가난 파일을 수동으로 열어봤다. 그런데 아예 열리지 않았다. 그래서 원래 각각의 분할 파일을 담고있던 압축파일인 download.tar을 실행하여서 다시 받으려 했다. 그런데 download.tar도 손상되었다고 열리지 않았다. 이때 뭔가 잘못되었음을 깨달았다. 처음시작할때 어제 바꿨었던 디렉토리 구조가 바뀌어있지 않이사 이상하다고 느꼈는데 이유를 알았다. 그래서 다시 처음부터 파일을 받았다. 하지만 라벨파일을 담고있던 zip 파일은 문제 없다는 것을 확인. 압축을 풀렸던 수많은 라벨파일은 분명 문제가 생겼을 것 같아서 지우고, 다시 압축을 풀었다.
라벨파일 Ubuntu에서 압축 풀기
이것도 분할파일이지만, part0하나 뿐이기에 바로 쉽게 추출할 수 있으나, Ubuntu에서 시도해봤다.

분할 압축된 파일은 보통 반디집이나, 7-zip으로 해결되지만, 안되는 경우 리눅스를 이용하여서 해결할 수 있다. 보통 part0, part1, part2....이렇게 순서대로 있으면 상관이 없지만, 순서대로 없다면 문제가 생긴다.
WSL, Ubuntu 설치 방법
PowerShell을 관리자 권한으로 실행
명령어 : wsl --install 설치 후 재부팅
Microsoft Store에서 Ubuntu를 검색하고 설치하고 실행

WSL 및 Ubuntu 설치 및 실행에 오류
나의 데스크탑에서는 Microsoft Store앱을 실행하면 인터넷이 연결이 안되었다고 계속 오류메세지가 나온다. 물론 인터넷이 잘 연결되어있었지만, 어떤 오류로 실행이 안되었다. 여러방면으로 알아보다, 컴퓨터가 윈도우 11에 문제가 있는것을 발견하였다. 그래서 빠르게 노트북으로 작동을해보니 문제없이 돌아갔다...
결국 노트북에서 Ubuntu를 실행하여 zip파일을 추출하였다.
분할 압축된 파일들을 아무리 반디집이나, 7-zip으로 해도 풀리지가 않았다. 그래서 결국 리눅스를 통해서 해결하였다.
이전 작업에서 시스템이 종료되기 전에 SSD를 분리하여서 많은 파일이 손상이 되었다. 그런데 분할된 파일을 압축을 풀려고하는데 원래도 손상이 났다고 메세지가 떠서, 진짜 경로나 파일에 손상이 간 것을 늦게 알았다. 악재가 많이 겹쳤다.. 다시 처음부터 320기가파일을 받아서 했다.