구글 클라우드 계정만들고 버킷을 연결해야 TPU 파일 데이터 가져와서 모델 학습 시킬 수 있었다.
구글 클라우드 계정 생성한다
https://console.cloud.google.com/welcome?project=adroit-bonsai-341501
계정 생성 후 왼쪽 상단 가로막대기 3개 있는 걸 누르고 Cloud Storage에 있는 버킷에 들어간다
만드는 방법에 대한 블로그 첨부
https://brunch.co.kr/@topasvga/785
그리고 구성에 들어가서 gsutil URI를 확인한다.
gsutil URI을 가지고 연결하면 된다.
from google.colab import auth
auth.authenticate_user()
try:
tpu = tf.distribute.cluster_resolver.TPUClusterResolver()
print('Device:', tpu.master())
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
strategy = tf.distribute.experimental.TPUStrategy(tpu)
except:
strategy = tf.distribute.get_strategy()
print('Number of replicas', strategy.num_replicas_in_sync)
Autotune = tf.data.experimental.AUTOTUNE
print(tf.__version__)
GCS_PATH = "gsutil URI"
AUTOTUNE = tf.data.experimental.AUTOTUNE
파일 경로 = tf.io.gfile.glob(str(GCS_PATH + '/폴더/*.tfrec'))
# 파일 갯수 확인
print('TFRecord Files:', len(파일 경로))