📝Google Colaboratery

📝Google Colaboratery

Googleの提供するデータ分析用のツール. Colabと略される.

up: 📂データサイエンス

Colabにおけるデータ保存まとめ #

  • Google Cloud Storage
  • Google Drive

Google Driveをマウントする #

Google Cloud Storageにデータを保存する #

Google Cloud Storage にデータを保存する場合はgsutilでやり取り.

from google.colab import auth
auth.authenticate_user()

project_id = 'hogehoge'
!gcloud config set project {project_id}

GCSからColabへDownload.

!gsutil cp gs://hogehoge.appspot.com/model.tar .

ColabからGCSへUpload.

!gsutil cp model.tar gs://hogehoge.appspot.com/

💡ColabのRegionとCloud Storageの関係 #

(4.5GBのデータをStorageから頻繁にダウンロードしてたらバカみたいに課金されたので… )

Cloud Storageを利用する場合, 5GB以内ならば保存は無料でかつ大陸内の通信ならば無料. しかし問題は大陸間をまたぐ移動で課金されるということ. (料金| Cloud Storage).

そしてどうもColabはランダムにRegionが選択されるようだ. そこで例えば東京リージョンのCloud StorageにデータをおいておいてColabから利用しようとすると, 節約を考えるならばランダムに割り当てられるのがasiaであるまで 待つしかない(ランタイムガチャ).

Colabがどのregionで稼働しているかは gcping というツールをColab上でたたいてしらべる.

!curl https://storage.googleapis.com/gcping-release/gcping_linux_amd64_latest > gcping && chmod +x gcping
!. /gcping

ランタイムのリセットには2種類ある. ここではFactory Resetと呼ばれるほうを実行する必要がある. ボタン表記的には ツールバーから Runtime > Disconnect and delete runtime(ランタイム > すべてのラインタイムをリセット).

Restrat runtime(ランタイムを再起動)を選択してしまうとregionは変わらないので注意.

ref. 🖊Google Colabのリージョンを調べてCloud Storageからのダウンロード料金を節約する方法 | Futurismo

Google Colab Tips #

いろいろと小技をまとめていく.


Tags