如何從 Google Cloud AI Jupyter Notebook(Python) 連接到 Google Cloud Platform Data Storage？

Question

我需要從此位置保存/讀取文件-

bucket name - 'bucket_name'
folder - 'user/test'

我需要知道如何連接到這個位置並讀/寫文件。

Answer 1

這是有關如何從 AI Jupyter Notebook 中的雲存儲讀取文件的完整教程

你也可以按照這個分步教程來讀/寫文件。

import google.datalab.storage as storage
import pandas as pd from io
import BytesIO

def get_bucket(bucket_target):
    shared_bucket = storage.Bucket(str(bucket_name))
   return shared_bucket

def read_file_from_bucket(file_target):
    shared_bucket = get_bucket(bucket_target)
    sample_object = shared_bucket.object(str(file_target)
    sample_text = sample_object.read_stream()
    return sample_text

或者你可以這樣做：

import tensorflow as tf

GCS_PATTERN = 'gs://my_bucket/folder/*.tfrec'
filenames = tf.gfile.Glob(GCS_PATTERN)