如何在 golang 中对谷歌云存储进行单元测试？

Question

我正在用 Go 编写一个使用Google 云存储的 appengine 应用程序。

例如，我的“阅读”代码如下所示：

client, err := storage.NewClient(ctx)
if err != nil {
    return nil, err
}
defer func() {
    if err := client.Close(); err != nil {
        panic(err)
    }
}()
r, err := client.Bucket(BucketName).Object(id).NewReader(ctx)
if err != nil {
    return nil, err
}
defer r.Close()
return ioutil.ReadAll(r)

... 其中ctx是来自 appengine 的上下文。

当我在单元测试中运行这段代码（使用aetest ）时，它实际上将请求发送到我的云存储； 我想密封地运行它，类似于aetest允许虚假数据存储调用的方式。

（可能相关的问题，但它涉及 python，链接的github 问题表明它以特定于 python 的方式解决）。

我该怎么做？

Answer 1

此处还建议的一种方法是允许您的 GCS 客户端在单元测试时将其下载器替换为存根。 首先，定义一个与您使用 Google Cloud Storage 库的方式相匹配的接口，然后在您的单元测试中使用假数据重新实现它。

像这样的东西：

type StorageClient interface {
  Bucket(string) Bucket  // ... and so on, matching the Google library
}

type Storage struct {
  client StorageClient
}

// New creates a new Storage client
// This is the function you use in your app
func New() Storage {
  return NewWithClient(&realGoogleClient{}) // provide real implementation here as argument
}

// NewWithClient creates a new Storage client with a custom implementation
// This is the function you use in your unit tests
func NewWithClient(client StorageClient) {
  return Storage{
    client: client,
  }
}

它可以是很多样板来模拟整个第三方的API，所以也许你就可以通过生成一些与嘲笑，使其更容易golang /模拟或嘲弄。

Answer 2

Python 开发服务器上的 Cloud Storage 使用带有 Blobstore 服务的本地文件进行模拟，这就是将 Blobstore 存根与测试床（也是 Python 特定的）一起使用的解决方案起作用的原因。 但是，在 Go 运行时上没有针对 Cloud Storage 的此类本地模拟。

正如 Sachin 所建议的那样，对 Cloud Storage 进行单元测试的方法是使用模拟。 这是它在内部和其他运行时（例如node ）上完成的方式。

Answer 3

我做过这样的事情......

由于存储客户httptest在发送 HTTPS 请求，所以我使用httptest了 HTTPS 服务器

func Test_StorageClient(t *testing.T) {
    tests := []struct {
        name        string
        mockHandler func() http.Handler
        wantErr     bool
    }{
        {
            name: "test1",
            mockHandler: func() http.Handler {
                return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
                    w.Write([]byte("22\n96\n120\n"))
                    return
                })
            },
            wantErr: false,
        },
        {
            name: "test2 ",
            mockHandler: func() http.Handler {
                return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
                    w.WriteHeader(http.StatusNotFound)
                    return
                })
            },
            wantErr: true,
        },
    }
    for _, tt := range tests {
        t.Run(tt.name, func(t *testing.T) {
            serv := httptest.NewTLSServer(tt.mockHandler())
            httpclient := http.Client{
                Transport: &http.Transport{
                    TLSClientConfig: &tls.Config{
                        InsecureSkipVerify: true,
                    },
                },
            }
            client, _ := storage.NewClient(context.Background(), option.WithEndpoint(serv.URL), option.WithoutAuthentication(), option.WithHTTPClient(&httpclient))
            got, err := readFileFromGCS(client)
            if (err != nil) != tt.wantErr {
                t.Errorf("error = %v, wantErr %v", err, tt.wantErr)
                return
            }
        })
    }
}

Answer 4

我建议您尽可能减少模拟，您可能需要使用密封方法使其几乎与真实事物相似。https://testing.googleblog.com/2012/10/hermetic-servers.html