如何將Stackdriver日志導入BigQuery

Question

是否可以將日志從應用程序引擎加載到Google Cloud Platform上的BigQuery中？

我正在嘗試使用聯合查詢在Cloud Storage中加載Stackdriver日志文件。 但是，BigQuery無法加載Stackdriver編寫的某些字段名稱。

日志文件是用換行符分隔的JSON，其記錄類似於

{  
   "insertId":"j594356785jpk",
   "labels":{  
      "appengine.googleapis.com/instance_name":"aef-my-instance-20180204t220251-x59f",
      "compute.googleapis.com/resource_id":"99999999999999999",
      "compute.googleapis.com/resource_name":"c3453465db",
      "compute.googleapis.com/zone":"us-central1-f"
   },
   "logName":"projects/my-project/logs/appengine.googleapis.com%2Fstdout",
   "receiveTimestamp":"2018-02-08T02:59:59.972739505Z",
   "resource":{  
      "labels":{  
         "module_id":"my-instance",
         "project_id":"my-project",
         "version_id":"20180204t220251"
      },
      "type":"gae_app"
   },
   "textPayload":"{\"json\":\"blob\"}\n",
   "timestamp":"2018-02-08T02:59:54Z"
}

但是BigQuery在此輸入上返回錯誤： query: Invalid field name "compute.googleapis.com/zone". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 128 characters long. query: Invalid field name "compute.googleapis.com/zone". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 128 characters long.

有什么方法可以將這種日志提取到BigQuery中嗎？

我對僅提取textPayload字段特別感興趣。

Answer 1

您可以將Stackdriver日志導出到BigQuery

在Google Cloud Platform控制台中， 堆棧驅動程序日志 >> 導出 >> 創建導出 。 創建一個過濾器resource.type="gae_app"並填充右側的接收器名稱 ，然后選擇BigQuery作為接收器服務，然后選擇要從接收器目的地導出到的數據集。 https://console.cloud.google.com/logs/exports

參考： https : //cloud.google.com/logging/docs/export/configure_export_v2#dest-create