使用bigquery分析iis日志

Question

使用bigquery加載和分析IIS日志（ 擴展日志文件格式 ）的任何首選方法/示例嗎？ 我們還需要對其進行自動分區。 我們可以定期獲取日志文件

我們要分析特定功能的使用情況，可以通過特定的URL模式和訪問者通過網站獲得的最受歡迎流量的轉換渠道來確定特定功能的使用情況，從而確定他們進入和離開的地方。 可以使用cookie（存儲在日志中）中的唯一ID來識別訪問者，並且可以將頁面與引薦鏈接（也存儲在日志中）。

提前致謝

Answer 1

將CSV格式的文件加載到BigQuery很容易。 CSV和JSON格式的源數據均受支持。

我不是使用IIS的專家，但是將平面日志數據加載到BigQuery的最快方法是從CSV開始。 IIS日志格式非常簡單，但是您可能需要保存一個步驟並將其導出為CSV。 快速搜索顯示許多人使用LogParser （注意：我自己從未使用過）將IIS日志轉換為CSV。 也許嘗試一下此工具或類似工具。

至於“自動分區”您的BigQuery數據集表-BigQuery不會自動執行此操作，但是為導出的每批IIS日志創建一個新表都相當容易。

根據您要分析的數據量，您應該每天或每小時創建一個新的BigQuery表。

使用BigQuery命令行工具時，在命令行上編寫腳本非常容易。 根據您擁有的日志數據的每個時間片，使用新的表名創建一個新的BigQuery加載作業。

換句話說，您的BigQuery表應如下所示：

mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...

有關更多信息，請確保您已通讀BigQuery文檔以導入數據 。