如何檢查上傳到 azure blob 存儲中的 csv 文件中的記錄計數？

Question

所以我將一個 2gb csv 文件上傳到我的 BLOB 存儲，我想要這個文件的記錄計數（行數），以便我可以在它加載到 ADW 后進行驗證。 有什么方法可以在 azure 中獲得記錄數（如列數）。

提前致謝

Answer 1

Azure Blob 與本地文件不同：您必須將 Blob 下載（或流式傳輸）到可通過文件運行的內容，以執行您嘗試執行的任何計算。

或者，您可以將 blob 存儲掛載到 Databricks（Spark 集群）之類的東西，並在那里編寫代碼（相同的基本概念）。

或者...您可以在上傳到 Blob 存儲之前（或期間）進行記錄計數。

最終，您如何執行此計數完全取決於您。 Blob 存儲只是大容量存儲，對文件格式一無所知。