如何检查上传到 azure blob 存储中的 csv 文件中的记录计数？

Question

所以我将一个 2gb csv 文件上传到我的 BLOB 存储，我想要这个文件的记录计数（行数），以便我可以在它加载到 ADW 后进行验证。 有什么方法可以在 azure 中获得记录数（如列数）。

提前致谢

Answer 1

Azure Blob 与本地文件不同：您必须将 Blob 下载（或流式传输）到可通过文件运行的内容，以执行您尝试执行的任何计算。

或者，您可以将 blob 存储挂载到 Databricks（Spark 集群）之类的东西，并在那里编写代码（相同的基本概念）。

或者...您可以在上传到 Blob 存储之前（或期间）进行记录计数。

最终，您如何执行此计数完全取决于您。 Blob 存储只是大容量存储，对文件格式一无所知。