标签[parquet.net] - 堆栈内存溢出

使用 RLE_DICTIONARY 编码编写 Parquet.Net 文件 - Writing a Parquet.Net file using RLE_DICTIONARY encoding

Parquet.Net规范说我可以用RLE_DICTIONARY编码读写。我正在尝试阅读Parquet.Net的文档和 github 回购代码，但是如何编写我的 DataTable 以使用这种编码？我基于此的演示可在此处找到： Stack Overflow Parquet 尺寸差异问题 ...

将大量数据从 SQL 服务器传输到 parquet 文件中 - Transfering huge amount of data from SQL Server into parquet file

最近，我面临着创建一个进程的任务，该进程从 SQL 服务器数据库中提取数据并将其写入 parquet 文件。我在网上搜索并找到了各种示例，它们将数据加载到 DataTable 中，然后通过 ParquetWriter 将数据写入 parquet 文件。摘自我目前正在测试的代码：鉴于我们正在处理 ...

如何使用 .net 数据表为 parquet.net 创建架构 - How to create schema for parquet.net using the .net data table

我有一个数据表，我想将其转换为镶木地板文件并上传到 blob 存储。但是我没有静态模式，所以我该怎么做？ ...

从 C# 中的 Parquet 文件读取前 100 行 - Read first 100 rows from Parquet file in C#

我有这些巨大的镶木地板文件，存储在一个 blob 中，有超过 60 万行，我想检索前 100 个，以便我可以将它们发送到我的客户端应用程序。这是我现在用于此功能的代码：然而，这个过程有点慢。 await stream.CopyToAsync(memory); 需要 20 秒并且table = p ...

如何在使用 Parquet.net 读取产生的阵列上使用 LINQ？ - How do I use LINQ on array produced by reading with Parquet.net?

我对 C# 没有经验。我需要读取一个 parquet 文件，然后使用 LINQ 来查询从文件中读取的数据。我不知道我是否需要反序列化。以下是parquet文件中的数据正在将数据读入“记录”变量。但是，当我在其上使用 LINQ 时，我收到错误消息，“无法将'Parquet.Data.Dat ...

使用 Parquet.NET 编写 Parquet 文件适用于本地文件，但会导致 Blob 存储中的文件为空 - Writing Parquet files using Parquet.NET works with local file, but results in empty file in blob storage

我们正在使用parquet.net来编写 parquet 文件。我设置了一个包含 3 列和 2 行的简单模式：当使用 FileStream 写入本地文件时，会创建一个文件，当代码完成时，我可以看到文件中有两行（之后为 1 kb）：然而，当我尝试使用它来写入我们的 blob 存储时，只会生成一个 ...