标签[gzip] 第6页 - 堆栈内存溢出

[英]gz compressed string in XML file

我在 CDATA 部分中有一个带有 gz 压缩字符串的 XML 文件。结果应该是 base64 编码的字符串。反正.. 我尝试像这样解压缩它： tree = ElementTree.parse("MYMGFILE.xml") root = tree.getroot() file = root ...

将 tarball 存档的校验和与原始目录进行比较

[英]Comparing checksums of tarball archive with original directory

我想知道如何在创建后使用原始目录验证 tarball 备份的校验和。例如，如果它是一个 20GB 的大备份，是否可以在不提取它的情况下这样做？例如，一个包含两个文件的目录：获取目录的校验和：生成的目录内容校验和：创建压缩包：目录内容的校验和保持不变。但是在创建存档 ...

循环遍历压缩的 gzip 文件在第二次迭代时抛出“错误 [Errno 2] 没有这样的文件或目录：'part-r-00001.gz'” - Python

[英]Loop through compressed gzip files throws "ERROR [Errno 2] No such file or directory: 'part-r-00001.gz'" at second iteration - Python

我正在循环访问 s3 存储桶中的多个文件。第一次迭代工作得很好，但是一旦跳转到下一次迭代，我就会收到“错误 [Errno 2] 没有这样的文件或目录：'part-r-00001.gz'”。（正确访问了 part-r-00000.gz）我不确定为什么找不到该文件，因为它在存储桶中可用。这是 ...

使用 Python 快速加载 gzip 数据

[英]Load gzip data fast with Python

我有一个大文件（~500 Mo），其中包含这样的字典：此文件保存为 gzip（使用 Python）以优化 memory。现在我查询了很多此文件，因此当我只想获取“data2”时，我需要全部加载并查找 data2，这需要时间加载 & memory.有没有办法只加载我们想要的元素？或者至少加 ...

将 html 压缩为 gzip 而不是 (pk)zip

[英]Compress html as gzip instead of (pk)zip

我正在尝试调整 Python 2.7 例程来为 TSV 文件的电子阅读器创建 SQLite db 字典。所示的例程在第 71-74 行（# compress and save）中创建了一个 html 字符串的 (pk)zip 文件。我希望压缩文件改为 gzip 格式。我对 Python 非常 ...

创建表失败：读取数据时出错，错误消息：输入文件不是 Parquet 格式

[英]Failed to create table: Error while reading data, error message: Input file is not in Parquet format

尝试在 BigQuery *.parquet.gz文件加载为 Parquet 时出现此问题。 Bigquery 不应该识别这是一个压缩的镶木地板文件吗？当我解压缩并将其加载为.parquet时，它可以工作。 ...

尝试使用 gzip 解压缩文件但出现错误：“名称‘d’未定义”

[英]Trying to decompress file with gzip but error: "name 'd' is not defined"

我是生物信息学的新手，我正在尝试解压缩 fastq.gz 文件以将其转换为 .bam（稍后我将尝试使用 DESeq2 分析此转录组数据）。我正处于使用 Jupyter 笔记本解压缩文件的最开始阶段，但无法成功——这是我正在使用的命令行和错误：知道我做错了什么吗？（老实说，它可以是一切）。 ...

解压缩（Gzip）来自 http.client 调用的响应块

[英]Decompressing (Gzip) chunks of response from http.client call

赏金将在 4 小时后到期。此问题的答案有资格获得+50声望赏金。 qwerty希望引起对这个问题的更多关注。我有以下代码用于尝试将来自 http.client.HTTPSConnection 获取请求的响应分块到 API （请注意，响应是gzip 编码的：这总是会给出一个错误，即它not ...

TAR.GZ 文件在 tar.gz 之后显示在“git status”中

[英]TAR.GZ file shows in 'git status' after tar.gz

在 git/Python 中工作... 背景：我有一个解压缩内容的 python 脚本，必须对其进行版本控制，读取该内容并重新压缩该内容以节省空间。每天，当我的“通宵”脚本运行时，它显示所有“.tar.gz”文件都已更改，即使我检查了内容并在许多 .tar.gz 文件中发现没有任何更改。 ...

GZIP 解压结果不同（PHP / Python）

[英]Different result in GZIP decompress (PHP / Python)

我有一个 gzipped 文件，当我在 PHP 中解压缩数据时，它似乎缺少字符。但是，当我在 Python 中执行此操作时，会出现字符。在这种情况下，最后 2 个字符 (']}') 缺失，这使数据成为无效的 JSON。下面两个例子都输出不同的结果； PHP怎么可能不输出完整的数据？我还检 ...

Base 64 和 gzip 命令？

[英]Base 64 and gzip order?

我有一个要压缩的字节数组 - 它通常是先进行 base 64 编码，然后是 gzip 压缩，反之亦然，gzip 压缩和 base64 编码结果？ ...

将压缩的 FlatBuffer 写入文件并从文件读回的问题

[英]Issues with writing compressed FlatBuffer to file and reading back from file

我已经成功地将 FlatBuffer 数据写入文件并可以从文件中读取。但现在我试图在写入文件之前压缩 Flatbuffer 数据。当我尝试从文件中读取压缩数据并解压缩时，它不起作用。任何帮助将不胜感激，因为我是 flatbuffers 和 java 压缩的新手。 ** FlatBuffe ...

将压缩数据序列化为 JSON 会产生比未压缩数据更大的结果

[英]Serialising compressed data to JSON produces a larger outcome than uncompressed

我有一些代码需要一个字符串，如果它高于给定的阈值，它会压缩它。然后将结果序列化为 JSON 并转换为 Azure 服务总线消息对象。问题是压缩后的版本比我未压缩时要大。 // The original Payload. string originalPayload = m.Payload; i ...

Gzip 压缩 - 使用 python gzip 和 js pako 相同输入的不同输出

[英]Gzip compression - different output for the same input using python gzip and js pako

我在 gzip 压缩方面遇到了一些问题。假设我们用 javascript 中的 pako 库压缩字母“a”，如下所示：这将返回以下字节数组：现在，如果我使用这个数组并在 python 中解压缩它，我会得到预期的结果：但是，如果我随后反转该过程并 gzip 在 python 中压 ...

DEFLATE 块头

[英]DEFLATE Block Header

我对 DEFLATE 块的标题有几个问题，特别是关于本节： HLIT、HDIST 和 HCLEN 是否必须分别至少为 257、1 和 4？例如，如果我的未压缩数据仅包含 26 个不同的字节，则将只有 26 个文字/长度代码（假设 LZ77 阶段未插入长度代码/反向引用）。但是，26 - ...

如何解压缩大量 gzip txt 文件并逐个阅读？

[英]How to unzip a lot of gzip txt files and read through each one?

我会使用什么样的循环？我尝试了某种 for 循环，但我无法让我的代码查看每个文件并继续浏览所有文件。我有数百个需要分析的文件。我在某处看到有人使用了这段代码： import glob import gzip ZIPFILES='name.gz' filelist = glob.glob(Z ...

使用 bash 创建包含数据中现有列的子字符串的新列

[英]create new column containing a substring of an existing column in data using bash

我有一个大的 tsv.gz 文件（40GB），我想从现有变量col3中提取一个字符串，将其存储在一个新变量New_var （放在开头）中，并将所有内容保存在新文件中。数据“old_file.tsv.gz”的示例所需数据“new_file.tsv.gz” 我是 bash 的新手，所以我尝试 ...

Pandas to_parquet 使用 gzip 失败

[英]Pandas to_parquet fails with gzip

我对带有compression = 'gzip'选项的pandas pd.to_parquet函数有疑问。 gzip 实用程序无法识别使用此选项创建的文件。我正在使用深度学习基础 AMI（Ubuntu 18.04）版本 53 python 3.6.9、pandas 1.1.5 运行 AWSs e ...

什么时候形成一个新的 DEFLATE 块？

[英]When to form a new DEFLATE block?

使用 DEFLATE 将文件或目录压缩为 zip 文件时，应何时形成新的 DEFLATE 块？此外，由于 DEFLATE 中的最大代码长度为 15 位，所以每当 Huffman 树的深度超过 15 时，是否应该形成一个新块？谢谢！ ...

python gzip.open：zlib.error：解压缩数据时出现错误-3：长度或距离符号过多

[英]python gzip.open: zlib.error: Error -3 while decompressing data: too many length or distance symbols

我想使用gzip.open在 python 中即时解压缩一个巨大的 gz 文件（wikidata json dump latest-all.json.gz ，104GB 压缩）。它工作了一段时间。但是，在读取 3970 万行后，它会产生错误：我进行解压和读取的函数如下所示：完整的错 ...