cost 134 ms
使用 pickle 在 hdf5 中保存大的稀疏 arrays - Saving large sparse arrays in hdf5 using pickle

在我的代码中,我生成了一个csr格式的大型稀疏列表 arrays。 我想将这些 arrays 存储到文件中。 我最初以这种方式将它们保存到文件中: 然而,通过这种方式,我遇到了 memory 错误,因为我试图立即分配 memory。 因此,不可能保存超过 1000 个这些稀疏 arrays。我已经 ...

h5py 在数据集中只存储 0 - h5py stores only 0s in datasets

我试图将一些值存储在 h5py 文件中,但每次我尝试将矩阵存储在数据集中时,所有矩阵元素都被替换为 0。 这是一个例子我这样创建文件: 然后我读取文件并尝试打印 output output 是 所有的 1 都变成了 0。 我究竟做错了什么? ...

2023-01-10 13:33:00   2   25    python / h5py  
如何在没有memory错误的情况下读取R中的HDF5文件? - How to read HDF5 files in R without the memory error?

目标读取R中一个hdf5文件的data部分。 问题我正在使用rhdf5读取 R 中的 hdf5 文件。在 75 个文件中,它成功读取了 61 个文件。 但是对于文件的 rest,它会抛出一个关于 memory 的错误。 虽然,其中一些文件比已读取的文件短。 我曾尝试在全新的 R session 中 ...

如何用Python读取包含卫星数据的H5文件? - How to read a H5 file containing satellite data in Python?

作为项目的一部分,我正在探索卫星数据,数据以 H5 格式提供。 我是这种格式的新手,无法处理数据。 我能够在名为 Panoply 的软件中打开该文件,发现 DHI 值以一种名为 Geo2D 的格式提供。 无论如何将数据提取为 CSV 格式,如下所示: X 是 GHI X1 Y1 X2 Y ...

如何根据文件名中的日期合并h5数据numpy arrays? - How to combine h5 data numpy arrays based on date in filename?

我有数百个 .h5 文件,文件名中有日期(例如 ..20221017...)。 对于每个文件,我都将一些参数提取到格式为 numpy 的数组中 代表感兴趣的数据。 我想按月对数据进行分组,所以我没有(例如)30 个 arrays 一个月,而是有 1 个数组代表 30 个 arrays 的平均值。我 ...

创建用于存储数据集的 h5 文件以训练超分辨率 GAN - Creating h5 file for storing a dataset to train super resolution GAN

我正在尝试创建一个 h5 文件来存储用于训练超分辨率 GAN 的数据集。 每个训练对将是低分辨率和高分辨率图像。 数据集将以下列方式包含数据:[[LR1,HR1],[LR2,HR2],...[LRn,HRn]]。 我有 256x256 RGB 图像用于 HR 和 128x128 RGB 用于 LR ...

有效地从多个 h5df 文件中读取小片段? - Efficiently reading small pieces from multiple h5df files?

赏金将在 9 小时后到期。 此问题的答案有资格获得+50声望赏金。 autoencoder想引起更多的关注这个问题。 我每天都有一个 hdf5 文件,其中包含许多资产的压缩数据。 具体来说,每个 h5 文件包含 5000 个资产,并按键值结构组织,例如 每个资产的数据具有相同的格式和大小,我总共 ...

将 pandas 列类型转换为字符串以保存在 h5py 文件中仍然显示 object 类型的错误 - Converting pandas column types to string to save in h5py file still shows an error for object type

我有以下形式的 pandas DataFrame 标题语境 A1 B1 A2 B2 当我列出列的 dtypes 时,它会使用table_1.dtypes显示以下内容 将列类型转换为字符串并使用以下内容后: 我仍然看到 dtype 最后被列为object 。 当我尝试将其保存在 h5py 文件中 ...

真空 HDF5 数据集(删除数据行并调整大小) - Vacuum HDF5 dataset (to remove rows of data and resize)

假设我有 maxshape=(None,1000), chunk=(1,1000) 的 HDF5 数据集。 然后,每当我需要删除某行时,我只需将其归零(很多): 真空零行和调整数组大小的最快方法是什么? 现在让我们添加一个转折。 我有一个字典来解析符号 =to=> ds_ix 抽真空并保持正 ...

Python h5py 虚拟数据集 - 连接/附加,而不是堆栈 - Python h5py Virtual Dataset - Concatenate/Append, not stack

我最近开始使用 h5py 在 Python 中使用虚拟数据集 (VDS)。 一切看起来都相当简单,它肯定避免了数据复制的需要和文件大小的增长。 我见过的大多数示例都类似于下面的示例。 他们倾向于采用多个数据源(在这种情况下来自单独的 hdf5 文件)并创建一个 VDS,其中数据“堆叠”在一起。 我的 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM