cost 399 ms
如何将 pandas dataframe 单元格中的列表保存为 HDF5 表格格式? - How to save a list in a pandas dataframe cell to a HDF5 table format?

我有一个 dataframe,我想以附加格式保存到 hdf5 文件中。 dataframe 看起来像这样: 复制该问题的代码是: 不幸的是,它返回此错误: 我知道我可以将每个值保存在单独的列中。 这对我的扩展用例没有帮助,因为可能有可变长度的列表。 我知道我可以将列表转换为字符串,然后根据字符串 ...

查询具有多个值的 pytable 列的最佳方法是什么? - What is the best way to query a pytable column with many values?

我有一个 11 列 x 13,470,621 行的 pytable。 表的第一列包含每行的唯一标识符(此标识符始终只在表中出现一次)。 这就是我目前从表中获取 select 行的方式: 现在这适用于小型数据集,但我需要定期执行查询,在该查询中我可以在表的 gene_id 列中匹配数千个唯一标识符。 ...

Pandas 使用TsTables & PyTables 建表时时序索引属性错误 class - Pandas time series index attribute error when using TsTables & PyTables in creating a table class

我正在尝试通过 tb.IsDescription class 创建一个表结构,然后创建一个 .h5 文件并使用带有日期时间索引的 Pandas Dataframe 填充它,使用 TsTables package。我已经测试了 Dataframe 和日期时间索引没事的。 我认为问题出在 TsTabl ...

如何从 HDF5 文件中提取数据以填充 PyTables 表? - How to extract data from HDF5 file to fill PyTables table?

我正在尝试用 Python 编写一个 Discord 机器人。 该机器人的目标是用来自用户的条目填充表格,其中检索到的用户名、游戏名和 gamepswd。 然后,针对特定用户提取这些数据并删除已解决的条目。 我使用了在谷歌上找到的第一个工具来管理表,因此 PyTables,我可以在 HDF5 文件中 ...

尽管在 grayskull 生成的 meta.yaml 中明确调用,但在 conda-forge feedstock 上运行 PR 测试时,“[lib] 需要 [dep],它未安装” - "[lib] requires [dep], which is not installed" when running PR tests on conda-forge feedstock, despite explicit call in grayskull-generated meta.yaml

我正在尝试将 xagg 的xagg -forge 版本升级到最新版本 (v0.3.0)。 当我将原料的 PR 设置到 conda-forge 存储库时运行的内置 Azure 管道测试失败,并出现错误: (完整日志在这里) 奇怪的是pytables在meta.yaml中被明确提及(它是通过gray ...

PyTables:动态更改表 expectedrows 参数 - PyTables: Change Table expectedrows parameter dynamically

在 PyTables 优化提示中,我们可以在创建新表时找到对 append expectedrows参数的建议 - File.create_table() 。 但是,我找不到有关以后更改此参数的可能性的任何信息。 这是合理的,因为我的表不是 static 并且会随着时间的推移而增长,我想持续使用它。 ...

如何解决pytables和h5py中没有这样的节点错误 - How to solve no such node error in pytables and h5py

我使用 pytables 构建了一个 hdf5 数据集。 它包含数千个节点,每个节点都是未经压缩存储的图像(形状为 512x512x3)。 当我在其上运行深度学习训练循环(使用 Pytorch 数据加载器)时,它随机崩溃,说节点不存在。 但是,丢失的节点绝不是同一个节点,当我自己打开文件以验证节点是 ...

为什么当我将数据分割为具有 30 个不同键的 30 个较小的数据帧时,hdf5 文件的大小会急剧增加 - why does hdf5 file size increase dramatically when I segment the data to 30 smaller dataframes with 30 different keys

我有一系列包含大熊猫数据框的 hdf5 文件。 一个典型的文件大约有 1000,000 行。 我使用 complib='blosc',complevel=9 进行压缩。 原始 hdf5 文件保存为 1 个平面文件。 然后,我尝试将数据帧逻辑分割为 30 个较小的数据帧,并将它们保存在具有 30 个不 ...

如何在 pandas / pytables 中设置 hdf5 组的属性? - How do I set the attribute of a hdf5 group in pandas / pytables?

我正在构建一个包含不同测量数据集的 hdf5 文件。 对于实验和每个测量,我都有一些想要加入的元数据。 我的元数据包含有关我的样本、我的设置、测试程序等的信息,因此我希望将其结构化为嵌套字典。 由于 HDF5 文件格式无法在属性中存储字典(我发现将元数据放入数据集的替代方法不干净),我决定使用 p ...

Pandas HDFStore 缓存 - Pandas HDFStore caching

我正在使用一个中等大小的数据集,其中包含大约 150 个 HDF 文件,每个文件 0.5GB。 有一个预定的进程使用store.append的pd.HDFStore更新这些文件。 我正在尝试实现以下场景:对于 HDF 文件: 保持更新商店的进程运行 以只读模式打开商店 运行一个 whil ...

追加大型 Pytables HDF5 文件的最快方法 - Fastest way to Append Large Pytables HDF5 Files

我使用多处理来生成大量非常大的 Pytables (H5) 文件——大到足以在单次扫描时出现内存问题。 这些文件中的每一个都是使用tb.create_table创建的,以允许 3 列具有混合数据类型——前两列是整数,第三列是浮点数(例如这里)。 每个文件中的总行数可以不同。 我想将这些 H5 文件 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM