我正在尝试在 M1 Mac 上安装 pytables(使用自制软件安装的 MacOS 12.6.1、python 3.11 和 hdf5 1.12.2)。 按照https://stackoverflow.com/a/74276925中的建议,我执行了以下操作: pip install tables ...
我正在尝试在 M1 Mac 上安装 pytables(使用自制软件安装的 MacOS 12.6.1、python 3.11 和 hdf5 1.12.2)。 按照https://stackoverflow.com/a/74276925中的建议,我执行了以下操作: pip install tables ...
运行上面的代码时出现以下错误。 怎样做才能避免错误? 我在 Python 3.10.7 中尝试过 ...
我有一个 dataframe,我想以附加格式保存到 hdf5 文件中。 dataframe 看起来像这样: 复制该问题的代码是: 不幸的是,它返回此错误: 我知道我可以将每个值保存在单独的列中。 这对我的扩展用例没有帮助,因为可能有可变长度的列表。 我知道我可以将列表转换为字符串,然后根据字符串 ...
我有一个 11 列 x 13,470,621 行的 pytable。 表的第一列包含每行的唯一标识符(此标识符始终只在表中出现一次)。 这就是我目前从表中获取 select 行的方式: 现在这适用于小型数据集,但我需要定期执行查询,在该查询中我可以在表的 gene_id 列中匹配数千个唯一标识符。 ...
我正在尝试通过 tb.IsDescription class 创建一个表结构,然后创建一个 .h5 文件并使用带有日期时间索引的 Pandas Dataframe 填充它,使用 TsTables package。我已经测试了 Dataframe 和日期时间索引没事的。 我认为问题出在 TsTabl ...
在 M1 Mac、macOS Monterey 12.4 、 Python 3.10.3上运行pip install tables 我从这个 GitHub 问题中尝试了以下内容: 但仍然得到同样的错误。 不确定是不是因为 Homebrew 在 M1 Mac 上使用了不同的路径? ...
我正在尝试捆绑一个单文件应用程序。 当我尝试执行我的 .exe 文件时,我收到以下错误: Traceback (most recent call last): File "__main__.py", line 19, in <module> File "<frozen im ...
我的代码包含from tables import NaturalNameWarning导致以下错误: 如果我在Anaconda Prompt (Anaconda3)中运行conda list pytables它会返回: 有谁知道我可以如何解决这个错误? ...
我正在尝试用 Python 编写一个 Discord 机器人。 该机器人的目标是用来自用户的条目填充表格,其中检索到的用户名、游戏名和 gamepswd。 然后,针对特定用户提取这些数据并删除已解决的条目。 我使用了在谷歌上找到的第一个工具来管理表,因此 PyTables,我可以在 HDF5 文件中 ...
我正在尝试将 xagg 的xagg -forge 版本升级到最新版本 (v0.3.0)。 当我将原料的 PR 设置到 conda-forge 存储库时运行的内置 Azure 管道测试失败,并出现错误: (完整日志在这里) 奇怪的是pytables在meta.yaml中被明确提及(它是通过gray ...
在 M1 Mac 上尝试将 Pandas DataFrame 导出到 HDF5 时,我同时遇到两个错误: 回溯(最近调用最后):文件“/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/pan ...
在 PyTables 优化提示中,我们可以在创建新表时找到对 append expectedrows参数的建议 - File.create_table() 。 但是,我找不到有关以后更改此参数的可能性的任何信息。 这是合理的,因为我的表不是 static 并且会随着时间的推移而增长,我想持续使用它。 ...
我使用 pytables 构建了一个 hdf5 数据集。 它包含数千个节点,每个节点都是未经压缩存储的图像(形状为 512x512x3)。 当我在其上运行深度学习训练循环(使用 Pytorch 数据加载器)时,它随机崩溃,说节点不存在。 但是,丢失的节点绝不是同一个节点,当我自己打开文件以验证节点是 ...
我有一系列包含大熊猫数据框的 hdf5 文件。 一个典型的文件大约有 1000,000 行。 我使用 complib='blosc',complevel=9 进行压缩。 原始 hdf5 文件保存为 1 个平面文件。 然后,我尝试将数据帧逻辑分割为 30 个较小的数据帧,并将它们保存在具有 30 个不 ...
我正在使用 pytables,并且正在尝试实现父子关系。 例如,我想存储多支球队,每支球队都有多名球员。 我可以通过以下方式做到这一点: 但是,pytables 文档对此进行了如下说明( https://www.pytables.org/cookbook/hints_for_sql_users.ht ...
我有一个 PyTable 表,格式如下: 表内有8909条数据及对应的标签。 我想将此表拆分为机器学习的训练测试。 假设保留 80% 的行作为训练数据,20% 作为测试。 是否有任何实用程序 function 可以帮助我做到这一点? ...
我正在构建一个包含不同测量数据集的 hdf5 文件。 对于实验和每个测量,我都有一些想要加入的元数据。 我的元数据包含有关我的样本、我的设置、测试程序等的信息,因此我希望将其结构化为嵌套字典。 由于 HDF5 文件格式无法在属性中存储字典(我发现将元数据放入数据集的替代方法不干净),我决定使用 p ...
我正在使用一个中等大小的数据集,其中包含大约 150 个 HDF 文件,每个文件 0.5GB。 有一个预定的进程使用store.append的pd.HDFStore更新这些文件。 我正在尝试实现以下场景:对于 HDF 文件: 保持更新商店的进程运行 以只读模式打开商店 运行一个 whil ...
我的数据以.h5 格式存储。 我使用数据生成器来拟合 model,它非常慢。 下面提供了我的代码片段。 在哪里: data_generator function 如下: add_data() 如下: Model培训: 我的数据集很大:data.h5 是 55GB。 完成一个纪元大约需要 700 ...
我使用多处理来生成大量非常大的 Pytables (H5) 文件——大到足以在单次扫描时出现内存问题。 这些文件中的每一个都是使用tb.create_table创建的,以允许 3 列具有混合数据类型——前两列是整数,第三列是浮点数(例如这里)。 每个文件中的总行数可以不同。 我想将这些 H5 文件 ...