堆棧內存溢出
cost 74 ms
在 M1 Mac 上安裝 pytables 的問題

[英]Problems installing pytables on M1 Mac

我正在嘗試在 M1 Mac 上安裝 pytables（使用自制軟件安裝的 MacOS 12.6.1、python 3.11 和 hdf5 1.12.2）。 按照https://stackoverflow.com/a/74276925中的建議，我執行了以下操作： pip install tables ...

如何將 pandas dataframe 單元格中的列表保存為 HDF5 表格格式？

[英]How to save a list in a pandas dataframe cell to a HDF5 table format?

我有一個 dataframe，我想以附加格式保存到 hdf5 文件中。 dataframe 看起來像這樣： 復制該問題的代碼是： 不幸的是，它返回此錯誤： 我知道我可以將每個值保存在單獨的列中。 這對我的擴展用例沒有幫助，因為可能有可變長度的列表。 我知道我可以將列表轉換為字符串，然后根據字符串 ...

查詢具有多個值的 pytable 列的最佳方法是什么？

[英]What is the best way to query a pytable column with many values?

我有一個 11 列 x 13,470,621 行的 pytable。 表的第一列包含每行的唯一標識符（此標識符始終只在表中出現一次）。 這就是我目前從表中獲取 select 行的方式： 現在這適用於小型數據集，但我需要定期執行查詢，在該查詢中我可以在表的 gene_id 列中匹配數千個唯一標識符。 ...

Pandas 使用TsTables & PyTables 建表時時序索引屬性錯誤 class

[英]Pandas time series index attribute error when using TsTables & PyTables in creating a table class

我正在嘗試通過 tb.IsDescription class 創建一個表結構，然后創建一個 .h5 文件並使用帶有日期時間索引的 Pandas Dataframe 填充它，使用 TsTables package。我已經測試了 Dataframe 和日期時間索引沒事的。 我認為問題出在 TsTabl ...

在 M1 Mac 上找不到 PyTables 的 HDF5 安裝

[英]Could not find HDF5 installation for PyTables on M1 Mac

在 M1 Mac、macOS Monterey 12.4 、 Python 3.10.3上運行pip install tables 我從這個 GitHub 問題中嘗試了以下內容： 但仍然得到同樣的錯誤。 不確定是不是因為 Homebrew 在 M1 Mac 上使用了不同的路徑？ ...

PyInstaller：文件未找到錯誤

[英]PyInstaller: FIleNotFoundError

我正在嘗試捆綁一個單文件應用程序。 當我嘗試執行我的 .exe 文件時，我收到以下錯誤： Traceback (most recent call last): File "__main__.py", line 19, in <module> File "<frozen im ...

如何從 HDF5 文件中提取數據以填充 PyTables 表？

[英]How to extract data from HDF5 file to fill PyTables table?

我正在嘗試用 Python 編寫一個 Discord 機器人。 該機器人的目標是用來自用戶的條目填充表格，其中檢索到的用戶名、游戲名和 gamepswd。 然后，針對特定用戶提取這些數據並刪除已解決的條目。 我使用了在谷歌上找到的第一個工具來管理表，因此 PyTables，我可以在 HDF5 文件中 ...

盡管在 grayskull 生成的 meta.yaml 中明確調用，但在 conda-forge feedstock 上運行 PR 測試時，“[lib] 需要 [dep]，它未安裝”

[英]"[lib] requires [dep], which is not installed" when running PR tests on conda-forge feedstock, despite explicit call in grayskull-generated meta.yaml

我正在嘗試將 xagg 的xagg -forge 版本升級到最新版本 (v0.3.0)。 當我將原料的 PR 設置到 conda-forge 存儲庫時運行的內置 Azure 管道測試失敗，並出現錯誤： （完整日志在這里） 奇怪的是pytables在meta.yaml中被明確提及（它是通過gray ...

PyTables：動態更改表 expectedrows 參數

[英]PyTables: Change Table expectedrows parameter dynamically

在 PyTables 優化提示中，我們可以在創建新表時找到對 append expectedrows參數的建議 - File.create_table() 。 但是，我找不到有關以后更改此參數的可能性的任何信息。 這是合理的，因為我的表不是 static 並且會隨着時間的推移而增長，我想持續使用它。 ...

如何解決pytables和h5py中沒有這樣的節點錯誤

[英]How to solve no such node error in pytables and h5py

我使用 pytables 構建了一個 hdf5 數據集。 它包含數千個節點，每個節點都是未經壓縮存儲的圖像（形狀為 512x512x3）。 當我在其上運行深度學習訓練循環（使用 Pytorch 數據加載器）時，它隨機崩潰，說節點不存在。 但是，丟失的節點絕不是同一個節點，當我自己打開文件以驗證節點是 ...

為什么當我將數據分割為具有 30 個不同鍵的 30 個較小的數據幀時，hdf5 文件的大小會急劇增加

[英]why does hdf5 file size increase dramatically when I segment the data to 30 smaller dataframes with 30 different keys

我有一系列包含大熊貓數據框的 hdf5 文件。 一個典型的文件大約有 1000,000 行。 我使用 complib='blosc',complevel=9 進行壓縮。 原始 hdf5 文件保存為 1 個平面文件。 然后，我嘗試將數據幀邏輯分割為 30 個較小的數據幀，並將它們保存在具有 30 個不 ...

pytables中子父關系的推薦方式

[英]Recommended way for child-parent relationship in pytables

我正在使用 pytables，並且正在嘗試實現父子關系。 例如，我想存儲多支球隊，每支球隊都有多名球員。 我可以通過以下方式做到這一點： 但是，pytables 文檔對此進行了如下說明（ https://www.pytables.org/cookbook/hints_for_sql_users.ht ...

PyTable 表拆分

[英]PyTable table split

我有一個 PyTable 表，格式如下： 表內有8909條數據及對應的標簽。 我想將此表拆分為機器學習的訓練測試。 假設保留 80% 的行作為訓練數據，20% 作為測試。 是否有任何實用程序 function 可以幫助我做到這一點？ ...

如何在 pandas / pytables 中設置 hdf5 組的屬性？

[英]How do I set the attribute of a hdf5 group in pandas / pytables?

我正在構建一個包含不同測量數據集的 hdf5 文件。 對於實驗和每個測量，我都有一些想要加入的元數據。 我的元數據包含有關我的樣本、我的設置、測試程序等的信息，因此我希望將其結構化為嵌套字典。 由於 HDF5 文件格式無法在屬性中存儲字典（我發現將元數據放入數據集的替代方法不干凈），我決定使用 p ...

Pandas HDFStore 緩存

[英]Pandas HDFStore caching

我正在使用一個中等大小的數據集，其中包含大約 150 個 HDF 文件，每個文件 0.5GB。 有一個預定的進程使用store.append的pd.HDFStore更新這些文件。 我正在嘗試實現以下場景：對於 HDF 文件： 保持更新商店的進程運行 以只讀模式打開商店 運行一個 whil ...

讀取.h5文件速度極慢

[英]Reading .h5 file is extremely slow

我的數據以.h5 格式存儲。 我使用數據生成器來擬合 model，它非常慢。 下面提供了我的代碼片段。 在哪里： data_generator function 如下： add_data() 如下： Model培訓： 我的數據集很大：data.h5 是 55GB。 完成一個紀元大約需要 700 ...

追加大型 Pytables HDF5 文件的最快方法

[英]Fastest way to Append Large Pytables HDF5 Files

我使用多處理來生成大量非常大的 Pytables (H5) 文件——大到足以在單次掃描時出現內存問題。 這些文件中的每一個都是使用tb.create_table創建的，以允許 3 列具有混合數據類型——前兩列是整數，第三列是浮點數（例如這里）。 每個文件中的總行數可以不同。 我想將這些 H5 文件 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM