使用 Python 將 hdf5 文件轉換為 nc 文件

[英]Converting hdf5 file to nc file using Python

伙計們，我的目錄中有一個 hdf5 文件列表，我想將 hdf5 文件轉換為 nc 文件。 Python有沒有辦法做到這一點？ 我嘗試使用 bash 但在 wsl 中遇到了很多問題。 所以我想在 Python 中執行此操作。我想有一種方法可以使用 .netCDF 庫來執行此操作。 你能幫忙嗎？ ...

Rust hdf5 crate：讀取未知類型的標量數據集

[英]Rust hdf5 crate: reading a scalar dataset of unknown type

給定一個 hdf5 Dataset ，有is_scalar方法來檢查它是否是一個標量。 但是，當我讀取該標量時，我需要指定我希望將該標量讀入的類型，如下面的代碼所示。let ds: Dataset = group.handler .dataset(dataset_name.as_ref()) ...

我正在嘗試找到一種將 numpy 數組轉換為 hdf5 格式的方法

[英]I am trying to find a way to convert numpy array to hdf5 format

我正在嘗試轉換 Numpy arrays，它們是在 HDF5 格式中隨時間變化的二維網格，適用於多種情況，例如 Numpy 數組具有以下方面：案例編號 (0-100)、時間 (0-200 年)、X 網格點位置（0-100m），y 網格點位置（0-20m）加上該位置的實際數據點（例如飽和度范圍為 0- ...

在 Debian 上制作 hdf5-1.14.0：“ssize_t”的類型沖突

[英]Make hdf5-1.14.0 on Debian: conflicting types for ‘ssize_t’

我嘗試在虛擬機 Linux #1 SMP Debian 5.10.140-1 (2022-09-02) 上從源代碼構建 HDF5。 我遵循了基本說明： 配置步驟成功運行（在刪除導致錯誤的文件中不需要的換行符 \r 之后，如1中所述）但 make 命令返回以下錯誤： ...

HDF5：如何從 h5dump output 解碼 UTF8 編碼的字符串？

[英]HDF5: How to decode UTF8-encoded string from h5dump output?

我正在使用 UTF-8 編碼將屬性寫入 HDF5 文件。 例如，我將“äöüß”寫入文件中的屬性“notes”。 我現在正在嘗試解析h5ls （或h5dump ）的 output 以提取回這些數據。 這兩種工具都會給我這樣的 output： 我知道，例如， \37777777703\3777777 ...

如何編譯libhdf5_fortran.a庫文件？

[英]How to compile libhdf5_fortran.a library file?

我下載了最新的 hdf5-1.14.0.tar.gz。 提取后，我配置為 make之后，我可以找到 但我需要的是libhdf5_fortran.a 。 但我能找到的最接近的文件是fortran/src下的libhdf5_fortran.la 。 那么如何生成libhdf5_fortran.a呢？ ...

讀取一個 hdf5 文件，使用 Numpy 和 lmfit 使一些進程通過使用 multiprocessing 加速

[英]Reading a hdf5 file, make some processes with Numpy and lmfit accelerated by using multiprocessing

如果你們中的任何一個可以提供幫助，我將不勝感激。 我正在努力使用多處理來加速保存為相對較大的 hdf5 文件 (4.3 GB) 的數據集的高斯擬合（使用 lmfit）。 請看下面的代碼： 如果我在沒有多處理的情況下運行，它可以工作，但它太慢了。 但是，當我嘗試使用多處理 package（下面的代碼） ...

無法查看 hdf5 文件中的字符串字段

[英]can't view string fields in an hdf5 file

一個 python 程序 ( https://github.com/MannLabs/alphapeptdeep ) 創建了以下 hdf5 文件--> https://drive.google.com/file/d/1Ct2B7IU2WsqJfT3eGoR1xn3GSOffFqtN/view? ...

Append HDF5 文件中的數據

[英]Append Data in HDF5 file

我想 append 新日期到我已經創建的 HDF5 文件，但我不知道如何 append 更多數據，我不知道附加的實際語法我已經創建了一個 HDF5 文件來將我的數據以 HDF 格式保存為with h5py.File(save_path+'PIC200829_256x256x256x3_fast_sj ...

如何在 Python 中使用 Multiprocessing 並行執行以下代碼

[英]How to parallel the following code using Multiprocessing in Python

我有一個 function generate(file_path) ，它返回一個 integer 索引和一個 numpy 數組。 生成function的簡化如下： 我需要遍歷一個目錄並將generate(file_path)的結果收集到一個 hdf5 文件中。 我的序列化代碼如下： 我希望寫一個多線 ...

為什么我可以使用 rhdf5 R package 從本地磁盤而不是外部磁盤打開 HDF5 文件？

[英]Why can I open HDF5 files from local disk but not external disk using the rhdf5 R package?

我遇到了一個問題，我使用 R package “偵探”來分析 RNAseq 數據。 然而，問題顯然取決於 rhdf5。 問題歸結為這個錯誤，我只在嘗試從我的外部 SSD 而不是從我的本地磁盤讀取 a.h5 文件時得到： 值得注意的是，.h5 文件最初專門存儲在外部 SSD 上，出於演示目的，我將其 ...

Python 中非常大的 JSON 處理

[英]very large JSON handling in Python

我有一個非常大的 JSON 文件（~30GB，65e6 行），我想使用一些數據幀結構來處理它。 這個數據集當然不適合我的記憶，因此我最終想使用一些內存不足的解決方案，比如 dask 或 vaex。 我知道，為了做到這一點，我首先必須將它轉換成一種已經內存可映射的格式，如 hdf5（如果你對格式有建議 ...

如何從 numpy 數據集文件創建 hdf5 文件

[英]how to create hdf5 file from numpy dataset files

我有 1970 .npy文件作為 MSVD 數據集的特征。 我想從這些 numpy 文件創建一個.hdf5文件。 ...

使用 parvaiew/vtk 分析樹狀結構

[英]Using parvaiew/vtk to analyze a tree like structure

我有一個牛頓優化器，我正在以 HDF5 的形式導出一些數據。 HDF5 文件包含優化過程的結果，它們是三角形網格，因此我將它們加載到 paraview 中。 此外，HDF5 文件包含有關優化過程的信息，因此我有一個類似 json 的結構，其中包含有關牛頓迭代次數、牛頓誤差的信息。 對於每次牛頓迭代 ...

HDF5多維數組存儲

[英]HDF5 multidimmensional array storage

我用多維數組得到了這個非常簡單的 pandas dataframe：df_foo = pd.DataFrame({ 'Value': [[1, 2], [3, 4], [5, 6]] }) 這是我嘗試將其存儲在 hdf5 文件中時發生的情況：# Using HDFStore: h5 = ...

c++中如何批量讀取hdf5文件

[英]How to read batch hdf5 files in c++

我有 400 個 hdf5 文件。 我需要閱讀它們以使用這些文件中的一些數據進行模擬。 如何寫得通俗易懂？ 我隨便寫一個function來讀。 但效果不佳 ...

如何將 pandas dataframe 單元格中的列表保存為 HDF5 表格格式？

[英]How to save a list in a pandas dataframe cell to a HDF5 table format?

我有一個 dataframe，我想以附加格式保存到 hdf5 文件中。 dataframe 看起來像這樣： 復制該問題的代碼是： 不幸的是，它返回此錯誤： 我知道我可以將每個值保存在單獨的列中。 這對我的擴展用例沒有幫助，因為可能有可變長度的列表。 我知道我可以將列表轉換為字符串，然后根據字符串 ...

如何使用 H5PY 增加 HDF5 文件中數據集的維度大小？

[英]How do I increase the dimension size of a dataset in a HDF5 file using H5PY?

當前維度大小設置為 32 個字符。 有什么方法可以使用 H5PY 來增加它嗎？ 我遇到一個問題，我的數據集中的值因為太長而被截斷。 ...

將巨大的csv轉換為hdf5格式

[英]Convert huge csv to hdf5 format

我下載了 IBM 的Airline Reporting Carrier On-Time Performance Dataset ； 未壓縮的 CSV 是 84 GB。 我想使用 vaex 庫運行一個分析，類似於Flying high with Vaex 。 我嘗試將 CSV 轉換為 hdf5 文件， ...

是否可以創建與本地 pc 上的文件路徑匹配的 HDF5 結構？

[英]Is it possible to create a HDF5 structure matching the file path on a local pc?

我正在嘗試使用本地電腦上的文件路徑自動創建 HDF5 結構。 我想通讀子目錄並創建一個 HDF5 結構來匹配，然后我可以將文件保存到。 謝謝 ...