在 Python 中讀取 HDF 文件的屬性

Question

我在 Pandas 中讀取 hdf 文件時遇到問題。 到目前為止，我不知道文件的密鑰。

在這種情況下如何讀取文件 [data.hdf]？ 而且，我的文件是 .hdf 而不是 .h5 ，它對數據獲取有什么影響嗎？

我看到您需要“商店中的組標識符”

pandas.io.pytables.read_hdf(path_or_buf, key, **kwargs)

我能夠從 pytables 中獲取元數據

File(filename=data.hdf, title='', mode='a', root_uep='/', filters=Filters(complevel=0, shuffle=False, fletcher32=False, least_significant_digit=None))
/ (RootGroup) ''
/UID (EArray(317,)) ''
  atom := StringAtom(itemsize=36, shape=(), dflt='')
  maindim := 0
  flavor := 'numpy'
  byteorder := 'irrelevant'
  chunkshape := (100,)
/X Y (EArray(8319, 2, 317)) ''
  atom := Float32Atom(shape=(), dflt=0.0)
  maindim := 0
  flavor := 'numpy'
  byteorder := 'little'
  chunkshape := (1000, 2, 100)

如何通過 Pandas 使其可讀？

Answer 1

首先（.hdf 或 .h5）沒有任何區別。 其次，我不確定大熊貓，但我讀了 HDF5 密鑰，如：

import h5py
h5f = h5py.File("test.h5", "r")
h5f.keys()

或者

h5f.values()

Answer 2

文檔在這里。 但是，您將能夠直接讀取使用 Pandas 顯示的格式。 需要使用 PyTables 來讀入。pandas 可以直接讀取 PyTables Table 格式，即使沒有 pandas 使用的元數據。

Answer 3

pyhdf將是 python 中 hdf 文件的替代選項

您可以從以下位置讀取和查看密鑰：

import pyhdf
hdf = pyhdf.SD.SD('file.hdf')
hdf.datasets()

我希望它會幫助你！ 祝你好運

Answer 4

您可以使用這個簡單的函數查看任何 HDF 文件的變量名稱（僅適用於科學模式下的變量）

from pyhdf.SD  import *

def HDFvars(File):
    """
    Extract variable names for an hdf file
    """
    # hdfFile = SD.SD(File, mode=1)
    hdfFile = SD(File, mode=1)
    dsets = hdfFile.datasets()
    k = []
    for key in dsets.keys():
        k.append(key)
    k.sort()
    hdfFile.end() # close the file
    return k

如果變量不在科學模式下，您可以使用以下程序嘗試 whit pyhdf.V ，該程序顯示包含在任何 HDF 文件中的 vgroups 的內容。

from pyhdf.HDF import *
from pyhdf.V   import *
from pyhdf.VS  import *
from pyhdf.SD  import *

def describevg(refnum):
    # Describe the vgroup with the given refnum.
    # Open vgroup in read mode.
    vg = v.attach(refnum)
    print "----------------"
    print "name:", vg._name, "class:",vg._class, "tag,ref:",
    print vg._tag, vg._refnum

    # Show the number of members of each main object type.
    print "members: ", vg._nmembers,
    print "datasets:", vg.nrefs(HC.DFTAG_NDG),
    print "vdatas:  ", vg.nrefs(HC.DFTAG_VH),
    print "vgroups: ", vg.nrefs(HC.DFTAG_VG)

    # Read the contents of the vgroup.
    members = vg.tagrefs()

    # Display info about each member.
    index = -1
    for tag, ref in members:
        index += 1
        print "member index", index
        # Vdata tag
        if tag == HC.DFTAG_VH:
            vd = vs.attach(ref)
            nrecs, intmode, fields, size, name = vd.inquire()
            print "  vdata:",name, "tag,ref:",tag, ref
            print "    fields:",fields
            print "    nrecs:",nrecs
            vd.detach()

        # SDS tag
        elif tag == HC.DFTAG_NDG:
            sds = sd.select(sd.reftoindex(ref))
            name, rank, dims, type, nattrs = sds.info()
            print "  dataset:",name, "tag,ref:", tag, ref
            print "    dims:",dims
            print "    type:",type
            sds.endaccess()

        # VS tag
        elif tag == HC.DFTAG_VG:
            vg0 = v.attach(ref)
            print "  vgroup:", vg0._name, "tag,ref:", tag, ref
            vg0.detach()

        # Unhandled tag
        else:
            print "unhandled tag,ref",tag,ref

    # Close vgroup
    vg.detach()

# Open HDF file in readonly mode.
filename = 'yourfile.hdf'
hdf = HDF(filename)

# Initialize the SD, V and VS interfaces on the file.
sd = SD(filename)
vs = hdf.vstart()
v  = hdf.vgstart()

# Scan all vgroups in the file.
ref = -1
while 1:
    try:
        ref = v.getid(ref)
        print ref
    except HDF4Error,msg:    # no more vgroup
        break
    describevg(ref)