在位级读取二进制数据

Question

我有一个二进制文件，其中数据以16位整数块组织，如下所示：

• 第15位：数字位1
• 第14位：数字位2
• 位13到0：14位有符号整数

我发现如何从文件中提取数据到3个数组的唯一方法是：

data = np.fromfile("test1.bin", dtype=np.uint16)

digbit1 = data >= 2**15

data = np.array([x - 2**15 if x >= 2**15 else x for x in data], dtype=np.uint16)

digbit2 = data >= 2**14

data = np.array([x-2**14 if x >= 2**14 else x for x in data])

data = np.array([x-2**14 if x >= 2**13 else x for x in data], dtype=np.int16)

现在我知道我可以使用for循环覆盖原始数据并填写3个单独的数组，但这仍然是丑陋的。 我想知道的是如何在dtype=[('db', [('1', bit), ('2', bit)]), ('temp', 14bit-signed-int)])风格中更有效地做到这dtype=[('db', [('1', bit), ('2', bit)]), ('temp', 14bit-signed-int)])这样就可以很容易地访问data['db']['1'] = array of ones and zeros 。

Answer 1

这是一种比代码更有效的方法，因为Numpy以编译速度进行循环，这比使用Python循环要快得多。 我们可以使用位运算，而不是那些if测试。

你没有提供任何样本数据，所以我写了一些简单的Python 3代码来创建一些假数据。 我将这些数据保存为big- endian格式的文件，但如果您的数据实际存储在little-endian中，那么这很容易改变。 我不使用numpy.fromfile来读取该数据，因为在普通Python中读取文件然后使用numpy.frombuffer转换读取字节会numpy.frombuffer 。

唯一棘手的部分是处理那些14位有符号整数。 我假设你正在使用两个补码表示。

import numpy as np

# Make some fake data
bdata = []
bitlen = 14
mask = (1 << bitlen) - 1
for i in range(12):
    # Two initial bits
    a = i % 4
    # A signed number
    b = i - 6
    # Combine initial bits with the signed number,
    # using 14 bit two's complement.
    n = (a << bitlen) | (b & mask)
    # Convert to bytes, using 16 bit big-endian
    nbytes = n.to_bytes(2, 'big')
    bdata.append(nbytes)
    print('{} {:2} {:016b} {} {:>5}'.format(a, b, n, nbytes.hex(), n))
print()

# Save the data to a file
fname = 'test1.bin'
with open(fname, 'wb') as f:
    f.write(b''.join(bdata))

# And read it back in
with open(fname, 'rb') as f:
    data = np.frombuffer(f.read(), dtype='>u2')

print(data)

# Get the leading bits
digbit1 = data >> 15
print(digbit1)

# Get the second bits
digbit2 = (data >> 14) & 1
print(digbit2)

# Get the 14 bit signed integers
data = ((data & mask) << 2).astype(np.int16) >> 2
print(data)

产量

0 -6 0011111111111010 3ffa 16378
1 -5 0111111111111011 7ffb 32763
2 -4 1011111111111100 bffc 49148
3 -3 1111111111111101 fffd 65533
0 -2 0011111111111110 3ffe 16382
1 -1 0111111111111111 7fff 32767
2  0 1000000000000000 8000 32768
3  1 1100000000000001 c001 49153
0  2 0000000000000010 0002     2
1  3 0100000000000011 4003 16387
2  4 1000000000000100 8004 32772
3  5 1100000000000101 c005 49157

[16378 32763 49148 65533 16382 32767 32768 49153     2 16387 32772 49157]
[0 0 1 1 0 0 1 1 0 0 1 1]
[0 1 0 1 0 1 0 1 0 1 0 1]
[-6 -5 -4 -3 -2 -1  0  1  2  3  4  5]

---

如果确实需要使用little-endian字节排序，只需在np.frombuffer调用中将np.frombuffer更改为'<u2' np.frombuffer 。 为了测试它，在假数据制作部分的n.to_bytes调用中将'big'更改为'little'。