如何将十六进制的原始字节从 转换为 RGB 图像

Question

我正试图通过探索使用机器学习检测恶意软件的行为来弄脏我的手。

所以我在 Kaggle 上偶然发现了 Microsoft Big 2015 数据集。 数据集包含十六进制形式的字节数据。 IE

00401000 00 00 80 40 40 28 00 1C 02 42 00 C4 00 20 04 20
00401010 00 00 20 09 2A 02 00 00 00 00 8E 10 41 0A 21 01
00401020 40 00 02 01 00 90 21 00 32 40 00 1C 01 40 C8 18
00582FF0 ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ??

从字节生成的完整字节和灰度图像的链接。

十六进制字节

我想使用 python 将这个十六进制字节转换为 RGB 图像。

这是一个将此字节转换为灰度图像的脚本，我想将其复制为 RGB 图像。

import sys
import os
from math import log
import numpy as np
import scipy as sp
from PIL import Image
import matplotlib.pyplot as plt
def saveimg(array,name):
    if array.shape[1]!=16:
        assert(False)
    
    b=int((array.shape[0]*16)**(0.5))
    b=2**(int(log(b)/log(2))+1)
    a=int(array.shape[0]*16/b)
    # #print a,b,array.shape
    array=array[:int(a*b/16),:]
    array=np.reshape(array,(a,b))
    print(array.shape)
    im = Image.fromarray(np.uint8(array))
    im.save(name+'.jpg', "JPEG")

path = bytes_folder # "/test/0ACDbR5M3ZhBJajygTuf.bytes"
files=os.listdir(path)
c=0
for cc,x in enumerate(files):
    if '.bytes' != x[-6:]:
        continue
    f=open(os.path.join(path,x))
    array=[]
    c+=1
    for line in f:
        xx=line.split()
        if len(xx)!=17:
            continue
        #if xx[1]=='??':
        #    break
        array.append([int(i,16) if i!='??' else 0 for i in xx[1:] ])
    saveimg(np.array(array),x)
    del array
    f.close()

'''

Answer 1

为了获得 RGB 图像，我们所需要的只是将数组重塑为height x width x 3 （第三维必须是 3，应用 R,G,B 颜色分量）。

有许多选项可将任意数据转换为形状height x width x 3 。
有一个重要的限制：转换前的元素总数必须等于height*width*3 。

例子：

我们可以定义： width = 320
那么元素总数必须是320*3的倍数。
如果array.size不是 3 的倍数，我们可能会削减剩余元素。

如果我们想要方形图像，我们可以选择： width = int((array.size / 3)**0.5) 。

• 将数组展平为一维：

   array = array.ravel()

• 从 (width*3) 计算余数：

   remainder = array.size % (width*3)

• 从数组末尾删除剩余元素：

   if remainder > 0: array = array[0:-remainder]

• 将数组重塑为height x width x 3 （ height是自动计算的 - 高度将是array.size/(320*3)

   rgb_array = array.reshape((-1, width, 3))

• 将 rgb_array 转换为 PIL 图像：

   im = Image.fromarray(rgb_array, mode='RGB')

笔记：
这只是一个例子——有很多选择width和height的选项。

---

代码示例：

import numpy as np
from PIL import Image

def conv(val):
    """ Convert val from hex string to int, return 0 if val is not a valid in hex format """
    try:
        return int(val, 16)
    except ValueError:
        return 0

# https://numpy.org/doc/stable/reference/generated/numpy.loadtxt.html
# https://stackoverflow.com/questions/31344892/using-numpys-readtxt-to-read-hex-numbers
array = np.loadtxt('0ACDbR5M3ZhBJajygTuf.bytes.txt', np.uint8, converters={x: conv for x in range(17)}, usecols=list(range(1, 17)))

width = 320  # Select constant width (just an example)
# Or: width = int((array.size / 3)**0.5)

# Assume we want the width to be 320, the number of elements before reshape must be a multiple of 320*3
array = array.ravel()  # Make the arre 1D
remainder = array.size % (width*3)
if remainder > 0:
    array = array[0:-remainder]  # May remove up to 320*3-1 elements from the end of array (make the length a multiple of 320*3)

#https://numpy.org/doc/stable/reference/generated/numpy.reshape.html
# Make the width 320, the number of channels 3, and the height is computed automatically.
rgb_array = array.reshape((-1, width, 3))

im = Image.fromarray(rgb_array, mode='RGB')
im.save('im.jpg')

---

另一种选择是制作 3 个颜色平面（R 平面、G 平面、B 平面），并使用np.transpose ：

rgb_array = array.reshape((3, width, -1))
rgb_array = np.transpose(rgb_array, (2, 1, 0))

---

笔记：
我认为使用 JPEG 格式不是一个好主意，因为 JPEG 使用有损压缩。
我建议使用 PNG 文件格式（PNG 是无损的）。