有沒有更快的方法將大文件從hexa轉換為二進制，二進制轉換為int？

Question

我有一個大的DataFrame（1999048行和1col），具有十六進制數據。 我想把每一行都放在二進制文件中，將它切成碎片並以十進制格式描述每一行。

我試過這個：

for i in range (len(df.index)):
    hexa_line=hex2bin(str(f1.iloc[i]))[::-1] 
    channel = int(hexa_line[0:3][::-1], 2)     
    edge = int(hexa_line[3][::-1], 2)      
    time = int(hexa_line[4:32][::-1], 2)   
    sweep = int(hexa_line[32:48][::-1], 2)  
    tag = int(hexa_line[48:63][::-1], 2)   
    datalost = int(hexa_line[63][::-1], 2)   
    line=np.array([[channel, edge, time, sweep, tag, datalost]])
    tab=np.concatenate((tab, line), axis=0)

但真的很長......有沒有更快的方法呢？

Answer 1

我唯一可以想象的就是改變這些線條：

line=np.array([[channel, edge, time, sweep, tag, datalost]])
tab=np.concatenate((tab, line), axis=0)

肯定在熊貓，我認為在numpy concatting也是一件昂貴的事情，並且取決於兩個數組的總大小（而不是像list.append）

我認為這樣做是每次調用它時重寫整個數組tab 。 也許您可以嘗試將每一行附加到列表中，然后將整個列表連接在一起。

例如更像這樣的東西：

tab = []
for i in range (len(df.index)):
    hexa_line=hex2bin(str(f1.iloc[i]))[::-1] 
    channel = int(hexa_line[0:3][::-1], 2)     
    edge = int(hexa_line[3][::-1], 2)      
    time = int(hexa_line[4:32][::-1], 2)   
    sweep = int(hexa_line[32:48][::-1], 2)  
    tag = int(hexa_line[48:63][::-1], 2)   
    datalost = int(hexa_line[63][::-1], 2)   
    line=np.array([[channel, edge, time, sweep, tag, datalost]])
    tab.append(line)

final_tab = np.concatenate(tab, axis=0)
# or whatever the syntax is :p