執行 pandas 內部合並時出現內存錯誤

Question

我正在嘗試使用 pandas 合並兩個文件，其中一個非常大（6gb）。 每當我嘗試它時，我都會收到 Memory 錯誤，因為我的 RAM(8gb) 可能太小而無法處理。 關於如何解決這個問題的任何想法？ 我的代碼是：

 import pandas as pd
broad_matched = pd.read_csv("FILE A", delim_whitespace=True)
broad_matched2 = broad_matched[~(broad_matched['P'] >= 0.05)]
SNPs= pd.read_csv("FILE B", 
                  sep='\t', 
                 names=["#CHROM","POS1","POS", "rsID","E","F"])
broad_matched2=broad_matched2.drop(columns=['LOG.OR._SE','ID','REF','ALT','ERRCODE','Z_STAT','OR','OBS_CT','TEST','FIRTH.','A1','#CHROM'])
Table1=pd.merge(broad_matched2,SNPs,on='POS',how='inner').dropna()
Table1.to_csv(r'D:/Table1', index = False)

Answer 1

你應該看看這篇文章。 該解決方案涉及使用 dask 數據幀。