networkx-以塊（熊貓）讀取邊緣列表

Question

我有一個非常大的網絡要在Networkx中讀取和分析（大約5億行），並存儲在gzip加權邊緣列表（Node1 Node2權重）中。 到目前為止，我嘗試閱讀以下內容：

# Open and Read File
with gzip.open(network,'rb') as fh:
    # Read Weighted Edge List
    G = nx.read_weighted_edgelist(fh, create_using=nx.DiGraph())

但是由於它很大，所以我有一些內存問題。 我想知道是否有一種方法可以按照固定長度的塊讀取“ pandas”樣式的文件。 謝謝你的幫助。

編輯：

這是我的邊緣列表文件（Node1 Node2 Weight）的一小部分內容：

30879005 5242 11
44608582 2295986 4
24935102 737450 1
42230925 1801294 1
20926179 2332390 1
40959246 1100438 1
3291058 3226104 1
23192021 5818064 1
16328715 7695005 1
11561383 2102983 1
1886716 1378893 2
23192021 5818065 1
2060097 2060091 1
7176482 3222203 2
46586813 1599030 1
35151866 35151866 1
12420680 1364416 5
612044 92878 1
16260783 3373725 1
26475759 85310 1
21149725 17011789 1
1312990 105320 1
23898296 1633222 3
3635610 2103011 1
12737940 4114680 1
18210502 10816500 1
45999903 45999903 1
8689446 1977413 1
5998987 3453478 3

Answer 1

將數據作為csv讀取到pandas df中：

df = pd.read_csv(path_to_edge_list, sep='\s+', header=None, names=['Node1','Node2','Weight'])

現在創建一個nx DiGraph並執行列表推導以生成一個以（node1，node2，weight）作為數據的元組列表：

In [150]:

import networkx as nx
G = nx.DiGraph()
G.add_weighted_edges_from([tuple(x) for x in df.values])
G.edges()
Out[150]:
[(16328715, 7695005),
 (42230925, 1801294),
 (40959246, 1100438),
 (12737940, 4114680),
 (3635610, 2103011),
 (16260783, 3373725),
 (45999903, 45999903),
 (7176482, 3222203),
 (8689446, 1977413),
 (11561383, 2102983),
 (21149725, 17011789),
 (18210502, 10816500),
 (3291058, 3226104),
 (23898296, 1633222),
 (46586813, 1599030),
 (2060097, 2060091),
 (5998987, 3453478),
 (44608582, 2295986),
 (12420680, 1364416),
 (612044, 92878),
 (30879005, 5242),
 (23192021, 5818064),
 (23192021, 5818065),
 (1312990, 105320),
 (20926179, 2332390),
 (26475759, 85310),
 (24935102, 737450),
 (35151866, 35151866),
 (1886716, 1378893)]

證明我們有權重屬性：

In [153]:

G.get_edge_data(30879005,5242)
Out[153]:
{'weight': 11}

要讀取塊中的邊緣列表，請在read_csv設置chunksize參數，並使用上述代碼為每個塊添加邊緣和權重。

編輯

因此，要分塊閱讀，您可以執行以下操作：

import networkx as nx
G = nx.DiGraph()
for d in pd.read_csv(path_to_edge_list,sep='\s+', header=None, names=['Node1', 'Node2', 'Weight'], chunksize=10000):
    G.add_weighted_edges_from([tuple(x) for x in d.values])